深圳互联网供应商--贝尔利科技
深圳网站建设、 网站设计、网站改版首选贝尔利深圳网站建设公司
  • 联系电话:135-9036-6521
    值班电话:135-9036-6521
  • 建站咨询
  • 推广咨询
当前位置: > 网站推广 > 百度优化

解析 搜索引擎蜘蛛的爬行和抓取页面的原理

2018-08-13 06:44:01 文章来源: 责任编辑:Addrion

  “搜索引擎蜘蛛”这个 词相信很多人都有点陌生,其实 他的意思就是在搜 索引擎系统中又被称之为“蜘蛛”或“机器人”,是用 来爬行和访问页面的程序。

  今天,深圳网站建设贝尔 利科技小编就来和大家分享下搜索引擎蜘蛛的爬行和抓取页面的原理。希望对大家有所帮助。
  一、搜索引擎蜘蛛简介
  搜索引擎蜘蛛,在搜 索引擎系统中又被称之为“蜘蛛”或“机器人”,是用 来爬行和访问页面的程序。
  ① 爬行原理
  搜索 引擎蜘蛛访问网页的过程,就好 比用户使用的浏览器。
  搜索 引擎蜘蛛向页面发出访问请求,该页 面的服务器则返回该页面的HTML代码。
  搜索 引擎蜘蛛将收到的HTML代码 存入搜索引擎的原始页面数据库中。
  ② 如何爬行
  为了 提高搜索引擎蜘蛛的工作效率,通常 采用多个蜘蛛并发分布爬行。
  同时,分布 爬行还分为两种模式:深度优先和广度优先。
  深度优先:沿着 发现的链接一直爬行,直到没有任何链接。
  广度优先:先这 一页面上的所有链接爬行完毕之后,才会 沿着第二层页面继续这样爬行。
  ③ 蜘蛛必遵守的协议
  搜索 引擎蜘蛛在访问网站之前,都会 先访问网站根目录下的robots.txt文件。
  搜索 引擎蜘蛛不会去抓取robots.txt文件 中禁止爬行的文件或目录。
  ④ 常见搜索引擎蜘蛛
  百度蜘蛛:Baiduspider
  谷歌蜘蛛:Googlebot
  360蜘蛛:360Spider
  SOSO蜘蛛:Sosospider
  有道蜘蛛:YoudaoBot,YodaoBot
  搜狗蜘蛛:Sogou News Spider
  必应蜘蛛:bingbot
  Alexa蜘蛛:ia_archiver
  二、如何 吸引更多搜索引擎蜘蛛
  互联网信息爆炸,搜索 引擎蜘蛛不可能将所有网站的所有链接全部爬行到,那么 如何吸引更多的搜索引擎蜘蛛到我们网站上来爬行变得非常重要。
  ① 导入链接
  无论是外部链接,还是内部链接,只有有导入,才能 被搜索引擎蜘蛛知道该页面的存在。所以,多多 做外链建设有助于吸引更多蜘蛛来访。
  ② 页面更新频率
  页面更新频率越高,搜索 引擎蜘蛛来访的次数也会越多。
  ③ 网站和页面权重
  整个 网站的权重以及某一页面的权重(包括首页也是页面)影响 着蜘蛛的来访频率,权重高、权威 性强的网站一般都会增加搜索引擎蜘蛛的好感。
  ④ 与首页的距离
  首页>一级目录>二级目录>三级目录>四级目录…很显然,目录 越深蜘蛛来访的几率和次数就会越少,因为 一般外链都是指向首页的,首页再向下爬行,只会越来越少。
  这里给大家的建议是,做外链的时候,不要只做首页外链,偶尔 做一做栏目和聚合页面的外链也还是不错的哦~
  有些时候,URL短,蜘蛛 可能也会觉得这个链接的权重哦,所以,最好只做一级栏目,然后就是文章页面。
  三、搜索引擎蜘蛛地址库
  搜索 引擎蜘蛛有一个专门的地址库,用来 存放已经被发现的URL(已被 抓取和未被抓取的都算,只要是被发现的URL都算),这样 就不会出现重复爬行和抓取页面的情况了。
  ① 地址库URL来源
  蜘蛛 抓取的页面中发现的新的URL;
  站长后台自主提交的URL;
  站长后台提交的XML地图中的URL;
  站长后台提交的网站URL;
  ② 对于未被抓取的URL
  对于未被抓取的URL,不管 是以什么方式获取的,哪怕 是搜索引擎蜘蛛自己发现的,也会先放入地址库中,然后在做统一抓取。
  四、页面数据存储
  搜索 引擎蜘蛛将抓取的页面数据会存入搜索引擎的原始页面数据库中,其实,就可 以理解为快照中看到的页面数据,和用 户看到的是一样的,每一个页面的URL地址 都有一个唯一的编号。
  五、复制内容检测
  搜索 引擎蜘蛛在爬行的过程中,会进 行一定程度的复制内容检测。如果 是权重低的网站上,发现 了大量的转载或抄袭内容时,可能会停止爬行,这些 页面可能也会不抓取与收录。
  但并 不是说网站就不能转载,像一 些权重很高的平台,哪怕 是转载了一篇旧闻排名也可以很好,因为 搜索引擎蜘蛛可能会觉得,就算 是旧闻可能也是高质量的吧。
  以上 这些内容就是今天贝尔利科技小编要和大家分享的内容。感谢大家的阅读!
责任编辑:Addrion
打印 关闭
友情链接:    168开奖网登陆   37彩票  乐众彩票_安全购彩   欢乐飞艇平台   时分彩票官网