网站优化,专业关键词排名优化SEO外包团队
SO82网站优化(seo)团队是一个专业的SEO网站优化服务团队,网站优化(SEO)关键词优化排名的先驱团队,专注服务于SEO网站优化策划服务。

蜘蛛为什么会抓取网站不存在的路径?

  做seo我们需要经常性的去看我们网站的服务器日志,也就是iis日志,因为我们需要很好的掌握蜘蛛爬取了我们网站的什么地方,哪个页面。但是 有些朋友有的时候在进行例行检查的时候,却发现蜘蛛爬取了一些我们网站并不存在的页面,今天SEO就讲解下为什么百度蜘蛛会爬取我们网站没有的页面。
  1、蜘蛛是怎么发现我们网站的链接的?
  我们都知道,蜘蛛是沿着链接爬来爬去的,他会自动提取网站中所有的链接,保存入库,然后进行爬取,这也就是为什么我们觉得网站的收录少了或者刚发布的文章没 有被收录,我们就会说“引蜘蛛”了,其实引蜘蛛就是发外链了,当这条链接呗蜘蛛发现之后,他就会进行爬取,然后通过一系列复杂的算法之后,决定是否放出该 页面的收录。
  2、为什么会爬到不存在的页面?
  一般情况下,有这么几个问题
  a、被对手恶意刷外链,也就是说竞争对手恶意的给你发了很多的不存在的页面链接,当蜘蛛发现之后就会来爬取
  b、以前做的外链,后来由于网站改版而某些链接没有及时的去除,蜘蛛定期回访的时候爬取了这条链接
  c、此种仅限老域名,之前的网站结构和我们现在的网站结构不一致,也类似于b中的说法
  d、robots文件没有对蜘蛛进行限制
  e、程序的原因,导致搜索引擎蜘蛛掉入黑洞
  f、url提交或者ping给百度地址有误
  蜘蛛爬取不存在的页面,一般情况下都是由于这些问题导致的,其中最主要的原因就是外链部分,所以我们要经常性的去检查下我们网站的外链情况。
  下面提供解决办法:
  这些方面综合来讲,一般我们只需要这么做,基本就能够减少这种情况的发生,如果是链接导致的,那么就去百度站长平台使用外链拒绝工具拒绝掉,并提交网站的死链接,同时使用robots屏蔽蜘蛛抓取这些内容;如果是程序问题,就修复程序。。


SO82凭借专业的技术团队和对网站建设网站优化网络推广丰富的经验,在网站建设领域赢得了良好的口碑,SO82网络团队主要从事于网站优化,网络推广,自媒体营销,高端网站建设,手机网站建设,微信官网建设开发等。如需了解相关网站项目事宜,敬请拨打咨询热线: 18538179220

评论