五月
4
新网站开通了一段时间了,免不了每天看看服务器日志,看看有什么错误,也看看各大搜索引擎蜘蛛的爬行情况。发现 Google 很快就收录了首页,接着也收录了内页。可是百度的表现就没有那么大方了,它第一天来爬的时候,只 Get 了根目录的 robots.txt 就走了。第二天来的时候,Get 了 robots.txt 和首页。第三天、第四天也是如此!
我说百度怎么就不大方一点呢?为什么每次只啃了 robots.txt 和首页就走了呢?我的 robots.txt 写法没有问题,这个已经确认过了,所以排除 robots.txt 的原因。昨天更是令人不解,百度蜘蛛来爬了几回,每次都是那样,取了首页和 robots.txt 就走,实在想不通。
不过我想,既然它每天都来爬,证明我的网站已经引起了它的注意,那么只要坚持更新,收录也不是难事,只是时间长短的问题。
百度确实是很吝啬呢!!
哈哈。。楼主加油
等爬到你家,等到花儿都谢了