冲浪网站优化 / Products Center

百度蜘蛛也叫百度爬虫、百度网络蜘蛛，其实不是真实蜘蛛，而是一个自动程序，该程序的抓取路径像蜘蛛丝一样，该程序通过网页上的锚链接进行爬行，类似蜘蛛爬行，因此叫百度蜘蛛、百度爬虫、网络蜘蛛等多种叫法，其实就是一个搜索引擎抓取程序。

百度蜘蛛的作用：百度搜索引擎通过百度蜘蛛这个自动程序，访问其他网站，百度蜘蛛首先判断该网页是否符合搜索引擎的收录条件，如果符合收录条件，百度蜘蛛就下载该网页，然后保存到百度数据里，建立百度快照，当用户搜索某一个关键词时，搜索通过自身的排序机制，把快照进行索引排序，然后把排序结果展现给读者。如果网页内容不符合搜索引擎的收录规则，那么百度蜘蛛不收录，并通过锚链接访问其他页面，进而重新进行判断是否收录。

 提高百度蜘蛛抓取效率的方法

1、网站建立完善的网站内部链接，合理的网站导航、网站架构，必要时还可以通过网站地图提高百度蜘蛛抓取效率。

2、网站外链就好比百度蜘蛛的路径，网站外链越多，百度蜘蛛来网站的机会越大。

3、网站内容经常保持更新，百度蜘蛛喜欢新东西，如果你的网站经常更新，那么百度蜘蛛会经常光临。

通过网站日志可以判断百度蜘蛛是否光临。

产品名称 对应user-agent

网页搜索 Baiduspider

无线搜索 Baiduspider-mobile

图片搜索 Baiduspider-image

视频搜索 Baiduspider-video

新闻搜索 Baiduspider-news

百度搜藏 Baiduspider-favo

百度联盟Baiduspider-cpro

移动搜索 baidu+Transcoder

网上有很多百度蜘蛛模拟程序，你可以通过该程序，了解百度蜘蛛展示的结果，有的服务器或者程序对百度蜘蛛进行了屏蔽，因此可以通过该软件查询百度蜘蛛抓取的结果。同时如果你不希望百度蜘蛛收录网站的某个栏目，你可以通过设置robots.txt来告诉搜索引擎，哪些页面可以收录，哪些页面不可以收录，这样可以解决隐私内容被百度收录。