• 注册
  • 运维随笔 运维随笔 关注:1 内容:6

    常见搜索引擎蜘蛛大全

  • 查看作者
  • 打赏作者
  • 帅气冲天

     百度 baidu.com—-Baiduspider

     http://www.baidu.com/search/spider.htm

     谷歌 google.com—-Googlebot

     http://www.google.com/bot.html

     中文版请打开以下页面 链接

     雅虎 yahoo.com—-Yahoo

     http://misc.yahoo.com.cn/help.html

     打开后跳转到以下页面 链接

     有道 yodao.com—-YodaoBot

     http://www.yodao.com/help/webmaster/spider/

     搜搜 soso.com—-Sosospider/Sosoimagespider(网页蜘蛛/图片蜘蛛)

     http://help.soso.com/webspider.htm

     http://help.soso.com/soso-image-spider.htm

     搜狗 sogou.com—-sogou

     http://www.sogou.com/docs/help/webmasters.htm#07

     微软 msn.com—-msnbot

     http://search.msn.com/msnbot.htm

     打开后跳转到以下页面 链接

     以下是几只收获(抓取页面)不劳动(不来流量)的蜘蛛 可以考虑禁了它们爬行 省空间流量 国外搜索引擎

     gigablast.com—-Gigabot

     http://www.gigablast.com/spider.html

     国外搜索引擎 webalta.net—-WebAlta

     http://www.webalta.net/ru/about_webmaster.html

     国内的一个实验室的

     apex.sjtu.edu.cn

    请登录之后再进行评论

    登录

    我关注的论坛

    暂没有数据

  • 发布内容
  • 做任务
  • 偏好设置
  • 直达底部
  • 帖子间隔 侧栏位置: