当前位置:首页 > 短网址资讯 > 正文内容

【官方说法】只需两步,正确识别百度蜘蛛

www.ft12.com8年前 (2017-05-18)短网址资讯2362

经常听到站长们问,百度蜘蛛是什么?最近百度蜘蛛来的太频繁服务器抓爆了,最近百度蜘蛛都不来了怎么办,还有很多站点想得到百度蜘蛛的IP段,想把IP加入白名单,但IP不固定,我们无法对外公布。

那怎么才能识别正确的百度蜘蛛呢?来来来,以短网址站为例,只需两步,教你正确识别百度蜘蛛

1、查看UA,如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的UA是:

移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

新增渲染UA:

移动UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

2、反查IP

站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

1)、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

2)、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。


3)、 在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。


扫描二维码推送至手机访问。

版权声明:本文由短链接发布,如需转载请注明出处。

本文链接:https://www.ft12.com/article_83.html

标签: 百度蜘蛛
分享给朋友:

相关文章

论百度账号实名认证对百度SEO的影响

论百度账号实名认证对百度SEO的影响

“不实名 无查找”空穴来风 子勿虚有另外有一些不好的声音传出来。坊间有传闻说:“如果不实名认证,就不能运用baidu查找。”笔者幻影博客觉得甚是奇怪,买菜刀实名制能够理解,买火车票实名制说得过去,连网络查找都要实名制?不可思议。5月11日,...

群雄逐鹿的云计算时代,谁能独领风骚

群雄逐鹿的云计算时代,谁能独领风骚

[ FT12短网址 ] 由德意志银行数据显示,中国国内公有云市场2016年增长率为150-200%。国内的云服务器市场是一超多强的局面,阿里云领跑,腾讯紧随,其次亚马逊和微软,之后是UCloud,以及是其他国内玩家,如华为云和中国...

Google Cloud 的 API 设计

最近(很久前)在设计 API 接口的时候发现了一些很难取舍的地方,就看了下业界领先的企业都是怎么设计类似 API 的,发现了很多之前设计的缺陷和一些新的思路。主要参考了 AWS 和 Google Cloud 的 API 设计,两家的设计可以...

英国和中国的人工智能医学应用已经改变未来

英国和中国的人工智能医学应用已经改变未来

[ 短网址导读 ] AI医生只是人工智能应用于医疗保健领域的一个缩影。机器学习和大数据的快速商业化,已经助推人工智能来到医疗保健和生命健康领域的前沿位置,将注定会改变行业内疾病诊断和疾病治疗的方式。图片来自“123rf.com.c...

短网址API文档接口说明

API请求地址:                  &nbs...

揭秘Google排名的205个因素(百度80%管用)完整版列表

揭秘Google排名的205个因素(百度80%管用)完整版列表

不少人都知道Google的搜索排名算法使用200多个因素,但具体是什么呢?除了Google的核心算法工程师,几乎没有人知道完整真相。而所谓的SEO技术,很多时候是分析、测试搜索获得的简单结论,有些优化方向是明确的,比如良好的用户体验、优质内...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。