当前位置:首页 > 短网址资讯 > 正文内容

【官方说法】只需两步,正确识别百度蜘蛛

www.ft12.com6年前 (2017-05-18)短网址资讯1593

经常听到站长们问,百度蜘蛛是什么?最近百度蜘蛛来的太频繁服务器抓爆了,最近百度蜘蛛都不来了怎么办,还有很多站点想得到百度蜘蛛的IP段,想把IP加入白名单,但IP不固定,我们无法对外公布。

那怎么才能识别正确的百度蜘蛛呢?来来来,以短网址站为例,只需两步,教你正确识别百度蜘蛛

1、查看UA,如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的UA是:

移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

新增渲染UA:

移动UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

2、反查IP

站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

1)、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

2)、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。


3)、 在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。


扫描二维码推送至手机访问。

版权声明:本文由短链接发布,如需转载请注明出处。

本文链接:https://www.ft12.com/article_83.html

标签: 百度蜘蛛
分享给朋友:

相关文章

软银40亿美元参股英伟达,孙正义布局科技界英美两大芯片公司

软银40亿美元参股英伟达,孙正义布局科技界英美两大芯片公司

[ 短网址资讯 ] 继上一年收买英国芯片设计公司ARM,孙正义昨天又成为了NVIDIA的大股东,软银的每一步行为都是孙正义心里疯狂的呐喊。“2018年将是AI的奇点,30年内机器人会比人类还多,智商会是人类的1000倍,...

三境三品三味药(作文升格指导与实例训练)

3.阅读下面文字,按照要求,写一篇不少于800字文章(60分)(2017年浙江卷作文仿写)有位作家说:人要读三本大书,一本是“有字之书”,一本是“无字之书”,一本“心灵之书”。对此你有怎样的思考?请对作家的观点加以评说。自拟题目,写一篇80...

中国将步日本后尘 便利店已成为零售新业态

2017年2月9日晚,由前去哪儿CEO庄辰超创立的斑马本钱拟出资3亿美元创立“便当蜂”24小时便当店的消息引爆朋友圈,很快,5家名为“便当蜂”的24小时便当店在北京中关村区域迅速开业。据悉,“便当蜂”的创始人团队是以王紫为首的前北京7-11...

亚马逊又盯上在线药品零售

北京时间7日消息,CNBC援引电邮和未具名人士报道称,亚马逊正就是否要在网上销售处方药进行最后的决策,亚马逊据称将在感恩节前决定是否要在网上销售处方药。报道称,如果公司决定进军这个领域,其将在高层团队中扩充药物供应链专家。受此消息影响,药店...

Gartner发布2017年云安全技术成熟曲线

Gartner发布2017年云安全技术成熟曲线

[ FT12短网址 ] 云应用的快速增长不断提高人们在云计算环境中对于数据、应用程序和工作负载的兴趣。Gartner公司发布的云安全技术成熟曲线将有助于安全专业人士重新定位他们在业务支持方面的角色。图片来自网络云应用的快速增长不断...

京东布局航天物流业 五年预计投资205亿

京东布局航天物流业 五年预计投资205亿

5月22日,京东集团与西安航天基地签订了京东全球物流总部、京东无人体系工业基地和京东云运营基地协作协议。根据双方协议,京东计划五年内投资205亿元与西安航天基地展开深入协作,在才智供应链领域进行全方位、体系性布局,发挥双方优势联合开展“33...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。