当前位置:首页 > 短网址资讯 > 正文内容

【官方说法】只需两步,正确识别百度蜘蛛

www.ft12.com4年前 (2017-05-18)短网址资讯1202

经常听到站长们问,百度蜘蛛是什么?最近百度蜘蛛来的太频繁服务器抓爆了,最近百度蜘蛛都不来了怎么办,还有很多站点想得到百度蜘蛛的IP段,想把IP加入白名单,但IP不固定,我们无法对外公布。

那怎么才能识别正确的百度蜘蛛呢?来来来,以短网址站为例,只需两步,教你正确识别百度蜘蛛

1、查看UA,如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的UA是:

移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

新增渲染UA:

移动UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

2、反查IP

站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

1)、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

2)、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。


3)、 在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。


扫描二维码推送至手机访问。

版权声明:本文由短链接发布,如需转载请注明出处。

本文链接:https://www.ft12.com/article_83.html

标签: 百度蜘蛛
分享给朋友:

相关文章

在线教育企业7成亏损,15%濒临倒闭,你如何突围?

在线教育企业7成亏损,15%濒临倒闭,你如何突围?

[ 亿欧导读 ] 四月暮春,又到了一年一度在线教育公司交作业的时期,无论是自己晒成绩,还是第三方机构出评估,我们看到报表里的在线教育行业都是欣欣向荣、前景喜人,但真实情况如何?在线教育市场规模增幅迅猛,2019年将达2692.6亿...

寻找资本市场的“圣杯”

寻找资本市场的“圣杯”作者:FT12短网址关注牛爷财经的很多网友可能清楚,草哥写财经大势和商界人物比较多,很多网友希望草哥能写点市场实操和交易的东西。说实话,很多人都想寻找市场的“圣杯”和“九阴真经”,但对股票、外汇、期货、黄金、石油等市场...

我最想推荐的英语学习App:“词根词缀词典”

我认为学英语背单词分三个阶段:第一阶段死记硬背,基础词汇;第二阶段用尽各种方法背单词,谐音、词根词缀、词组搭配,积累5000-7000的词汇量;第三阶段返璞归真,觉得第二阶段总结的各种方法都好麻烦,觉得多读几遍最轻松愉快的,效果也好,觉得背...

拿了就走!阿里“无人零售店”体验:全程黑科技

未来新零售是什么样的?全球首个“无人零售店”天猫淘咖啡,为消费者带来了真正身临其境的带来的极致购物体验。  称之为“无人零售”,是因为用户登陆淘宝账号,输入支付密码后,便可以进店点餐购物,无需排队收银,拿了然后走人。  也就是说,你需要的,...

FT12短网址:2017中国iOS用户消费及营销趋势报告

FT12短网址:2017中国iOS用户消费及营销趋势报告

在移动推广商场的两大阵营中,iOS的用户量一定不可小觑。经过对这些用户做法习惯进行调查研讨,能够清晰地了解到商场走向,比如经过用户购房方案预测房产、装饰以及家电职业的商场走向;经过智能家居、VR眼镜等硬件商品热销,也将股动这类App及VR内...

FT12短网址教你如何利用大数据算法定位网站性能瓶颈(BOSS)

FT12短网址教你如何利用大数据算法定位网站性能瓶颈(BOSS)

导读:架构师非常关注性能问题,上篇文章中我们介绍了京东的自动化压测体系 ForceBot,这篇文章来自 LinkedIn 的技术博客,介绍如何通过大数据算法来分析调用数据,自动定位性能瓶颈。本文由高可用架构翻译。背景我们 FT12短网址的核...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。