当前位置:首页 > 短网址资讯 > 正文内容

【官方说法】只需两步,正确识别百度蜘蛛

www.ft12.com8年前 (2017-05-18)短网址资讯2178

经常听到站长们问,百度蜘蛛是什么?最近百度蜘蛛来的太频繁服务器抓爆了,最近百度蜘蛛都不来了怎么办,还有很多站点想得到百度蜘蛛的IP段,想把IP加入白名单,但IP不固定,我们无法对外公布。

那怎么才能识别正确的百度蜘蛛呢?来来来,以短网址站为例,只需两步,教你正确识别百度蜘蛛

1、查看UA,如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的UA是:

移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

新增渲染UA:

移动UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

2、反查IP

站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

1)、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

2)、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。


3)、 在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。


扫描二维码推送至手机访问。

版权声明:本文由短链接发布,如需转载请注明出处。

本文链接:https://www.ft12.com/article_83.html

标签: 百度蜘蛛
分享给朋友:

相关文章

Prime Day筹备全攻略 各路商家一起解决备货难题

【FT12短网址资讯】还有一个月,本年跨境出口电商第一个大促旺季——亚马逊Prime Day将到来,而此时则成了各卖家最首要的备战时刻。而这也是全球跨境电商解决方案效劳商ESG集团(E-Services Group)参与的第2次亚马逊Pri...

摩拜单车发布“摩拜+”战略 过半新用户来自微信小程序

5月19日消息,摩拜单车在北京举行发布会,正式宣布“摩拜+”开放平台战略,全面布局“生活圈”、“大数据”和“物联网”三大开放平台。中国联通(微博)、招商银行、中国银联、百度地图等8大品牌成为摩拜“生活圈”的首批战略合作伙伴。  此外,摩拜单...

短网址开源程序后起之秀FT12短网址的部署实践

短网址开源程序后起之秀FT12短网址的部署实践

短网址的开源程序有很多,从早期的phurl,到后来yourls(chef, puppet, saltstack, ansible等)的出现,再到如今ourls的盛行,短网址服务越来越多的被人部署并应用在了移动互联网中,CD(持续部署)已经成...

网站防御cc攻击的方法和突破技巧!

最近FT12短网址经常遭到CC攻击,早在前两个月的时间,我的短链接遭到CC攻击,大概流量在7G左右,7G的CC流量攻击算是非常大的了,那么我们如何防御CC攻击呢,另外CC攻击又是怎么一回事呢?CC攻击是什么CC攻击是通过大量的IP同时访问一...

陕西联通和短网址的故事---国企的作风

    昨天下班途中,突然接到了一个陌生来电,声称是陕西联通的工作人员,来势汹汹的说:你们知道我是谁吗?我是陕西联通的,只要我们稍微在系统里面提交一个申请,工信部就能把你们网站封了!就能让你们网站没有...

短网址生成网站的源码都有哪些?

对于短网址生成站来说,目前国内做的很不是很多,所以开源的代码也很少,多数是基于国外大牛的开源代码改编过来的。比较著名的有phurl,比较老牌,但是似乎已经停止更新和支持了。另外还有yourls,这款开源代码使用最广泛,目前仍然在更新之中,支...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。