→ 如有资源无法下载,请第一时间联系站长QQ:23467321处理!诚信让我们共赢!
→ 为更好的沟通和解决用户需求,建议新老用户都采用QQ邮箱来注册账号!
作为一个新站的站长,最为关心的事或许就是自己网站更新的东西,有没有被百度蜘蛛抓取,这个时候我们会去查看网站每天的日志,在网站日志中会看到有很多ip,有些是百度蜘蛛的,有些则不是,那么我们应该如何去区分能,虽然常见的百度蜘蛛ip多数人都知道,但那些不常见或者说冒充百度蜘蛛的ip我们要如何去辨别呢,这里介绍一种简单且实用的方法。
1、登录网站空间后台,找到当天的网站日志。
2、按住“ctrl+F”搜索“baiduspider"爬行记录。
3、选中其中一个“baiduspider”对应的ip地址,以这段ip为例123.125.71.81。
4、打开电脑cmd窗口。
5、在CMD窗口中输入“tracert+ip”回车。tracert后面一定要空格之后在输入ip地址。
6、查看是否有“baiduspider”字样,如果有说明是百度的蜘蛛,如果没有则不是
注意事项:此种方法只适合少量的百度蜘蛛查询,很精确,但如需大量的查询建议使用日志分析工具。
判断网站来防IP是否为蜘蛛,用命令查询 :
一、在windows平台
蜘蛛反查命令:nslookup IP
点击“开始”-“运行”-“cmd”-“输入nslookup IP地址”-“回车”
C:\>nslookup 203.208.60.203
总结:windows可以用nslookup命令反解ip来判断是否来自spider的抓取。
在linux平台下,可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。
$ host 123.125.66.120
120.66.125.123.in-addr.arpa domain name pointer
baiduspider-123-125-66-120.crawl.baidu.com.
在windows平台下,可以用nslookup命令反解ip来判断是否来自Baiduspider的抓取。
点击“开始”-“运行”-“cmd”-“输入nslookup IP地址”-“回车”
C:\Documents and Settings\Administrator>nslookup 123.125.66.120
查询结果如下:
Name: baiduspider-123-125-66-120.crawl.baidu.com
Address: 123.125.66.120
提示:
1、Baiduspider绝对不会以匿名的方式抓取网页。
2、Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非*.baidu.com或*.baidu.jp即是冒充。
3、Nslookup(name server lookup)( 域名查询):是一个用于查询internet域名信息或诊断DNS服务器问题的工具。
上图名称为:220.181.108.105这样的以名称中带有baiduspide,和crawl.baidu.com是属于百度自己服务器的蜘蛛,除此之外,都属于假蜘蛛。
发现假蜘蛛就要及时的在服务器上屏蔽这个IP。