判断搜索引擎真假蜘蛛访问

主流搜索引擎蜘蛛抓取网站，都会自带ua特征，比如百度蜘蛛ua（mozilla/5.0 (compatible; baiduspider/2.0; +http://www.baidu.com/search/spider.html)。
在网站的访问日志中也会相应记录，但ua是可以伪造的，目前越来越多伪造ua的扫描器或采集器都在伪造搜索引擎ua来迷惑管理员，造成无法判断是否是正规搜索引擎蜘蛛。
我们在不知道蜘蛛ip段的情况下，可以通过运行命令：nslookup 来判断真假蜘蛛。
首先以百度蜘蛛为例，在访问日志中找到带有ua记录的ip，如：220.181.108.*  在运行cmd命令输入 nslookup 220.181.108.* ，运行后结果中带有： baiduspider-220-181-108-*.crawl.baidu.com 字样，说明是真百度蜘蛛，反之如果没有则为假。


企业该如何有效的利用百科平台来做推广
【网站建设】如何才能快速的学会网站建设？
四步法带你走向软文推广的自媒体平台!
网站建设服务一般能为客户做些什么？
APP软件开发价格受哪些因素影响？
什么是手机网站？
干货满满丨盘点小程序的八大创收模式，总有一种适合你！
购物商城做SEO的两个基本定位