按照有效程度为序，列举屏蔽爬虫对链接抓取的3种方法

1、基于程序本身去防止爬取：作为爬虫程序，爬取行为是对页面的源文件爬取，如爬取静态页面的html代码，可以用jquery去模仿写html，这种方法伪装的页面就很难被爬取了，不过这种方法对程序员的要求很高。
2、基于iptables和shell脚本：可以对nginx的access.log进行策略定义，例如定义在1分钟内并发连接数超过30个ip为非法，如ip不在白名单内，则加入iptables策略封掉，当然这种的缺点是会有“误伤”，策略细粒度越小就会有更多的“误伤”，细粒度大就会使效果变差，另外还有类似的第三方工具fail2ban，利用做filter和actor对一些有危害的操作记录或是封ip。但是对于某个特定的爬虫地址（例如网易、有道）的爬取行为拒绝也很难准确做到，因为你无法准确知道这些特定的爬虫ip地址。注意：建议不要用封ip条目的方式,iptables列表长度是65535时就会封满，服务器也就会死机。
3.使用robots.txt文件：例如阻止所有的爬虫爬取，但是这种效果不是很明显。代码如下：
user-agent: *
disallow: /
?


SEO的一些疑难问题
企业网站建设需要考虑的方方面面
SEO运营知识：如何让你的网站留住你的用户？
网站建设中内容需要重视的五个方面
微信开发,模板和定制究竟选哪个好?
小型自建站通过有机增加流量的技巧
5个方面深入浅出，解析移动端电商的搜索框设计
网站建设应该考虑到用户的哪些体验？