apache禁止网络爬虫采集

  • A+
所属分类:Apache

Apache中禁止网络爬虫,时时彩计划软件公式:之前设置了很多次的,但总是不起作用,原来是是写错了,不能写到Dirctory中,要写到Location中

这是禁止了所有包含spider字符的爬虫。
如果要针对性的禁止爬虫,改成精确匹配的爬虫字符串,如果bingbot、Googlebot等等

微信公众号
扫一扫关注运维生存时间公众号,获取最新技术文章~

发表评论


目前评论:2   其中:访客  2   博主  0

    • 默北 6

      网站跟目录下扔一个robots.txt文件

        • 小人物 9

          @默北 爬虫软件可以设置不遵从robot.txt协议