36.99.136.*和111.7.100.*两个IP段探究

admin 1月前 365

36.99.136.*和111.7.100.*两个IP段探究
最近网站被这两个IP段频繁爬取,压力巨大。网上查询一番,这里简单谈谈。
1、首先是nslookup反查,什么也查不到,按理说这应该不是什么正规蜘蛛。
2、考虑到有不少匿名蜘蛛,像百度站长工具的robots检测,抓取xml地图的都时临时工蜘蛛,对比下测试的IP段也大概率不是匿名蜘蛛。
3、网上唯一找到的zhangu网上的信息说是匿名蜘蛛,不过抓取很奇怪,没有入口的URL也抓的到,够牛逼的。
最后的结论:全部屏蔽掉了。观察了几天,貌似对搜索引擎的抓取并无影响,并未有明显的抓取量,索引量等变化。

猜你喜欢

本站资源仅供研究学习,请勿商用。商用请自行联系软件作者获取授权。如产生法律纠纷,本站概不负责!
    • 游客
      2
         
返回

手游盒子覆盖了 80%的热门手游

己有 2905876人下载

下载内玩游戏盒
手机扫描安装内玩游戏盒 下载内玩游戏盒