用QQ帐号登录应用中心QQ登录
Discuz! 应用中心
ò大雨点.Netó
discuz开发者ò大雨点.Netó
  • 应用数
    10
  • 安装量
    1388
最后在线:
2024-01-17
discuz蜘蛛看门狗v2.0封面

蜘蛛看门狗v2.0

收藏 分享 投诉
¥200.00
  • 统  计:9 次下载
  • 更新日期:2020-07-23
  • 适配编码:GBK UTF8SC UTF8TC BIG5 
  • 兼容版本:X2 X2.5 X3 X3.1 X3.2 X3.3 X3.4 X3.5 
  • 标签分类:小工具 
  • 移动属性:该版本安装后自带手机版(触屏版)

购买应用 免责声明

本插件可以阻止指定的蜘蛛、爬虫程序抓取网站,降低服务器负载,并可以设置指定版块、指定帖子ID、指定文章栏目ID、指定文章ID禁止蜘蛛和爬虫程序访问。

演示地址:http://dz.25941.cn

搜索引擎爬虫对网站的负面影响:
(1)、网站有限的带宽资源,而爬虫的量过多,导致正常用户访问缓慢。
例如,原本虚拟主机主机的连接数受限,带宽资源也是有限。这种情况搜索引擎爬虫受影响呈现更明显。
(2)、搜索引擎爬虫过频密,抓取扫描很多无效页面。甚至抓页面抓到服务器报502、500 、504 等服务器内部错误了,蜘蛛爬虫还在不停使劲抓取。
(3)、设置了robots.txt文件不代表可以高枕无忧。
肯定有很多人认为,在robots.txt设置屏蔽搜索引擎爬虫即可,或者允许某些特定的搜索引擎爬虫,能达到你预想效果。不错正规的搜索引擎会遵守规则,且不会及时生效。实际中某些蜘蛛往往不是这样的,先扫描抓取你的页面,无视你的robots.txt。也可能它抓取后不一定留用;或者它只是统计信息,收集互联网行业趋势分析统计。
(4)、还有一种它们不是蜘蛛,但其有蜘蛛的特性。例如采集软件,采集程序,网络扫描e-mail地址的工具,各式各样的SEO分析统计工具,千奇百怪的网站漏洞扫描工具,等等,只有你想不到的工具,没有它做不到的...,对于这种蜘蛛,需要从网站访问日志中提取UA关键字,放到插件设置中。

常见蜘蛛:
Baiduspider
YodaoBot
YoudaoBot
Googlebot
Googlebot-Image
Mediapartners-Google
Sogou-Test-Spider
Twiceler
Yahoo! Slurp
Yahoo! Slurp China
Yahoo!-AdCrawler
Yahoo ContentMatch Crawler
Sosospider
CollapsarWEB qihoobot
NaverBot
sogou spider
sogou in spider
Sogou web spider
Sogou News Spider
Sogou Orion spider
Sogou head spider
SurveyBot
Yanga WorldSearch Bot v
baiduspider-mobile-gate
discobot
ia_archiver
msnbot
msnbot-media
360Spider
bingbot
YisouSpider
EasouSpider
JikeSpider
EtaoSpider
YandexBot
AhrefsBot
ezooms.bot

discuz蜘蛛看门狗截图1
discuz蜘蛛看门狗截图2

Discuz!交流社区 | Discuz!程序下载 | Discuz!使用教程 | 我是Discuz!开发者 | 我是Discuz!分销商

Copyright ©2024Dismall.comAll Rights Reserved. 皖ICP备16010102号-4 增值电信业务经营许可证:皖B2-20200047

违法网站请勿向我司工作人员及应用开发者发起任何形式的服务请求,严禁使用Discuz!应用中心提供的应用从事任何非法活动

  应用中心操作、授权恢复等使用问题,联系应用中心客服|Discuz! 安装、升级、问题排查、定制,联系有偿服务客服

返回顶部