最近我一直在观察我的网站日志,发现了很多不常见的蜘蛛频繁抓取我的网站,大量垃圾蜘蛛甚至爬虫访问很影响性能,特别是服务器配置不高的情况下,那么我们该怎样屏蔽掉垃圾蜘蛛呢?
一般来说,屏蔽蜘蛛抓取有三种方法:
- Robots屏蔽
- UA屏蔽
- IP屏蔽
但是我们一般都是通过Robots屏蔽这个方法,Robots 协议(也称为爬虫协议、机器人协议等)用来告诉搜索引擎、爬虫哪些页面可以抓取,哪些页面不能抓取。
需要屏蔽的蜘蛛
- AhrefsBot:通过抓取网页建立索引库,并提供反向链接分析和服务。
- dotbot:在线营销分析软件。
- MJ12bot:英国搜索引擎。
- Deusu:个人的项目一个搜索引擎。
- grapeshot:这家公司好像也是分析网站用的。
屏蔽方式
在robots.txt目录下添加下面的代码,添加之后在百度站长平台检测一下robots是否正确。
- User-agent: AhrefsBot
- Disallow: /
- User-agent: dotbot
- Disallow: /
- User-agent: MJ12bot
- Disallow: /
- User-agent: DeuSu
- Disallow: /
- User-agent: grapeshot
- Disallow: /
附各大常见蜘蛛名字
百度蜘蛛:Baiduspider
谷歌蜘蛛:Googlebot
必应蜘蛛:bingbot
搜狗蜘蛛:Sogou web spider
360蜘蛛:360Spider
栏目热门
- 1响应式食品产业园类织梦模板HTML5餐饮熟食连锁机
- 2旅游景点企业旅游公司建站模板
- 3红色家政服务类网站源码 空调搬家类织梦模板
- 4简洁大气家居家具行业企业网站织梦模板
- 5慈善公益网站源码公益基金文化孝道织梦模板
- 6红色大气高端响应式读书周刊企业织梦模板
- 7学校学院自主招生教育报考类织梦模板(带手机端
- 8紫色商务礼品销售企业网站织梦模板
- 9绿色中小学学校网站织梦模板
- 10PHP简洁响应式精美列表商城发卡网站源码
- 11工程机械铲土运输机械公司网站模板源码 带手机端+后台
- 12学法减分助手PRO小程序
- 132021年算命完整源码/付费测算源码/星座运势/塔罗牌/牛年运程/宝宝起名/姻缘最新php程序
- 14响应式高端绿色网络技术织梦企业模板(自适应手
- 15PHP在线定制商城网站源码V3.0
- 16【应用市场】pc+wap+APP原生态手机客户端三站合一+文图实例教程源代码
- 17Laravel框架高清壁纸图库图片分享上传下载网站源码
- 18【java开发块聊云钱包源码】矿机虚拟币交易所三合一区块链源码+虚拟交易系统源码
- 19响应式有机生物产品类网站织梦模板(自适应移动端)
- 20工商企业管理类企业网站织梦模板
- 21特殊日子如何将网站页面变成灰色?
- 22响应式工商公会织梦网站源码HTML5政府商会类网站
- 23PHP源码_新UI多币矿机源码/区块链挖矿系统挖矿源码/去除后门
- 24响应式电子节能照明类织梦模板HTML5LED照明灯具类
- 25 免费WordPress 简洁大气新闻资讯主题源码下载
- 26资金盘源码蜂蜜理财可运行版源码
- 27婚纱摄影拍摄类单独手机网站织梦dedecms源码
- 28橙色机械产品外贸类网站织梦模板
- 29最新修复版 Thinkphp内核小微支付服务商专用源码完整版,内附安装
- 30金融投资资金理财类企业网站织梦模板
- 31模板源码学习分享下载类网站织梦模板
- 32高端红酒系列各类高档饮品酒公司建站模板
- 33[正版主题]WordPress主题RK Blogger1.2版本资讯博客主题官方正版下载
- 34精美的灰黑色免费电影网站 | Thinkphp框架
- 35铝合金门窗定制类网站织梦模板(带手机端)
- 36帝国cms模板整站源码新闻资讯门户网站源码免费下载
- 37框分类信息系统|框分类地方分类信息网站源码 v10.1试用版
- 38响应式餐饮牛杂小吃类网站织梦模板小吃加盟培
- 39金融银行公司企业网站织梦源码
- 40极简响应式免费WordPress博客主题-Repay
- 41增值税票税务类网站织梦dedecms模板(带手机端)
- 42宽屏首页列表翻页教程网ASP源码(带手机)v5.09
- 43PHP声音鉴定源码 微信趣味声音测试吸粉H5源码
- 44大气古典家具家居类展示网站织梦模板棕色家具
- 45修复版代挂网全新界面源码+视频文字搭建教程
- 46梓航新系统 duson_system 版本号:4.4.2 无限建站 新增关于我们页面荣誉证书版块
- 47装潢设计装修公司类网站织梦模板(带手机端)
- 48皮式用品皮具商品专用网站建站模板
- 49响应式真空泵水泵设备类网站织梦模板(自适应)
- 50dedecms响应式网络工作室公司织梦模板(电脑手机平
联络方式:
电话:13388629007
邮箱:1030362387@qq.com