robots.txt文件生成器
点击收藏-
全局设置
-
限制目录
-
Sitemap
-
国内搜索引擎
-
国外搜索引擎
什么是robots.txt文件:
1、robots.txt(统一小写)是一种存放于网站根目录下的文本文件,它通常告诉网络搜索引擎蜘蛛,此网站中的哪些内容是可以被收录哪些不可以被收录。
(1)、robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下
(2)、如想单独定义搜索引擎蜘蛛访问子目录的行为,那么可以将自定的设置合并到根目录下的robots.txt
(3)、robots.txt协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私
(4)、注意robots.txt是用字符串比较来确定是否获取URL,所以目录末尾有与没有斜杠“/”表示的是不同的URL
2、robots.txt文件内容:
(1)、搜索引擎蜘蛛的是否可访问性或者说可爬行性
(2)、搜索引擎蜘蛛针对目录或者文件的可访问性
(3)、网站站点地图sitemap路径定义
(4)、搜索引擎蜘蛛爬行的时间间隔限制
3、关于robots.txt文件生成器:
(1)、通过web界面设置好要配置的数据, 点击生成即可生成robots.txt文件内容
(2)、创建一个空白的文本文件,命名为:“robots.txt”,然后把上面的内容,复制并粘贴到“robots.txt”中去
(3)、把“robots.txt”放在你网站的根目录,访问robots.txt,确保他能让搜索蜘蛛访问到
推荐工具
AI解梦
AI帮您分析你的梦境
小红书家居文案
帮您快速生成小红书家具文案
生辰八字转换
一款将出生年月日转为生辰八字的小工具
24点计算器
在线24点游戏计算器
平方根计算工具
在线平方根计算工具
圆环面积计算器
在线圆环面积计算器工具
纸张克重与厚度转换工具
在线转换纸张的克重与厚度
长袖/短袖衬衫通用尺码表
在线男女长袖/短袖衬衫通用尺码表
DES加密解密工具
DES在线加密工具/DES在线解密工具
电子签名生成器
在线电子签名生成工具
图片滤镜处理
一款在线的图片滤镜处理工具
九宫格/多格切图
一款将图片切割为微博或朋友圈多宫格样式的图片的免费工具
图片拼接
在线将多张图片进行图片拼接
教育储蓄计算器
在线教育储蓄利息计算器
键盘按键测试
在线键盘按键失灵检测工具
麦克风测试
在线麦克风测试工具
拼音转汉字
在线通过拼音查询汉字
答案之书
在犹豫不决时,找到内心的答案
RSA公私钥生成、签名、加解密
在线RSA公私钥生成,签名,加密解密工具
胎儿体重计算器
孕期胎儿体重在线计算工具
文本内容回车换行转P标签
在线将文本内容中将回车换行转为P标签
在线网址批量提取工具
在线从一段文本中批量提取url地址
域名WHIOS查询
在线查询域名的WHOIS信息,域名注册日期,过期日期...
行星体重换算器
在线计算太阳系中八大行星上的体重























