
robots.txt文件生成器
点击收藏-
全局设置
-
限制目录
-
Sitemap
-
国内搜索引擎
-
国外搜索引擎
1、robots.txt(统一小写)是一种存放于网站根目录下的文本文件,它通常告诉网络搜索引擎蜘蛛,此网站中的哪些内容是可以被收录哪些不可以被收录。
2、robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下
3、如想单独定义搜索引擎蜘蛛访问子目录的行为,那么可以将自定的设置合并到根目录下的robots.txt
4、robots.txt协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私
5、注意robots.txt是用字符串比较来确定是否获取URL,所以目录末尾有与没有斜杠“/”表示的是不同的URL
robots.txt文件内容1、搜索引擎蜘蛛的是否可访问性或者说可爬行性
2、搜索引擎蜘蛛针对目录或者文件的可访问性
3、网站站点地图sitemap路径定义
4、搜索引擎蜘蛛爬行的时间间隔限制
关于robots.txt文件生成器1、通过web界面设置好要配置的数据, 点击生成即可生成robots.txt文件内容
2、创建一个空白的文本文件,命名为:“robots.txt”,然后把上面的内容,复制并粘贴到“robots.txt”中去
3、把“robots.txt”放在你网站的根目录,访问robots.txt,确保他能让搜索蜘蛛访问到
推荐工具
工作报告
记录您工作的进展与成果,支持日报、周报、月报、季报、年报
检讨书
AI一键生成一份合格的检讨书模版
购物评价助手
帮你快速生成商品评价,轻松为你提供好评、中评、差评
浏览器信息查看
一款可以免费查看当前浏览器详细信息的在线小工具
在线等边三角形面积计算器
在线计算等边三角形的面积
平方根计算工具
在线平方根计算工具
圆柱表面积计算器
在线计算圆柱体的表面积
密度单位换算
密度单位在线换算工具
压力换算器
压力在线换算工具
相反颜色计算器
一款在线取相反颜色的计算工具
在线投骰子
在线投骰子小工具
WPS表格常用快捷键大全
WPS表格常用快捷键大全工具提供了丰富的快捷键,帮助您更高效地操作表格,提升工作效率。
老黄历
在线老黄历查询
久坐提醒
网页版在线久坐提醒小工具
PDF文件多页转单一页
在线将PDF文件中的多个页面合并成单页
PDF文件拆分
在线对PDF文件进行拆分
PDF文件添加水印
在线对PDF文件添加水印
屏幕在线检测工具
在线对屏幕进行饱和度,色彩,漏光等进行测试
在线云风扇
除没有风啥都好的云风扇
在线迷宫小游戏
一款在线闯迷宫的小游戏
Photoshop快捷键大全
在线查询Photoshop快捷键
身体表面积计算器
根据您的体重和身高来计算您的身体表面积
孩子身高预测
通过父母的身高来预测孩子的身高
证件照片尺寸计算
在线将照片的尺寸单位转为毫米或厘米