海南网络营销中心

查看: 1057|回复: 1

什么是robots.txt

[复制链接]

78

主题

78

帖子

352

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
352
发表于 2014-9-20 18:33:16 | 显示全部楼层 |阅读模式
    在网站建设过程中我们会有一部分内容不希望被搜索引擎抓取到或者不希望其在互联网中出现,那么要怎么办呢?我要怎么跟搜索引擎说你不要抓取我的xx内容呢?这时候robots就派上用场了。


    Robots.txt是存放于网站根目录下用于规定搜索引擎对网站内容抓取范围的文本文件,就这么一句话可以解释robots.txt是什么,但是我们需要注意的几点:


    1.robots.txt必须存放在网站的根目录下。


    2.其命名必须为robots.txt


    3.Robots.txt是搜索引擎访问网站的第一个页面


    4.Robots.txt中必须指明user-agent

回复

使用道具 举报

12

主题

20

帖子

85

积分

超级版主

Rank: 8Rank: 8

积分
85
发表于 2014-9-25 13:08:14 | 显示全部楼层
这个是优化用到的吧!
回复 支持 反对

使用道具 举报

本版积分规则

QQ|Archiver|手机版|小黑屋|海南网络营销中心

GMT+8, 2020-9-30 15:09 , Processed in 0.218750 second(s), 23 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表