如何查看robottxt，如何查看他网站的robottxt文件

本文目录一览

1，如何查看他网站的robottxt文件
2，怎么查看自己网站的robotstxt文件请高人解决
3，什么是robotstxt检查robotstx有什么作用吗
4，我想做地图但是不知道robots文件在哪
5，请教一下怎样看robot文件
6，怎样查看网站robotstxt内容

1，如何查看他网站的robottxt文件

网站后面加上robots.txt 例如 wenwen.soso.com/robots.txt 这样就可以查询到网站的tobot.txt文件了。特别需要注意的是，后面跟的是robots.txt，不要少了 “s”

如何查看他网站的robottxt文件

2，怎么查看自己网站的robotstxt文件请高人解决

robots是放在服务器根目录下的，所以你想查看的话就在IE上打http://你的网址/robots.txt要是说查看分析robots的话有专业的相关工具站长工具就可以！

如果你的网站有这个文件，你直接打上网址/robots.txt就可以看到呀，你是不是这个意思

怎么查看自己网站的robotstxt文件请高人解决

3，什么是robotstxt检查robotstx有什么作用吗

robots.txt文件会告诉蜘蛛程序在服务器上什么文件是可以被查看的什么文件是不允许查看的。举一个简单的例子：当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面

你好！为搜索引引擎的爬行而设定的，如果没有那么网站很难被收录，甚至在搜索上找不到。比如百度来搜你的网站的时候，第一站就是来到你那个robots.txt文件，如果没有，那么它就走了，对网站的网络操作很不利仅代表个人观点，不喜勿喷，谢谢。

什么是robotstxt检查robotstx有什么作用吗

4，我想做地图但是不知道robots文件在哪

robot一般是在根目录下面，在ftp里进去就可以下载得到。如果你是找公司设计的，不拥有网站的代码，总会有网站后台吧，在网站后台新建一个单页里面做一下指向主要目录和页面的锚链接，这就是一个html的sitemap，再通过导航栏/header/footer添加该sitemap的链接即可

网站地图的命名是sitemap吧 robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

你是说在robots.txt中加上sitemap.xml的地址吗？加上Sitemap: http://你网站的域名/sitemap.xml” 如果你是说直接在robots.txt里做sitemap.xml~不好意思~这个不是在robots.txt里做的~sitemap.xml是一个单独的xml文件~是以xml的形式来记录你发表的文章，有很多插件可以实现，因为不知道你的网站是用的什么形式作的（比如是哪个cms？）~所以不好说具体用哪个插件~

5，请教一下怎样看robot文件

Disallow：该项的值用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow开头的URL均不会被robot访问到。例如： “Disallow: /help”对/help.html 和/help/index.html都不允许搜索引擎访问，而“Disallow: /help/”则允许robot访问/help.html，而不能访问/help/index.html。任何一条Disallow记录为空，说明该网站的所有部分都允许被访问，在 “/robots.txt”文件中，至少要有一条Disallow记录。如果“/robots.txt”是一个空文件，则对于所有的搜索引擎robot，该网站都是开放的。

楼上已有正解。大概就是限制了用户页面，搜索页面，以及网站的数据信息，数据库信息，模版等等

disallow的后面要拦截的网页，相信这点你是知道的，那么加了api.php的意思就是API.PHP不要被搜索引擎索引的意思，disallow /home.php?mod=*的意思，就是所有/home.php?mod=后面跟的不管是什么，都不要被搜索引擎所以，*是通配符中的一个，代表任意全部的意思，不知道解释的是否够详细呢？

6，怎样查看网站robotstxt内容

robots.txt文件应该放在网站根目录下，用好robots是很容易为你网站提权的。robots.txt其实就是个记事本文件，这个文件应该放到网站的根目录如想让蜘蛛抓取你的所有页面，可以上传一个空的记事本文件命名为“robots.txt”上传到根目录即可

robots.txt的使用方法和详细解释robots.txt对于大多数有网站优化经验的朋友来说并不算太陌生，用过的朋友肯定会有感受，设置好robots.txt对网站优化来说利远远大于弊。今天彭宇诚就与大家分享一下robots.txt的使用方法，希望对大家有所帮助。我们先来认识一下什么是robots.txt？我理解的是robots.txt是通过代码控制搜索引擎蜘蛛索引的一个手段，以便减轻网站服务器的带宽使用率，从而让网站的空间更稳定，同时也可以提高网站其他页面的索引效率，提高网站收录。下面我们再来熟悉一下怎样使用robots.txt？首先，我们需要创建一个robots.txt文本文件，然后在文档内设置好代码，告诉搜索引擎我网站的哪些文件你不能访问。然后上传到网站根目录下面，因为当搜索引擎蜘蛛在索引一个网站时，会先爬行查看网站根目录下是否有robots.txt文件。robots.txt文件内的代码书写规范我们也要注意，其中user-agent:*是必须存在的，表示对所有搜索引擎蜘蛛有效。disallow:是说明不允许索引哪些文件夹