如何打开网站的robottxt，如何查看他网站的robottxt文件

本文目录一览

1，如何查看他网站的robottxt文件
2，robotframework怎么打开robot格式文件
3，网站正常运行robotstxt怎样设置
4，robottxt的使用技巧
5，怎么查看自己网站的robotstxt文件请高人解决
6，请问网站根目录的robotstxt文件如何查看呀
7，请教一下怎样看robot文件
8，怎样查看网站robotstxt内容

1，如何查看他网站的robottxt文件

网站后面加上robots.txt 例如 wenwen.soso.com/robots.txt 这样就可以查询到网站的tobot.txt文件了。特别需要注意的是，后面跟的是robots.txt，不要少了 “s”

如何查看他网站的robottxt文件

2，robotframework怎么打开robot格式文件

robot后缀的文件其实就是文本文件，跟普通的txt没有差别。命令行环境下直接使用pybot命令即可运行测试脚本，也可以用RIDE界面工具打开测试文件。如果仅仅想查看编辑测试脚本，则可以使用任何文本编辑器（如windows记事本）即可打开robot后缀的文件。

robotframework怎么打开robot格式文件

3，网站正常运行robotstxt怎样设置

据我所知robots.txt是用来告知搜索引擎不要收录的地方！放在FTP空间的根目录你只要连接FTP，打开这个.txt格式的文本，就能很轻易的理解怎么操作的了！

出了你自己编写网站的文件外和各个频道文件夹其它的没有用的都可以写在文件上！不写也没有关系！

网站正常运行robotstxt怎样设置

4，robottxt的使用技巧

每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误（无法找到文件）。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误，所以你应该在网站中添加一个robots.txt。网站管理员必须使搜索引擎机器人程序远离服务器上的某些目录，以保证服务器性能。比如：大多数网站服务器都有程序储存在“cgi-bin”目录下，因此在robots.txt文件中加入“Disallow: /cgi-bin”是个好主意，这样能够避免所有程序文件都被蜘蛛索引，以达到节省服务器资源的效果。一般网站中不需要蜘蛛抓取的文件有：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。下面是VeryCMS里的robots.txt文件：User-agent: *Disallow: /admin/ 后台管理文件Disallow: /require/程序文件Disallow: /attachment/ 附件Disallow: /images/ 图片Disallow: /data/数据库文件Disallow: /template/ 模板文件Disallow: /css/ 样式表文件Disallow: /lang/ 编码文件Disallow: /script/脚本文件Disallow: /js/js文件如果你的网站是动态网页，并且你为这些动态网页创建了静态副本，以供搜索蜘蛛更容易抓取。那么你需要在robots.txt文件里设置避免动态网页被蜘蛛索引，以保证这些网页不会被视为是网站重复的内容。robots.txt文件里还可以直接包括在sitemap文件的链接。就像这样：Sitemap: http://www.***.com/sitemap.xml目前对此表示支持的搜索引擎公司有Google, Yahoo, Ask and MSN。而中文搜索引擎公司，显然不在这个圈子内。这样做的好处就是，站长不用到每个搜索引擎的站长工具或者相似的站长部分，去提交自己的sitemap文件，搜索引擎的蜘蛛自己就会抓取robots.txt文件，读取其中的sitemap路径，接着抓取其中相链接的网页。合理使用robots.txt文件还能避免访问时出错。比如，不能让搜索者直接进入购物车页面。因为没有理由使购物车被收录，所以你可以在robots.txt文件里设置来阻止搜索者直接进入购物车页面。

5，怎么查看自己网站的robotstxt文件请高人解决

robots是放在服务器根目录下的，所以你想查看的话就在IE上打http://你的网址/robots.txt要是说查看分析robots的话有专业的相关工具站长工具就可以！

如果你的网站有这个文件，你直接打上网址/robots.txt就可以看到呀，你是不是这个意思

6，请问网站根目录的robotstxt文件如何查看呀

你网站的文件放的地方，一般就是网站的根目录。robots.txt文件查看的话，如果是自己的网站，只要用记事本打开就可以了；如果是别人的网站的robots.txt就需要借助一些工具来查看了。比较推荐火狐的 Searchstatus 这个插件，使用方法可以查看http://www.96seo.com/a/jingjiangseogongju/2011/0314/56.html 里面也有下载地址，很方便的

7，请教一下怎样看robot文件

Disallow：该项的值用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow开头的URL均不会被robot访问到。例如： “Disallow: /help”对/help.html 和/help/index.html都不允许搜索引擎访问，而“Disallow: /help/”则允许robot访问/help.html，而不能访问/help/index.html。任何一条Disallow记录为空，说明该网站的所有部分都允许被访问，在 “/robots.txt”文件中，至少要有一条Disallow记录。如果“/robots.txt”是一个空文件，则对于所有的搜索引擎robot，该网站都是开放的。

楼上已有正解。大概就是限制了用户页面，搜索页面，以及网站的数据信息，数据库信息，模版等等

disallow的后面要拦截的网页，相信这点你是知道的，那么加了api.php的意思就是API.PHP不要被搜索引擎索引的意思，disallow /home.php?mod=*的意思，就是所有/home.php?mod=后面跟的不管是什么，都不要被搜索引擎所以，*是通配符中的一个，代表任意全部的意思，不知道解释的是否够详细呢？

8，怎样查看网站robotstxt内容

robots.txt文件应该放在网站根目录下，用好robots是很容易为你网站提权的。robots.txt其实就是个记事本文件，这个文件应该放到网站的根目录如想让蜘蛛抓取你的所有页面，可以上传一个空的记事本文件命名为“robots.txt”上传到根目录即可

robots.txt的使用方法和详细解释robots.txt对于大多数有网站优化经验的朋友来说并不算太陌生，用过的朋友肯定会有感受，设置好robots.txt对网站优化来说利远远大于弊。今天彭宇诚就与大家分享一下robots.txt的使用方法，希望对大家有所帮助。我们先来认识一下什么是robots.txt？我理解的是robots.txt是通过代码控制搜索引擎蜘蛛索引的一个手段，以便减轻网站服务器的带宽使用率，从而让网站的空间更稳定，同时也可以提高网站其他页面的索引效率，提高网站收录。下面我们再来熟悉一下怎样使用robots.txt？首先，我们需要创建一个robots.txt文本文件，然后在文档内设置好代码，告诉搜索引擎我网站的哪些文件你不能访问。然后上传到网站根目录下面，因为当搜索引擎蜘蛛在索引一个网站时，会先爬行查看网站根目录下是否有robots.txt文件。robots.txt文件内的代码书写规范我们也要注意，其中user-agent:*是必须存在的，表示对所有搜索引擎蜘蛛有效。disallow:是说明不允许索引哪些文件夹