如何查看百度蜘蛛有没有爬过最自己的网站，怎么判断百度蜘蛛是否来过自己的网站

来源：整理时间：2025-05-31 21:49:21 编辑：网络营销手机版

本文目录一览

1，怎么判断百度蜘蛛是否来过自己的网站
2，如何知道百度蜘蛛是否来过自己的网站
3，怎样确定百度蜘蛛是否来过我的网站
4，谁能告诉我怎样看百度蜘蛛有没有爬过我们的网站
5，怎样查看百度蜘蛛是否来过自己的网站
6，怎么知道百度蜘蛛是否来过你网站
7，怎么查看百度蜘蛛有没有来过我的网站
8，如何知道百度蜘蛛是否来过自己的网站

1，怎么判断百度蜘蛛是否来过自己的网站

蜘蛛的爬行可以通过你空间的IIS日志查看，一般网站的根目录下都有LOG这样的文件夹。日志就保存在里面。不知道你的是不是win的系统，我用过wordpress的一个插件，是可以统计到机器人的访问记录

怎么判断百度蜘蛛是否来过自己的网站

2，如何知道百度蜘蛛是否来过自己的网站

通过查看网站日志，可以了解搜索引擎蜘蛛的访问情况。通过FTP访问网站的根目录。可以看到一个log的文件夹，这是存放日志的地方。可以压缩（日志文件一般很大）后通过下载到本地电脑上解压缩后打开日志文件。1、网站刚上线，看搜索引擎蜘蛛的抓取情况；如果网站提交给搜索引擎2天后，发现日志里蜘蛛不少，并都返回200，则说明已经可以正常。只是Google展示的时间比较快，而百度则需要20天左右（经验平均值）展示出来。2、网站异常，对比日志中蜘蛛的行为情况；正常增加时和现在异常时的日志，进行对比分析。如果没有异常，则应该是搜索引擎展示数据库出问题所致。如果蜘蛛爬取量明显减少，是否突然减少很多。如果日志依然，则认为是搜索引擎的展示问题。3、解决网站被封问题时，日志情况。网站被封时，往往日志里有百度蜘蛛，但很少，而且往往只访问robots.txt文件和首页。经过站长检查修改一切不符合搜索引擎的优化行为后，再将自己网站提交给百度，之后的2天日志情况如果一直只是百度蜘蛛很少光临，而且往往只访问robots.txt文件和首页。这样的情况维持1个月，可以考虑放弃该域名。如果蜘蛛明显增加，而且返回200代码居多，则被百度重新收录的希望很大，只是时间问题，需要站长更加努力。

如何知道百度蜘蛛是否来过自己的网站

3，怎样确定百度蜘蛛是否来过我的网站

打开网站日志，查找baidu.com/search就能查到蜘蛛了，但是每个IP段都代表不同的蜘蛛。

两天没进来了，现在进来发一下，求门户类的友情

看收录啊.权重啊

怎样确定百度蜘蛛是否来过我的网站

4，谁能告诉我怎样看百度蜘蛛有没有爬过我们的网站

回复 Amity 的帖子搜索引擎抓取网站信息必会在服务器上留下信息，这个信息就在网站日志文件里。我们通过日志可以了解搜索引擎的访问情况，一般通过主机服务商开通日志功能，再通过FTP访问网站的根目录，在根目录下可以看到一个log或者weblog文件夹，这里面就是日志文件，我们把这个日志文件下载下来，用记事本(或浏览器)打开就可以看到网站日志的内容。如果想要知道网站日志文件包含了什么内容，首先必须知道各搜索引擎的蜘蛛名称，比如bd的蜘蛛程序名称是baiduspider，Google的机器人程序名称是Google-Googlebot等等，我们在日志的内容里搜索上述的的蜘蛛名就可以知道哪个搜索引擎已经爬取过网站了，这里就留下了他们的蛛丝马迹。再者，必须能看懂常见的http状态码，最常见的HTTP状态码有200(页面抓取成功)、304(上次抓取的和这次抓取的没变化)，404(未找到页面，错误链接)500(服务器未响应，一般由服务器维护和出故障，网站打不开时出现的)，服务器状态码的值是我们和蜘蛛交流的信号。知道了这些基本信息以后我们就可以根据网站日志进行分析了，一般来说我们只看bd和谷歌蜘蛛的爬行和抓取情况，当然有特殊需要的也可以对其他几个蜘蛛的爬行情况进行分析。网站日志中出现大量的谷歌蜘蛛和bd蜘蛛，说明搜索引擎蜘蛛时常来光顾你的网站。

5，怎样查看百度蜘蛛是否来过自己的网站

查看百度蜘蛛是否来过自己的网站可以下载网站日志文件，使用记事本打开，然后搜索baiduspider就行了，有这个说明百度蜘蛛来了

判断蜘蛛有没有来过自己的网站可以查看iis日志代码。或者联系空间商开通了蜘蛛访问记录也可以。具体查看过程和判断蜘蛛

6，怎么知道百度蜘蛛是否来过你网站

通过查看网站日志，可以了解搜索引擎蜘蛛的访问情况。通过ftp访问网站的根目录。可以看到一个log的文件夹，这是存放日志的地方。可以压缩（日志文件一般很大）后通过下载到本地电脑上解压缩后打开日志文件。1、网站刚上线，看搜索引擎蜘蛛的抓取情况；如果网站提交给搜索引擎2天后，发现日志里蜘蛛不少，并都返回200，则说明已经可以正常。只是google展示的时间比较快，而百度则需要20天左右（经验平均值）展示出来。2、网站异常，对比日志中蜘蛛的行为情况；正常增加时和现在异常时的日志，进行对比分析。如果没有异常，则应该是搜索引擎展示数据库出问题所致。如果蜘蛛爬取量明显减少，是否突然减少很多。如果日志依然，则认为是搜索引擎的展示问题。3、解决网站被封问题时，日志情况。网站被封时，往往日志里有百度蜘蛛，但很少，而且往往只访问robots.txt文件和首页。经过站长检查修改一切不符合搜索引擎的优化行为后，再将自己网站提交给百度，之后的2天日志情况如果一直只是百度蜘蛛很少光临，而且往往只访问robots.txt文件和首页。这样的情况维持1个月，可以考虑放弃该域名。如果蜘蛛明显增加，而且返回200代码居多，则被百度重新收录的希望很大，只是时间问题，需要站长更加努力。

7，怎么查看百度蜘蛛有没有来过我的网站

判断蜘蛛有没有来过自己的网站可以查看IIS日志代码。或者联系空间商开通了蜘蛛访问记录也可以。如果你的空间商给你的空间支持查询蜘蛛访问记录的话。可以在ftp找到WebLog的文件夹，具体步骤e799bee5baa6e997aee7ad94e4b893e5b19e31333332633038如下：1.打开FTP登陆软件(这里以FlashFxp为例),登陆你的空间FTP。登陆进FTP后,你会发现在根目录下有一个WebLog的文件夹(注:不同的IDC空间生成的日志文件目录名称不一样,仅供参考.一般文件夹中包含Log字符的都是日志文件夹)2.打开WebLog目录后,里面有一些以日期格式特征为文件名的.gz后缀结尾的文件.这些就是我们需要下载到本地的日志文件.3.打开压缩文件,发现里面只有一个以.log结尾的日志文件,我们需要的就是这个文件了.4.解压后,打开日志文件.Ctrl+F查找baidu.com/search特征字符(这里以百度蜘蛛为例)通过分析蜘蛛来访纪录,可以了解本站的大体情况,而不用再为百度不放出内页或者不收录的问题而苦恼了.蜘蛛来访正常,可以确切的说,搜索引擎对你的站很友好的,坚持更新自己的网站,会有不错的收录的.注:有些共享IP空间可能不支持日志功能.对于独立ip虚拟主机则提供每天的日志下载.而实在没有可以日志功能的空间可以参考使用蜘蛛爬行插件的一些方法进行分析.