如在DedeCMS的动态页面indexphp中使用，可以将代码放在一个隐蔽的文件中，然后通过require_once语句引入具体操作时，只需将附件上传至适当位置，然后在核心文件中进行调用这样，你就能有效地监控和管理百度蜘蛛的访问行为，提升新站的权重提升策略；从百度蜘蛛ip看百度对你的网站青睐度 百度蜘蛛是百度搜索引擎的一个自动程序它的作用是访问互联网上的网页图片视频等内容，建立索引数据库，使用户能够通过百度搜索引擎搜索到您网站的网页图片等内容 百度主要通过百度蜘蛛来了解您的网站，并且百度会根据不同的网站派遣不同的蜘蛛爬行你的网站；键入tracert 蜘蛛IP地址 点击“开始”“运行”“cmd”“输入nslookup IP地址”“回车”只要是百度的IP段，代码中会有出现namebaiduspider。

UseragentDisallow或者 UseragentAllow 二禁止某个搜索引擎蜘蛛抓取目录文件，设置代码如下Useragent Msnbot Disallow 例如想禁止MSN的蜘蛛抓取就设为，Msnbot代表MSN的蜘蛛，如果想禁止其他搜索引擎就更换蜘蛛名字即可，其他蜘蛛名字如下百度的蜘蛛baiduspider Google的蜘蛛 Googlebot；注意若网站使用火车头采集发布，使用以上代码会返回403错误，发布不了若想使用火车头采集发布，请使用以下代码设置完成后，可用模拟爬虫查看是否误伤了好蜘蛛说明以上屏蔽的蜘蛛名不包括以下6大蜘蛛名百度蜘蛛Baiduspider 谷歌蜘蛛Googlebot 必应蜘蛛bingbot 搜狗蜘蛛Sogou web spider 360；网站是否自定义404错误页，而这个404错误页的格式类型是否选用了“url”，而没有使用“文件”类型如果采用了url，就要注意这个不能对应html文件，需要对应asp等动态文件，然后在这些文件中用代码让其返回404状态以上信息来源于网络，并非原创具体请自行搜索“百度蜘蛛爬行代码302”，查阅一些资料；我们通过dos命令来查看，我们来找两个IP段40和7，开始运行输入cmd，用命令nslookup+ip看截图只要是百度的IP段，代码中会有出现namebaiduspider，如果没有出现，那就不说不是真的百度IP段；200 正常请求已完成201 正常紧接POST命令202 正常已接受用于处理，但处理尚未完成203 正常部分信息 返回的信息只是一部分204 正常无响应 已接收请求，但不存在要回送的信息 301 永久重定向 请求的数据具有新的位置且更改是永久的302 暂时重定向 请求的数据临时具有。

我们通过dos命令来查看，我们来找两个IP段40和7，开始运行输入 cmd ，用命令nslookup +ip 看截图如果是真的IP段如果不是真实的百度IP段大家要注意的是只要是百度的IP段，代码中会有出现namebaiduspider，如果没有出现，那就不说不是真的百度IP段；百度主要通过百度蜘蛛来了解您的网站，并且百度会根据不同的网站派遣不同的蜘蛛爬行你的网站 12312568* 这个蜘蛛经常来，别的来的少，表示网站可能要进入沙盒了，或被者降权 22018168* 每天这个IP 段只增不减很有可能进沙盒或K站 2201817*12312566* 代表百度蜘蛛IP造；方法一1 第一种方法需要我们使用robotstxt屏蔽百度蜘蛛抓取下图所示页面2 屏蔽效果如下图所示3 除此以外，我们也可以通过使用robotsMeta标签，屏蔽搜索引擎抓取，在头部加入下图红框所圈代码即可4 屏蔽代码如下图所示方法二1 通过使用htaccess，将下图红框所圈代码屏蔽2 然后再；具体作用要看搜索引擎蜘蛛返回的是什么代码200 表示抓取成功 此状态代码表示 服务器 已成功处理请求 蜘蛛吃到了东西304 表示页面未修改 客户端请求的文档已在其缓存中，文档自缓存以来尚未被修改过客户端使用文档的缓存副本，而不从服务器下载文档 蜘蛛已经爬过了，就不再爬取了蜘蛛喜欢新鲜。

蜘蛛访问任何一个网站时，都会先访问网站根目录下的robotstxt文件如果robotstxt文件禁止搜索引擎抓取某些文件或目录，蜘蛛将遵守协议，不抓取被禁止的网址 都不抓取，肯定是不会被采集存进百度数据库的；这段代码提供了丰富的信息120100419 210644 是访问的具体日期和时间2GET robotstxt 表示访问的是 robotstxt 文件，GET 是请求方式380 是默认的；根据不同的IP我们可以分析网站是个怎样的状态， 以下常见的百度蜘蛛IP12312568*这个蜘蛛经常来，别的来的少，表示网站可能要进入沙盒了，或被者降权22018168*每天这个IP 段只增不减很有可能进沙盒或K站2201817*12312566* 代表百度蜘蛛IP造访，准备抓取你东西1211489。