爬虫君子协议-robots.txt协议

绝地灬酷狼 2021-09-07 06:14 483阅读 0赞

### 文章目录 ###

*   *  一.定义
     *  二.用法

## 一.定义 ##

robots协议是一种约定俗称的爬虫协议，由网站主人规定了该网站的哪些内容可以爬取，哪些内容不可以爬取，擅自爬取可能承担相关法律责任。之所以称之为君子协议，是因为防君子不防小人，该协议并没有用技术手段实现反爬，只是一个申明。

> 在网站根目录后输入/robots.txt后即可查看该网站的君子协议  
> 例如访问https://www.douban.com/robots.txt可查看豆瓣网站的君子协议  
> 查看结果如下  
> User-agent: \*  
> Disallow: /subject\_search  
> Disallow: /amazon\_search  
> Disallow: /search  
> Disallow: /group/search  
> Disallow: /event/search  
> Disallow: /celebrities/search  
> Disallow: /location/drama/search  
> Disallow: /forum/  
> Disallow: /new\_subject  
> Disallow: /service/iframe  
> Disallow: /j/  
> Disallow: /link2/  
> Disallow: /recommend/  
> Disallow: /doubanapp/card  
> Disallow: /update/topic/  
> Disallow: /share/  
> Allow: /ads.txt  
> Sitemap: https://www.douban.com/sitemap\_index.xml  
> Sitemap: https://www.douban.com/sitemap\_updated\_index.xml  
> **Crawl-delay: 5**
> 
> User-agent: Wandoujia Spider Disallow: /
> 
> User-agent: Mediapartners-Google  
> Disallow: /subject\_search  
> Disallow:  
> /amazon\_search  
> Disallow: /search  
> Disallow: /group/search  
> Disallow:/event/search  
> Disallow: /celebrities/search  
> Disallow:location/drama/search Disallow: /j/

## 二.用法 ##

<table> 
 <thead> 
  <tr> 
   <th>名</th> 
   <th>意</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>User-agent: *</td> 
   <td>这里的*代表的所有的搜索引擎种类，*是一个通配符</td> 
  </tr> 
  <tr> 
   <td>Disallow: /admin/</td> 
   <td>这里定义是禁止爬寻admin目录下面的目录</td> 
  </tr> 
  <tr> 
   <td>Disallow: /require/</td> 
   <td>这里定义是禁止爬寻require目录下面的目录</td> 
  </tr> 
  <tr> 
   <td>Disallow: /ABC/</td> 
   <td>这里定义是禁止爬寻ABC目录下面的目录</td> 
  </tr> 
  <tr> 
   <td>Disallow: /cgi-bin/*.htm</td> 
   <td>禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。</td> 
  </tr> 
  <tr> 
   <td>Disallow: /<em>?</em></td> 
   <td>禁止访问网站中所有包含问号 (?) 的网址</td> 
  </tr> 
  <tr> 
   <td>Disallow: /.jpg$</td> 
   <td>禁止抓取网页所有的.jpg格式的图片</td> 
  </tr> 
  <tr> 
   <td>Disallow:/ab/adc.html</td> 
   <td>禁止爬取ab文件夹下面的adc.html文件。</td> 
  </tr> 
  <tr> 
   <td>Allow: /cgi-bin/</td> 
   <td>这里定义是允许爬寻cgi-bin目录下面的目录</td> 
  </tr> 
  <tr> 
   <td>Allow: /tmp</td> 
   <td>这里定义是允许爬寻tmp的整个目录</td> 
  </tr> 
  <tr> 
   <td>Allow: .htm$</td> 
   <td>仅允许访问以".htm"为后缀的URL。</td> 
  </tr> 
  <tr> 
   <td>Allow: .gif$</td> 
   <td>允许抓取网页和gif格式图片</td> 
  </tr> 
  <tr> 
   <td>Sitemap:</td> 
   <td>网站地图 告诉爬虫这个页面是网站地图</td> 
  </tr> 
 </tbody> 
</table>

> 实例分析：淘宝网的 Robots.txt文件  
> User-agent: Baiduspider  
> Disallow: /  
> User-agent: baiduspider  
> Disallow: /  
> 很显然淘宝不允许百度的机器人访问其网站下其所有的目录。

[更多信息->百度百科][-]

[-]: https://baike.baidu.com/item/robots%E5%8D%8F%E8%AE%AE