Python爬虫是如何遍历文档树呢？一招教你

叁歲伎倆 2023-02-13 11:11 43阅读 0赞

**![format_png][]**

**遍历文档树**

**1.直接子节点：.contents .children属性**

.content

Tag的.content属性可以将Tag的子节点以列表的方式输出

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 </td> 
 <td> <code>#!/usr/bin/python3</code> <code>#&nbsp;-*-&nbsp;coding:utf-8&nbsp;-*-</code> <code>&nbsp;</code>&nbsp; <code>from&nbsp;bs4&nbsp;import&nbsp;BeautifulSoup</code> <code>&nbsp;</code>&nbsp; <code>html&nbsp;=&nbsp;</code><code>""</code><code>"</code> <code>&lt;html&gt;&lt;head&gt;&lt;title&gt;The&nbsp;Dormouse's&nbsp;story&lt;/title&gt;&lt;/head&gt;</code> <code>&lt;body&gt;</code> <code>&lt;p&nbsp;</code><code>class</code><code>=</code><code>"title"</code>&nbsp;<code>name=</code><code>"dromouse"</code><code>&gt;&lt;b&gt;The&nbsp;Dormouse's&nbsp;story&lt;/b&gt;&lt;/p&gt;</code> <code>&lt;p&nbsp;</code><code>class</code><code>=</code><code>"story"</code><code>&gt;Once&nbsp;upon&nbsp;a&nbsp;time&nbsp;there&nbsp;were&nbsp;three&nbsp;little&nbsp;sisters;&nbsp;</code><code>and</code>&nbsp;<code>their&nbsp;names&nbsp;were</code> <code>&lt;a&nbsp;href=</code><code>"http://example.com/elsie"</code>&nbsp;<code>class</code><code>=</code><code>"sister"</code>&nbsp;<code>id=</code><code>"link1"</code><code>&gt;&lt;!--&nbsp;Elsie&nbsp;--&gt;&lt;/a&gt;,</code> <code>&lt;a&nbsp;href=</code><code>"http://example.com/lacie"</code>&nbsp;<code>class</code><code>=</code><code>"sister"</code>&nbsp;<code>id=</code><code>"link2"</code><code>&gt;Lacie&lt;/a&gt;&nbsp;</code><code>and</code> <code>&lt;a&nbsp;href=</code><code>"http://example.com/tillie"</code>&nbsp;<code>class</code><code>=</code><code>"sister"</code>&nbsp;<code>id=</code><code>"link3"</code><code>&gt;Tillie&lt;/a&gt;;</code> <code>and</code>&nbsp;<code>they&nbsp;lived&nbsp;at&nbsp;the&nbsp;bottom&nbsp;of&nbsp;a&nbsp;well.&lt;/p&gt;</code> <code>&lt;p&nbsp;</code><code>class</code><code>=</code><code>"story"</code><code>&gt;...&lt;/p&gt;</code> <code>""</code><code>"另外要&lt;strong&gt;注意：&lt;/strong&gt;光理论是不够的。这里顺便送大家一套2020最新python入门到高级项目实战视频教程，可以去小编的Python交流.裙 ：七衣衣九七七巴而五（数字的谐音）转换下可以找到了，还可以跟老司机交流讨教！</code> <code>&nbsp;</code>&nbsp; <code>#&nbsp;创建&nbsp;Beautiful&nbsp;Soup&nbsp;对象，指定lxml解析器</code> <code>soup&nbsp;=&nbsp;BeautifulSoup(html,&nbsp;</code><code>"lxml"</code><code>)</code> <code>&nbsp;</code>&nbsp; <code>#&nbsp;输出方式为列表</code> <code>print</code><code>(soup.head.contents)</code> <code>&nbsp;</code>&nbsp; <code>print</code><code>(soup.head.contents[0])</code> </td> 
 </tr> 
 </tbody> 
</table>

运行结果

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 </td> 
 <td> <code>[&lt;title&gt;The&nbsp;Dormouse's&nbsp;story&lt;/title&gt;]</code> <code>&lt;title&gt;The&nbsp;Dormouse's&nbsp;story&lt;/title&gt;</code> </td> 
 </tr> 
 </tbody> 
</table>

.children

它返回的不是一个列表，不过我们可以通过遍历获取所有的子节点。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 </td> 
 <td> <code>#!/usr/bin/python3</code> <code>#&nbsp;-*-&nbsp;coding:utf-8&nbsp;-*-</code> <code>&nbsp;</code>&nbsp; <code>from&nbsp;bs4&nbsp;import&nbsp;BeautifulSoup</code> <code>&nbsp;</code>&nbsp; <code>html&nbsp;=&nbsp;</code><code>""</code><code>"</code> <code>&lt;html&gt;&lt;head&gt;&lt;title&gt;The&nbsp;Dormouse's&nbsp;story&lt;/title&gt;&lt;/head&gt;</code> <code>&lt;body&gt;</code> <code>&lt;p&nbsp;</code><code>class</code><code>=</code><code>"title"</code>&nbsp;<code>name=</code><code>"dromouse"</code><code>&gt;&lt;b&gt;The&nbsp;Dormouse's&nbsp;story&lt;/b&gt;&lt;/p&gt;</code> <code>&lt;p&nbsp;</code><code>class</code><code>=</code><code>"story"</code><code>&gt;Once&nbsp;upon&nbsp;a&nbsp;time&nbsp;there&nbsp;were&nbsp;three&nbsp;little&nbsp;sisters;&nbsp;</code><code>and</code>&nbsp;<code>their&nbsp;names&nbsp;were</code> <code>&lt;a&nbsp;href=</code><code>"http://example.com/elsie"</code>&nbsp;<code>class</code><code>=</code><code>"sister"</code>&nbsp;<code>id=</code><code>"link1"</code><code>&gt;&lt;!--&nbsp;Elsie&nbsp;--&gt;&lt;/a&gt;,</code> <code>&lt;a&nbsp;href=</code><code>"http://example.com/lacie"</code>&nbsp;<code>class</code><code>=</code><code>"sister"</code>&nbsp;<code>id=</code><code>"link2"</code><code>&gt;Lacie&lt;/a&gt;&nbsp;</code><code>and</code> <code>&lt;a&nbsp;href=</code><code>"http://example.com/tillie"</code>&nbsp;<code>class</code><code>=</code><code>"sister"</code>&nbsp;<code>id=</code><code>"link3"</code><code>&gt;Tillie&lt;/a&gt;;</code> <code>and</code>&nbsp;<code>they&nbsp;lived&nbsp;at&nbsp;the&nbsp;bottom&nbsp;of&nbsp;a&nbsp;well.&lt;/p&gt;</code> <code>&lt;p&nbsp;</code><code>class</code><code>=</code><code>"story"</code><code>&gt;...&lt;/p&gt;</code> <code>""</code><code>"</code> <code>&nbsp;</code>&nbsp; <code>#&nbsp;创建&nbsp;Beautiful&nbsp;Soup&nbsp;对象，指定lxml解析器</code> <code>soup&nbsp;=&nbsp;BeautifulSoup(html,&nbsp;</code><code>"lxml"</code><code>)</code> <code>&nbsp;</code>&nbsp; <code>#&nbsp;输出方式为列表生成器对象</code> <code>print</code><code>(soup.head.children)</code> <code>&nbsp;</code>&nbsp; <code>#&nbsp;通过遍历获取所有子节点</code> <code>for</code>&nbsp;<code>child&nbsp;in&nbsp;soup.head.children:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print</code><code>(child)</code> </td> 
 </tr> 
 </tbody> 
</table>

运行结果

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 </td> 
 <td> <code>&lt;list_iterator&nbsp;object&nbsp;at&nbsp;0x008FF950&gt;</code> <code>&lt;title&gt;The&nbsp;Dormouse's&nbsp;story&lt;/title&gt;</code> </td> 
 </tr> 
 </tbody> 
</table>

相关推荐：《Python相关教程》

**2.所有子孙节点：.descendants属性**

上面讲的.contents和.children属性仅包含Tag的直接子节点，.descendants属性可以对所有Tag的子孙节点进行递归循环，和children类似，我们也需要通过遍历的方式获取其中的内容。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 </td> 
 <td> <code>#!/usr/bin/python3</code> <code>#&nbsp;-*-&nbsp;coding:utf-8&nbsp;-*-</code> <code>&nbsp;</code>&nbsp; <code>from&nbsp;bs4&nbsp;import&nbsp;BeautifulSoup</code> <code>&nbsp;</code>&nbsp; <code>html&nbsp;=&nbsp;</code><code>""</code><code>"</code> <code>&lt;html&gt;&lt;head&gt;&lt;title&gt;The&nbsp;Dormouse's&nbsp;story&lt;/title&gt;&lt;/head&gt;</code> <code>&lt;body&gt;</code> <code>&lt;p&nbsp;</code><code>class</code><code>=</code><code>"title"</code>&nbsp;<code>name=</code><code>"dromouse"</code><code>&gt;&lt;b&gt;The&nbsp;Dormouse's&nbsp;story&lt;/b&gt;&lt;/p&gt;</code> <code>&lt;p&nbsp;</code><code>class</code><code>=</code><code>"story"</code><code>&gt;Once&nbsp;upon&nbsp;a&nbsp;time&nbsp;there&nbsp;were&nbsp;three&nbsp;little&nbsp;sisters;&nbsp;</code><code>and</code>&nbsp;<code>their&nbsp;names&nbsp;were</code> <code>&lt;a&nbsp;href=</code><code>"http://example.com/elsie"</code>&nbsp;<code>class</code><code>=</code><code>"sister"</code>&nbsp;<code>id=</code><code>"link1"</code><code>&gt;&lt;!--&nbsp;Elsie&nbsp;--&gt;&lt;/a&gt;,</code> <code>&lt;a&nbsp;href=</code><code>"http://example.com/lacie"</code>&nbsp;<code>class</code><code>=</code><code>"sister"</code>&nbsp;<code>id=</code><code>"link2"</code><code>&gt;Lacie&lt;/a&gt;&nbsp;</code><code>and</code> <code>&lt;a&nbsp;href=</code><code>"http://example.com/tillie"</code>&nbsp;<code>class</code><code>=</code><code>"sister"</code>&nbsp;<code>id=</code><code>"link3"</code><code>&gt;Tillie&lt;/a&gt;;</code> <code>and</code>&nbsp;<code>they&nbsp;lived&nbsp;at&nbsp;the&nbsp;bottom&nbsp;of&nbsp;a&nbsp;well.&lt;/p&gt;</code> <code>&lt;p&nbsp;</code><code>class</code><code>=</code><code>"story"</code><code>&gt;...&lt;/p&gt;</code> <code>""</code><code>"</code> <code>&nbsp;</code>&nbsp; <code>#&nbsp;创建&nbsp;Beautiful&nbsp;Soup&nbsp;对象，指定lxml解析器</code> <code>soup&nbsp;=&nbsp;BeautifulSoup(html,&nbsp;</code><code>"lxml"</code><code>)</code> <code>&nbsp;</code>&nbsp; <code>#&nbsp;输出方式为列表生成器对象</code> <code>print</code><code>(soup.head.descendants)</code> <code>&nbsp;</code>&nbsp; <code>#&nbsp;通过遍历获取所有子孙节点</code> <code>for</code>&nbsp;<code>child&nbsp;in&nbsp;soup.head.descendants:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print</code><code>(child)</code> </td> 
 </tr> 
 </tbody> 
</table>

运行结果

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 </td> 
 <td> <code>&lt;generator&nbsp;object&nbsp;descendants&nbsp;at&nbsp;0x00519AB0&gt;</code> <code>&lt;title&gt;The&nbsp;Dormouse's&nbsp;story&lt;/title&gt;</code> <code>The&nbsp;Dormouse's&nbsp;story</code> </td> 
 </tr> 
 </tbody> 
</table>

**3.节点内容：.string属性**

如果Tag只有一个NavigableString类型子节点，那么这个Tag可以使用.string得到子节点。如果一个Tag仅有一个子节点，那么这个Tab也可以使用.string方法，输出结果与当前唯一子节点的.string结果相同。

通俗点来讲就是：如果一个标签里面没有标签了，那么.string就会返回标签里面的内容。如果标签里面只有唯一的一个标签了，那么.string也会返回里面的内容。例如：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 </td> 
 <td> <code>#!/usr/bin/python3</code> <code>#&nbsp;-*-&nbsp;coding:utf-8&nbsp;-*-</code> <code>&nbsp;</code>&nbsp; <code>from&nbsp;bs4&nbsp;import&nbsp;BeautifulSoup</code> <code>&nbsp;</code>&nbsp; <code>html&nbsp;=&nbsp;</code><code>""</code><code>"</code> <code>&lt;html&gt;&lt;head&gt;&lt;title&gt;The&nbsp;Dormouse's&nbsp;story&lt;/title&gt;&lt;/head&gt;</code> <code>&lt;body&gt;</code> <code>&lt;p&nbsp;</code><code>class</code><code>=</code><code>"title"</code>&nbsp;<code>name=</code><code>"dromouse"</code><code>&gt;&lt;b&gt;The&nbsp;Dormouse's&nbsp;story&lt;/b&gt;&lt;/p&gt;</code> <code>&lt;p&nbsp;</code><code>class</code><code>=</code><code>"story"</code><code>&gt;Once&nbsp;upon&nbsp;a&nbsp;time&nbsp;there&nbsp;were&nbsp;three&nbsp;little&nbsp;sisters;&nbsp;</code><code>and</code>&nbsp;<code>their&nbsp;names&nbsp;were</code> <code>&lt;a&nbsp;href=</code><code>"http://example.com/elsie"</code>&nbsp;<code>class</code><code>=</code><code>"sister"</code>&nbsp;<code>id=</code><code>"link1"</code><code>&gt;&lt;!--&nbsp;Elsie&nbsp;--&gt;&lt;/a&gt;,</code> <code>&lt;a&nbsp;href=</code><code>"http://example.com/lacie"</code>&nbsp;<code>class</code><code>=</code><code>"sister"</code>&nbsp;<code>id=</code><code>"link2"</code><code>&gt;Lacie&lt;/a&gt;&nbsp;</code><code>and</code> <code>&lt;a&nbsp;href=</code><code>"http://example.com/tillie"</code>&nbsp;<code>class</code><code>=</code><code>"sister"</code>&nbsp;<code>id=</code><code>"link3"</code><code>&gt;Tillie&lt;/a&gt;;</code> <code>and</code>&nbsp;<code>they&nbsp;lived&nbsp;at&nbsp;the&nbsp;bottom&nbsp;of&nbsp;a&nbsp;well.&lt;/p&gt;</code> <code>&lt;p&nbsp;</code><code>class</code><code>=</code><code>"story"</code><code>&gt;...&lt;/p&gt;</code> <code>""</code><code>"</code> <code>&nbsp;</code>&nbsp; <code>#&nbsp;创建&nbsp;Beautiful&nbsp;Soup&nbsp;对象，指定lxml解析器</code> <code>soup&nbsp;=&nbsp;BeautifulSoup(html,&nbsp;</code><code>"lxml"</code><code>)</code> <code>&nbsp;</code>&nbsp; <code>print</code><code>(soup.head.string)</code> <code>&nbsp;</code>&nbsp; <code>print</code><code>(soup.head.title.string)</code> </td> 
 </tr> 
 </tbody> 
</table>

运行结果

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 </td> 
 <td> <code>The&nbsp;Dormouse's&nbsp;story</code> <code>The&nbsp;Dormouse's&nbsp;story</code> </td> 
 </tr> 
 </tbody> 
</table>

都懂了吗？**最后注意：**光理论是不够的。这里顺便送大家一套2020最新python入门到高级项目实战视频教程，可以去小编的Python交流.裙 ：七衣衣九七七巴而五（数字的谐音）转换下可以找到了，还可以跟老司机交流讨教！

*本文的文字及图片来源于网络加上自己的想法,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。*

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly93d3cueWh0Ny5jb20vdXBsb2FkL2ltYWdlLzIwMjAwMTE0LzVkMWQ3N2M2NTNiODYxNjQuanBn?x-oss-process=image/format,png