【Python网络爬虫笔记】BeautifulSoup模块
学习资源：中国大学MOOC Python网络爬虫与信息提取 北京理工大学计算机学院 嵩天
安装BeautifulSoup模块
和requests模块一样，如果使用Anaconda 3的话，是自带BeautifulSoup模块的。如果没有BeautifulSoup模块的话，只需要以管理员身份打开cmd，输入命令pip install beautifulsoup4即可安装。
BeautifulSoup的基本元素
BeautifulSoup是解析、遍历、维护“标签树”的功能库。
)
要想引用BeautifulSoup模块，我们需要以下面的语句来导入：
1 | from bs4 import BeautifulSoup |
即主要是用BeautifulSoup类。
下表是对BeautifulSoup库解析器的说明：
解析器|使用方法|条件
——|——|——
bs4的HTML解析器|BeautifulSoup(mk, ‘html.parser’)|安装bs4库
lxml的HTML解析器|BeautifulSoup(mk, ‘lxml’)|pip install lxml
lxml的XML解析器|BeautifulSoup(mk, ‘xml’)|pip install lxml
html5lib的解析器|BeautifulSoup(mk, ‘html5lib’)|pip install html5lib
下面来简单说明BeautifulSoup类的基本元素：
基本元素|说明
——|——
Tag|标签，最基本的信息组织单元，分别用<>和</>标明开头和结尾
Name|标签的名字，<p>…</p>的名字是“p”，格式：<tag>.name
Attributes|标签的属性，字典形式组织，格式：<tag>.attrs
NavigableString|标签内非属性字符串，<>…</>中字符串，格式：<tag>.string
Comment|标签内字符串的注释部分，一种特殊的Comment类型
)
)
)
)
)
基于bs4的HTML内容遍历方法
HTML的基本格式是：<>…</>构成了所属关系，形成了标签的树形结构，如下图所示：
对标签树的遍历可以分为三种：下行遍历、上行遍历和平行遍历。
标签树的下行遍历
属性|说明
——|——
.contents|子节点的列表，将<tag>所有儿子节点存入列表
.children|子节点的迭代类型，与.contents类似，用于循环遍历儿子节点
.descendants|子孙节点的迭代类型，包含所有子孙节点，用于循环遍历
BeautifulSoup类型是标签树的根节点。
标签树的上行遍历
属性|说明
——|——
.parent|节点的父亲标签
.parents|节点先辈标签的迭代类型，用于循环遍历先辈节点
标签树的平行遍历
属性|说明
——|——
.next_sibling|返回按照HTML文本顺序的下一个平行节点标签
.previous_sibling|返回按照HTML文本顺序的上一个平行节点标签
.next_siblings|迭代类型，返回按照HTML文本顺序的后续所有平行节点标签
.previous_siblings|迭代类型，返回按照HTML文本顺序的前续所有平行节点标签
)
基于bs4的HTML格式输出
prettify()方法
prettify()为HTML文本<>及其内容增加\n。该方法可用于标签，语法为<tag>.prettify()。
bs4的编码
bs4将任何HTML输入都变成utf-8编码。