boxmoe_header_banner_img

Hello! 欢迎来到盒子萌！

加载中

POST
文章导读
1 构建一个BeautifulSoup对象2 BeautifulSoup类的基本元素3 访问标签4 访问标签内容和属性1 使用Beautiful Soup库解析网页示例
喵搬运

Python爬虫——解析网页HTML内容BeautifulSoup

avatar
专收爆米花 2022年1月21日 2.12k
0 评论

pip install beautifulsoup4

构建一个BeautifulSoup对象

 复制代码
  1. >>> from bs4 import BeautifulSoup
  2. >>> soup = BeautifulSoup(html_doc, 'html.parser')

第二个参数表示解析器，BeautifulSoup支持以下

BeautifulSoup类的基本元素

 复制代码
  1. Tag：标签，最基本的信息组织单元，分别用<>和</>标明开头和结尾
  2. Name：标签的名字，<p>...</p>的名字是'p'，格式：<tag>.name
  3. Attributes：标签的属性，字典的形式组织，格式：<tag>.attrs
  4. NavigableString：标签内非属性字符串，<>...</>中字符串，格式：<tag>.string
  5. Comment：标签内字符串的注释部分，一种特殊的Comment类型

任何存在于HTML语法中的标签都可以用soup.访问获得，当HTML文档中存在多个相同对应内容时，soup.返回第一个
每个都有自己的名字，通过.name获取，字符串类型；
Tag的attrs：一个可以有0或多个属性，字典类型；
NavigableString可以跨越多个层次；

访问标签

通过点号操作符，可以直接访问文档中的特定标签

 复制代码
  1. >>> soup = BeautifulSoup(html_doc, 'lxml')
  2. >>> soup.head
  3. <head><title>The Dormouse's story</title></head>
  4. >>> soup.head.title
  5. <title>The Dormouse's story</title>
  6. >>> soup.a
  7. <a class="sister" href="http://boxmoe.com/elsie" id="link1">Elsie</a>

这样的方式每次只会返回文档中的第一个标签，
对于多个标签，则通过find_all方法返回多
个标签构成的列表。

 复制代码
  1. >>> soup.find_all('a')
  2. [<a class="sister" href="http://boxmoe.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://boxmoe.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://boxmoe.com/tillie" id="link3">Tillie</a>]
  3. >>> soup.find_all('a')[0]
  4. <a class="sister" href="http://boxmoe.com/elsie" id="link1">Elsie</a>

还可以在find方法中添加过滤条件，更加精确的
定位元素

 复制代码
  1. # 通过text进行筛选
  2. >>> soup.find_all('a', text='Elsie')
  3. [<a class="sister" href="http://boxmoe.com/elsie" id="link1">Elsie</a>]
  4. # 通过属性和值来进行筛选
  5. >>> soup.find_all('a', attrs={'id':'link1'})
  6. [<a class="sister" href="http://boxmoe.com/elsie" id="link1">Elsie</a>]
  7. # 上述写法的简便写法，只适合部分属性
  8. >>> soup.find_all('a', id='link1')
  9. [<a class="sister" href="http://boxmoe.com/elsie" id="link1">Elsie</a>]
  10. ```
  11. # 使用CSS选择器
  12. # 注意class后面加下划线
  13. >>> soup.find_all('p', class_='title')
  14. [<p class="title"><b>The Dormouse's story</b></p>]

访问标签内容和属性

通过name和string可以访问标签的名字和内容，通过get和中括号操作符则可以访问标签中的属性和值。

 复制代码
  1. >>> soup.a
  2. <a class="sister" href="http://boxmoe.com/elsie" id="link1">Elsie</a>
  3. >>> soup.a['class']
  4. ['sister']
  5. >>> soup.a.get('class')
  6. ['sister']
  7. >>> soup.a.name
  8. 'a'
  9. >>> soup.a.string
  10. 'Elsie'

结合定位元素和访问属性的方法，可以方便快捷的提取对应元素，提高解析html的便利性

使用Beautiful Soup库解析网页示例

 复制代码
  1.  import requests
  2.  import chardet
  3.  from bs4 import BeautifulSoup
  4.  ua = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) Chrome/65.0.3325.181'}
  5.  rqg=requests.get(url,headers=ua,timeout=3.0)
  6.  rqg.encoding = chardet.detect(rqg.content)['encoding'] #requests请求过程
  7.  #初始化HTML
  8.  html = rqg.content.decode('utf-8')
  9.  soup = BeautifulSoup(html, 'lxml')  #生成BeautifulSoup对象
  10.  print('输出格式化的BeautifulSoup对象：',soup.prettify())
  11.  
  12.  print('名为title的全部子节点：',soup.find_all("title"))
  13.  
  14.  print('title子节点的文本内容：',soup.title.string)
  15.  print('使用get_text()获取的文本内容：',soup.title.get_text())
  16.  
  17.  target = soup.find_all('ul',class_='menu') #按照css类名完全匹配
  18.  target = soup.find_all(id='menu') #传入关键字id，搜索符合条件的节点
  19.  target = soup.ul.find_all('a') #所有名称为a的节点

BeautifulSoup解析内容同样需要将请求和解析分开，从代码清晰程度来讲
还将就，不过在做复杂的解析时代码略显繁琐

BeautifulSoup python 爬虫 解析网页

评论（0）

查看评论列表

暂无评论

发表评论

表情 颜文字
😀😁😂🤣😃😄😅😆😉😊😋😎😍🥰😘😗😙😚😛😝🤗🤔🤨😐😑😶🙄😏😣😥😮🤤😴😪😵😵😵🤯🤠🤡🤥🤫🤔🤨😐😑😶🙄