原文链接：https://blog.csdn.net/weixin_43521592/java/article/details/106733241

虽然学了前面两章可以自己爬取网页内容了，但这些内容夹杂了很多html代码啊，不相关的信息啊等等。

那本章就是解决一些手段对想要信息进行精准的提取，进而使爬取下来的信息都是我们想要的。

提取信息的技术有三种：XPath、BeautifulSoup、正则表达式 。

3.1 XPath

什么是 XPath ？（XML Path Language）

xpath是一门在XML和HTML文档中查找信息的语言，可用来在XML和HTML文档中对元素和属性进行遍历。

工欲善其事，必先利其器。当我们掌握了XPath语法时，可以利用浏览器自带的插件来帮我们现在浏览器中进行语法测试。

Goolege浏览器： XPath Helper

火狐浏览器：try XPath

来看一下基本用法：（我的是谷歌浏览器，火狐的操作也类似）

3.1.1 XPath语法：

选取节点：使用路径表达式来选取XML文件中的节点或节点集。

谓词：使用谓词来过滤一些节点，比如上面的 class=“j”

格式：[谓词]

路径表达式 描述

通配符：

通配符 描述 实例 结果

选取多个路径： |

同时获取class=‘c’的div和dd元素
//div[@class='c'] | //dd

3.1.2 lxml库

lxml是用C语言编写的HTML/XML解析器，主要功能是如何解析和提取HTML/XML数据。

我们可以利用之前学习的XPath语法，来快速定位特定元素以及节点。

使用前需要先安装：pip install lxml

基本使用的方式有两种：一个是对字符串进行解析，另一个是对HTML文件进行解析。

解析HTML文件

运用场景：当你需要对一个HTML文件进行解析或提取一些信息的时候。

声明：为了方便演示，下面我将假设我在D://TEST.html路径下的内容都可以满足要查找的条件

# 第一步：从lxml中导入etree。
# 注意，由于lxml是用c写的所以etree会没有提示
from lxml import etree
# 指定HTML解析器
parser = etree.HTMLParser()
# 解析HTML文件
html = etree.parse('D://TEST.html',parser) # 返回的是一个Element对象
# 1、获取所有tr标签
trs = html.xpath("//tr")
for tr in trs:
    print(etree.tostring(tr,encoding='utf-8').decode('utf-8'))
    
#2、获取第2个tr标签
tr = html.xpath("//tr[2]")[0]  # xpath返回的永远是一个列表
print(etree.tostring(tr,encoding='utf-8').decode('utf-8'))
#3、获取所有class等于even的tr标签
trs = html.xpath("//tr[@class="even"]")
#4、获取所有a标签的href属性（注意）
alist = html.xpath("//tr/@href")
for a in alist:
    print("a")
#5、获取所有职位信息
trs = html.xpath("//tr[position()>1]")
for tr in trs:
    # “.” 表示获取这个标签下的子孙元素。
    href = tr.xpath(".//a/@href")[0]
    print(href)
    text = tr.xpath(".//a/text()")  # 获取a标签下的文本内容

etree.HTMLParser() 是一种解析器方式，如果 **etree.parse**不指定解析器则默认使用的是XML解析器。

text() 表示提取该元素包裹的直接内容，比如<p>aaa</p> 当你使用p/text() 时获取到的内容为aaa。在比如<p><div>aaa</div></p>此时如果你使用 p/text() 的方法则获取不到内容，为什么呢？因为text()获取的是该标签下的内容，而aaa在div标签下，所以获取不到。

元素 /@ 属性名 的理解：表示取出该元素的属性名对应的属性值。区别于 /元素[@属性名=‘属性值’]

解析字符串

运用场景：当从网上爬取到信息时，需要对这些信息进行过滤，而这些爬取下来的信息就是字符串，所以我们可以利用lxml来解析它。

那来个小案例吧，这个小案例需要先把上面的5个知识点搞懂，理解起来才会比较容易。

案例：利用lxml爬取快代理的IP地址。

# 第一步：从lxml中导入etree。
from lxml import etree
import requests
# 要爬取的url，这里只爬取第一页内容
Proxy_url = "https://www.kuaidaili.com/free/inha/1/"
pro = ""  # 用来存放拼接好的IP地址
PROXY = []  # 存放爬取下来的IP地址的列表
# 获取爬取内容
response = requests.get(Proxy_url)
text = response.text
# 将爬取的字符串放进lxml中解析
html = etree.HTML(text)  # 返回的也是一个Element对象
# 利用xpath语法查找IP地址内容所在的元素
trs = html.xpath("//table[@class='table table-bordered table-striped']//tr")[1:]
# 把IP、端口号一个个提取出来并拼接在一起形成IP地址
for tr in trs:
	# 提取IP
    IP = tr.xpath("./td[@data-title='IP']/text()")[0]
    # 提取端口号
    PORT = tr.xpath("./td[@data-title='PORT']/text()")[0]
    # 拼接成url
    pro = "HTTP://" + IP + ":" + PORT
    PROXY.append(pro)
print(PROXY)

trs = html.xpath("//table[@class='table table-bordered table-striped']//tr")[1:] 这句代码的意思是选取class为table table-bordered table-striped的table 下面除去第一个的所有tr。因为你检查元素后会发现，第一个tr是没有用的，所以要除去第一个。

tr.xpath("./td[@data-title='IP']/text()")[0] 表示提取当前的**tr标签下的 含有data-title='IP' 的td** 下面的直接内容，又因为xpath返回的是一个列表，所以需要[0]。

小结：

解析html字符串使用etree.HTML(string)解析，此方法默认使用HTML解析器。

解析html文件使用etree.parse(‘文件路径’)解析，此方法默认使用XML解析器。

xpath返回的永远是一个列表

etree在lxml库中