优秀的编程知识分享平台

网站首页 > 技术文章 正文

Python:-xpath爬虫简单介绍（爬虫xpath抓取数据）

nanyue 2024-11-14 16:47:44 技术文章 2 ℃

熟悉xpath还是要懂一些前端知识的，下面介绍下xpath表达式：

/ : 最左侧的斜杠表示从根节点开始定位，中间的斜杠表示的是一个层级
//：中间的//表示是多个层级，最左侧的//表示从任意位置开始定位
. : 表示从当前目录开始定位
属性定位：   //tag[@属性名称='属性值']
索引定位：  //tag[@属性名称="属性值"]/p[3](索引从1开始)
-取文本：
/text(): 获取标签中直系文本内容，例：取a标签的标题； a/text()
//text(): 获取标签下所有文本内容
-取属性值：
/@属性名   a/@href 
[另： xpath 返回的是一个list列表]

常用的几个功能函数

函数

用法

备注

starts-with

xpath('//div[starts-with(@id,"ma")]')

取id以ma开头的div节点

contains

xpath('//*[contains(@id,"ma")]')

取id中包含ma的div节点

ends-with

xpath('//*[ends-with(@id,"ma")]')

取id以ma结尾的div节点

有文件名为“htmltst.html”如下的html代码


<html lang="en">
<head>
    <title>测试xpath</title>
</head>
<body>
 <div>
        <p>百里守约</p>
    </div>
    <div class="song">
        <p>李清照</p>
        <p>王安石</p>
        <p>苏轼</p>
        <p>柳宗元</p>
        <a href="http://www.song.com/" title="赵匡胤" target="_self">
            <span>this is span</span>
        宋朝是最强大的王朝，不是军队的强大，而是经济很强大，国民都很有钱</a>
        <a href="" class="du">总为浮云能蔽日,长安不见使人愁</a>
        <img src="http://www.baidu.com/meinv.jpg" alt=""/>
    </div>
    <div class="tang">
        <ul>
            <li><a href="http://ww.baidu.com" title= "ging">清明时节雨纷纷,路上行人欲断魂,借问酒家何处有，牧童遥指杏花村</a></li>
            <li><a href="http://ww.163 .com" title="gin">秦时明月汉时关，万里长征人未还,但使龙城飞将在，不教胡马度阴山</a></li>
            <li><a href="http://ww.126.com" alt= "qi">岐王宅里寻常见，崔九堂前几度闻，正是江南好风景,落花时节又逢君</a></li>
            <li><a href="http://www.sina.com" class="du">杜甫</a></li>
            <li><a href="http://www.dudu.com" class="du">杜牧</a></li>
            <li><b>杜小月</b></li>
            <li><i>度蜜月</i></li>
            <li><a href="http://www.haha.com" id="feng">凤凰台上凤凰游，凤去台空江自流，吴宫花草埋幽径,晋代衣冠成古丘</a></li>
        </ul>
    </div>
</body>

</html>

先安装lxml库

pip install lxml

练习代码如下：

from lxml import etree

tree= etree.parse('htmltst.html')
print(tree.xpath('/html/head/title/text()'))
print(tree.xpath('//div[@class="song"]/p/text()'))
print('//div',tree.xpath('//div'))
print('//div[@class="song"]/p[4]----',tree.xpath('//div[@class="song"]/p[4]/text()'))
#div[@class="tang"]
ul_obj=tree.xpath('//div[@class="tang"]/ul/li')
for ul_tang in ul_obj:
	print(ul_tang)
	if ul_tang.xpath('./a/@href'):
		print(ul_tang.xpath('./a/@href'))
	if  ul_tang.xpath('./b'):
		print(ul_tang.xpath('./b/text()'))
	if  ul_tang.xpath('./i'):
		print(ul_tang.xpath('./i/text()'))

示例二：

from lxml import  etree

import requests

url="https://desk.zol.com.cn/dongman/"
resp=requests.get(url)
resp.encoding="gbk"
#print(resp.text)
et=etree.HTML(resp.text)
base_url='https://desk.zol.com.cn/'
a_href=et.xpath('//ul[@class="pic-list2  clearfix"]/li[@class="photo-list-padding"]/a/@href')
print(a_href)
img_href=et.xpath('//ul[@class="pic-list2  clearfix"]/li[@class="photo-list-padding"]/a/img/@src')

urls=[]
for href in a_href:
	if href.endswith("html"):
		urls.append(base_url+href)
print(urls)


Tags：

猜你喜欢

最近发表
标签列表