网站首页 > 技术文章 正文
大家好,我是Python进阶者。
一、前言
前几天在Python最强王者交流群【黑科技·鼓包】问了一个Python网络爬虫处理的问题。问题如下:有没有大佬指点下怎么用xpath写drissionpage?或者用相对位置?我看了半天中文文档硬是写不出来。
这是xpath //*[@id="ng-app"]/body/div/div/div[1]/div[2]/ul/li[2]/a
这是完整xpath /html/body/div/div/div[1]/div[2]/ul/li[2]/a
这是sel body > div > div > div.t2-header > div.t2_nav > ul > li:nth-child(2) > a
这是js document.querySelector("body > div > div > div.t2-header > div.t2_nav > ul > li:nth-child(2) > a")
这是co 实时监察
我更倾向于写 > >结构,但是看不懂drissionpage的说明...
二、实现过程
这里【隔壁山楂】给了一个指导,如下所示:直接ele2.ele('.nav_li2')能获取到吗?还是说你不仅要这个红款里的?
【黑科技·鼓包】:ele2.ele获取不到,想实现点击这个标签,红框里的就是我想点击的元素,山楂大佬说的我试过,为什么不行,是因为class不是首属性,首属性是class =才可以,首属性是a herf,用text找也试过,也不行,不知道为什么,后面这个文本搜索试过,也不行。
【吴超建】:检查下你的ele2是否正确呗,drssionpage也支持xpath写法,。
【郑煜哲·Xiaopang】:直接在你需要的元素上,右键,复制可以为xpath的,如果你找不到元素,有一种可能是,内嵌了iframe,需要先选择到iframe上。
【黑科技·鼓包】:我用的是免登陆跳转,所以,第一个标签虽然是*\*\的形式,但是运行完就是/mh,点击第一个标签的电子监察会新标签页到第二个标签页。不理解,完全不理解为什么顺序这么难懂。
【黑科技·鼓包】:经过中午无聊的开会,我突然领悟了山楂大佬的指点,学会了精准匹配。不用纠结顺序,直接匹配标题。不得不说drissionpage是个好用的东西。
不过后来他又遇到了另外一个小问题:有个新问题咨询下,pd read json 怎么读取嵌套?类似[词典与词典组成列表结构]结构的。
【瑜亮老师】:这个的确是处理某列内嵌套的字典形式数据的方法
顺利地解决了自己的问题。
如果你也有类似这种Python相关的小问题,欢迎随时来交流群学习交流哦,有问必答!
三、总结
大家好,我是Python进阶者。这篇文章主要盘点了一个Python网络爬虫处理的问题,文中针对该问题,给出了具体的解析和代码实现,帮助粉丝顺利解决了问题。
最后感谢粉丝【黑科技·鼓包】提出的问题,感谢【隔壁山楂】、【瑜亮老师】给出的思路,感谢【冯诚】、【莫生气】等人参与学习交流。
【提问补充】温馨提示,大家在群里提问的时候。可以注意下面几点:如果涉及到大文件数据,可以数据脱敏后,发点demo数据来(小文件的意思),然后贴点代码(可以复制的那种),记得发报错截图(截全)。代码不多的话,直接发代码文字即可,代码超过50行这样的话,发个.py文件就行。
猜你喜欢
- 2024-11-14 Playwright自动化测试工具之元素定位实战
- 2024-11-14 利器 | AppCrawler 自动遍历测试实践(二):定制化配置
- 2024-11-14 java组件HuTool相关工具类的使用二
- 2024-11-14 手把手教你爬取热门小说《诡秘之主》
- 2024-11-14 Python爬虫之xpath用法全解析(py xpath)
- 2024-11-14 通过python+Xpath实现抓取某网站推荐的歌曲
- 2024-11-14 Python自动化工具(python写自动化工具)
- 2024-11-14 web自动化测试——xpath常用案例(web自动化测试平台)
- 2024-11-14 手把手教你如何用Python爬取网站文本信息
- 2024-11-14 史上最全 Appium 自动化测试从基础到框架实战精华学习笔记(一)
- 最近发表
- 标签列表
-
- cmd/c (57)
- c++中::是什么意思 (57)
- sqlset (59)
- ps可以打开pdf格式吗 (58)
- phprequire_once (61)
- localstorage.removeitem (74)
- routermode (59)
- vector线程安全吗 (70)
- & (66)
- java (73)
- org.redisson (64)
- log.warn (60)
- cannotinstantiatethetype (62)
- js数组插入 (83)
- resttemplateokhttp (59)
- gormwherein (64)
- linux删除一个文件夹 (65)
- mac安装java (72)
- reader.onload (61)
- outofmemoryerror是什么意思 (64)
- flask文件上传 (63)
- eacces (67)
- 查看mysql是否启动 (70)
- java是值传递还是引用传递 (58)
- 无效的列索引 (74)