Selenium库

前面，我们分析的都是简单的网页直接加载所得的结果。也就是说，通过requests库请求的网页数据都是存在的。

但是，现实并不总是如此，有很多大型的网站其网页的数据都是通过javascript执行后获取的，如果需要常规处理爬虫，我们需要分析JavaScript代码。

但即使你分析出来了，也可能有大量的数据是经过加密处理的，有时候很难找到解析的规律，这个时候想要抓取数据，就必须等待浏览器加载完成之后获取。

而要得到所见即所得的网页数据，就必须等待浏览器加载完成，这个时候，只要加载完成，不管其使用了多么复杂的反爬虫技术，都不会影响爬取的结果。

而这个库就是：Selenium库，它能模拟浏览器进行网页的加载与生成，也就是所见即所得。老规矩，使用之前必须安装该库：

pip install selenium

不过，仅仅有selenium库是不能运行程序的，因为selenium库使用了WebDriver接口，比如我们后续都使用Chrome浏览器，那么你需要下载chromedriver，下载链接如下：

http://npm.taobao.org/mirrors/chromedriver/

在这个链接中，找到对应系统，对于Chrome浏览器版本的chromedriver进行下载。下载完成之后，建议开发中配置其到PATH开发环境之中，这样不管项目在哪里都可以运行。

如果你没有配置环境变量，那么将文件放在项目目录也就可以运行，后面会讲解不配置环境也可以哪里都可以运行的方式，这里先略过。

基本用法

既然，我们Selenium库的运行环境已经完全配置成功。下面，我们来实现一个最基本的用法，也就是打开淘宝，并自动搜索不二家棒棒糖，示例如下：

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as ec

try:
    browser = webdriver.Chrome('./chromedriver')
    browser.get("https://www.jd.com/")
    input = browser.find_element_by_id('key')
    input.send_keys("不二家棒棒糖")
    input.send_keys(Keys.ENTER)
    wait = WebDriverWait(browser, 5)
    wait.until(ec.presence_of_all_elements_located((By.ID, 'J_selector')))
    print(browser.title)
    print(browser.current_url)
    print(browser.page_source)
    browser.close()
except Exception as e:
    print(e)
    browser.close()

运行之后，效果如下：

这里，我们通过文件位置指定，设置了chromedriver，这也就是不配置环境的办法。不过，这是在项目目录，你不写默认也可以运行。而其他的，我们通过browser.get()加载网页，通过find_element_by_id()发现标签，通过send_keys()填入标签内容，通过send_keys(Keys.ENTER)模拟按下回车键搜索。至于其他的后续有详细的介绍。

查找节点

在基本用法中，我们通过find_element_by_id()方法进行查找节点，但是find具有很多的方法，我们先来看一张图：

可以看到，我们可以通过class，id，xpath，tag_name等查找节点的内容，而且具有相同标签或者class等节点的还提供了elements以及element的2种方式。

elements获取所有集合列表，element获取一个标签，如果多个标签相同，获取第一个标签。

查找单个节点

下面，我们来分别使用这些方法，查找节点。首先，我们使用element方法查找单个节点，示例代码如下所示：

from selenium import webdriver
from selenium.webdriver.common.by import By

try:
    browser = webdriver.Chrome('./chromedriver')
    browser.get("https://www.jd.com/")
    # 通过id查找单个元素
    input = browser.find_element_by_id('key')
    # 通过class查找单个元素
    moblie = browser.find_element_by_class_name('mobile_txt')
    print(moblie.text)
    # 通过class查找单个元素
    xpath = browser.find_element_by_xpath('//*[@id="shortcutServiceButton"]')
    print(xpath.text)
    # 通过name查找单个元素
    meta = browser.find_element_by_name('Keywords')
    print(meta.get_attribute('content'))
    div = browser.find_element_by_tag_name('div')
    print(div.text)
    # 通过class查找单个元素通用方式
    moblie = browser.find_element(By.CLASS_NAME, 'mobile_txt')
    print(moblie.text)
    browser.close()
except Exception as e:
    print(e)
    browser.close()

这里，我们使用京东网页进行测试获取单个元素。运行之后，效果如下：

需要额外注意最后一个通用方法：find_element。它前面是指定你根据什么规则去找，后面是这个规则的字符串。

查找多个节点

Selenium库的element()的每个方法，都对应着一个elements()方法。而elements()方法就是用于查找多个节点的方式。示例如下：

from selenium import webdriver
from selenium.webdriver.common.by import By
try:
    browser = webdriver.Chrome('./chromedriver')
    browser.get("https://www.jd.com/")
    divs = browser.find_elements_by_tag_name('div')
    i = 0
    for div in divs:
        if i == 5:
            break
        print(div.text)
        i += 1
    moblies = browser.find_elements(By.CLASS_NAME, 'mobile_txt')
    for moblie in moblies:
        print(moblie.text)
    browser.close()
except Exception as e:
    print(e)
    browser.close()

这里，我们只通过2个方法举例，其他的方法都是直接在element后面加个s即可。因为elements()方法获取的都是元素列表，所以可以进行一个个的遍历处理。

运行之后，效果如下：

节点交互

在前面的基础用法中，我们通过Selenium库实现了自动搜索等功能。这也是Selenium库最大的优点，它可以与节点交互，模拟人的操作。

比如，输入文本框，点击按钮，点击链接等等，都属于交互范畴。Selenium库都完全支持。这里，我们从京东主页进入家用电器板块，代码如下：

browser = webdriver.Chrome('./chromedriver')
browser.get("https://www.jd.com/")
a = browser.find_element_by_class_name('cate_menu_lk')
a.click()

其click()方法，就是模拟用户进行点击操作。因为这是个超链接点击之后就会跳转，这里不展示，感兴趣的读者可以自己测试。

动作链

在实际的爬虫程序中，我们往往并不是只用于跳转链接，获取搜索而已。更多的时候，我们的动作是连续的。

比如我要模拟一个手机下单，首先需要进入手机购买界面，选择购买的型号，点击购买的链接，然后付款，这是一个完整的动作链。

Selenium库中，这些动作链的实现需要创建ActionChains对象，并通过ActionChains类的若干方法向浏览器发送一个或多个动作。

现在，我们来实现一个有趣的动作链，刚刚前面不是点击手机链接吗？现在，我们不点击链接，只将这个二级导航一个一个的展开。示例代码如下所示：

from selenium import webdriver
from selenium.webdriver import ActionChains
import time

browser = webdriver.Chrome('./chromedriver')
browser.get("https://www.jd.com/")
actions=ActionChains(browser)
lis=browser.find_elements_by_css_selector('.cate_menu_item')
for li in lis:
    actions.move_to_element(li).perform()
    time.sleep(2)

运行之后，效果如下：

其动作链还有很多其他的操作方式，比如拖动操作使用的是drag_and_drop()，双击double_click()等，这些一个一个讲太多，使用方式与这个差不多，所以跳过。

执行Javascript代码

说句不好的爬虫使用方式，那就是刷新浏览量。而很多网页并不将打开网站视作浏览量的增加，而是你浏览了或者停留了一段时间才增加浏览量，这个时候怎么办？

我们可以自己定义一个Javascript代码，将页面缓慢滑动，或者说直接滑动到底部，示例代码如下所示：

from selenium import webdriver

browser = webdriver.Chrome('./chromedriver')
browser.get("https://www.jd.com/")
browser.execute_script('window.scrollTo(0,document.body.scrollHeight)')

在Selenium库中，我们使用execute_script执行Javascript代码，这里的意思是滑动到网页的底部。同样的你可以通过execute_async_script()方法alert一个弹出框。

获取节点信息

节点信息都是一些简单的数据，这里小编用一个表格专门列出来这些数据如果获取调用，如下表所示：

这些都是一些简单的方法，这里就不演示了，不过有一个节点需要注意，它就是location，在我们识别验证码的时候，往往用它进行定位然后截图。当然，其也可以应用于移动元素锁定位置。

管理Cookie

其实，我们使用Selenium库用的最多的就是其辅助登录，要知道现在验证码千奇百怪，有的需要手机验证码才能登录，有的需要滑动模块登录，但博主相信，以后肯定是二维码登录为主。

比如，博主写过一个抢购茅台的脚本，就需要开始辅助验证码登录之后，开始抢购。登录之后，我们主要用于获取Cookie，下面，我们来模拟京东登录，并获取Cookie，示例如下：

from selenium import webdriver
import time

browser = webdriver.Chrome('./chromedriver')
browser.get("https://www.jd.com/")
login_button = browser.find_element_by_class_name('user_login')
login_button.click()
time.sleep(10)
print(browser.get_cookies())
browser.delete_all_cookies()
print(browser.get_cookies())

运行之后，效果如下：

可以看到，我们通过get_cookies获取登录后的cookie，通过delete_all_cookies删除cookie值。如果你有现成的cookie，可以通过add_cookie方法进行设置。

改变节点的属性

这里，我们来做一个有趣的实验。比如百度中间有一个百度一下的按钮，我们这里试着将其移动位置。示例如下：

from selenium import webdriver
import time

browser = webdriver.Chrome('./chromedriver')
browser.get("https://www.baidu.com/")
login_button = browser.find_element_by_id('su')
x = [50, 90, 150, 180]
y = [100, 200, 250, 60]
for i in range(len(x)):
    js_code='''
        arguments[0].style.position="absolute"
        arguments[0].style.left="{}px"
        arguments[0].style.top="{}px"
    '''.format(x[i],y[i])
    browser.execute_script(js_code,login_button)
    time.sleep(2)

按钮会在设置的x,y区间每2秒动一次。感兴趣的读者可以自己运行观察一下。

实战：抓取京东最畅销的编程书籍

初始步骤很简单，就与开头基础用法一样，搜索编程书籍然后跳转。不过，后面的内容才是真正的爬虫问题，这里我们先来看看帮当书籍在哪里，如下图所示：

可以看到我们的每个书籍订单都是在ul之中，不过，这里只是默认的搜索编程书籍出来的结果，我们需要的是销量排行，所以这里需要再次点击销量后，在获取。

完整的代码如下所示：

from selenium import webdriver
import time
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as ec

try:
    browser = webdriver.Chrome('./chromedriver')
    browser.get("https://www.jd.com/")
    search_edit = browser.find_element_by_id('key')
    search_edit.send_keys("编程书籍")
    search_edit.send_keys(Keys.ENTER)
    wait = WebDriverWait(browser, 5)
    wait.until(ec.presence_of_all_elements_located((By.ID, 'J_selector')))
    time.sleep(5)
    sales_volume = browser.find_element_by_css_selector('#J_filter > div.f-line.top > div.f-sort > a:nth-child(2)')
    print(sales_volume.text)
    sales_volume.click()
    time.sleep(5)
    wait.until(ec.presence_of_all_elements_located((By.CLASS_NAME, 'tab-content-item')))
    div = browser.find_element_by_id('J_goodsList')
    ul = div.find_element_by_tag_name('ul')
    lis = ul.find_elements_by_tag_name('li')
    for li in lis:
        title = li.find_element_by_class_name('p-name').find_element_by_tag_name('a')
        commit = li.find_element_by_class_name('p-commit').find_element_by_tag_name('a')
        price = li.find_element_by_class_name('p-price').find_element_by_tag_name('i')
        print("书籍名称：", title.get_attribute('title'))
        print("书籍销量：", commit.text)
        print("书籍购买：", "https://"+title.get_attribute('href'))
        print("书籍价格：", price.text)
        print()
    browser.close()
except Exception as e:
    print(e)
    browser.close()

运行之后，效果如下：