[bigdata-031] python3+selenium 做抓取

1. 安装

1.1 pip3 install -U selenium

1.2 下载 https://github.com/mozilla/geckodriver/releases/download/v0.13.0/geckodriver-v0.13.0-linux64.tar.gz? 解压缩，然后放到/usr/bin目录

2. 抓取豆瓣

#!/usr/bin/env python3
#!-*- coding:utf-8 -*-

import time
from selenium import  webdriver

def main():
    browser = webdriver.Firefox()
    browser.get('https://www.douban.com/people/62513788/')
    # print(browser.title)
    # print(type(browser.title))
    if browser.title.find("登录") >= 0:
        elem = browser.find_element_by_id("email")
        print(elem)
        elem.send_keys("n19@x65.com")
        print(elem)
        elem = browser.find_element_by_id("password")
        elem.send_keys("tt6")
        time.sleep(2)
        elem = browser.find_element_by_class_name("btn-submit")
        elem.click()


if __name__ == '__main__':
    main()

3. 剩下的事情，就是搜索字符串，以及获取新页面，xpath这些了...

（编辑：清远站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!