Python爬虫:学习Selenium并使用Selenium模拟登录知乎

Python爬虫:学习Selenium并使用Selenium模拟登录知乎

现在开始要学习使用Python进行动态爬虫了,而Selenium是来进行动态爬虫的一种工具

介绍Selenium

众所周知很多网站的内容需要登录后能去获取他们的内容,这个时候我们就需要先登录进去,所以就有了这篇模拟登录文章

模拟登录我们要使用到 selenium 自动化测试工具,这个工具需要另行安装,如果你是使用pycharm,你可以直接去setting中点击一键安装selenium

然后还要去下载浏览器驱动,这里我推荐使用Firefox,因为相对Chrome来说,它是没有版本限制的,不容易出错. Firefox 直接百度就能下载,有一个推荐下载的, Firefox的驱动也可以百度一下 Geckodriver 下载后安装,最后要记得设置环境变量,不然会带来一系列麻烦与错误的,所以这里切记一定要设置。

webdriver.Firefox() 这是获取Firefox浏览器的驱动,

元素.click()这是模拟网页的某个控件的点击事件

元素.clear() 清除元素的值

元素.send_keys(username) 给元素赋值

元素定位

再说一下元素的定位方法,元素的定位方法有很多种,下面我列举一下,这些方法看单词就能明白意思.

  1. find_element_by_id

  2. find_element_by_name

  3. find_element_by_xpath

  4. find_element_by_link_text

  5. find_element_by_partial_link_text 通过部分超连接文本定位

  6. find_element_by_tag_name

  7. find_element_by_class_name

  8. find_element_by_css_selector

窗口切换

  • 切换window

    driver.switch_to_window('windowname')

  • 切换frame

    driver

弹窗处理

alert = driver.switch_to_alert()

alert.dismiss

使用Selenium来模拟登录知乎

Python爬虫:学习Selenium并使用Selenium模拟登录知乎

Python爬虫:学习Selenium并使用Selenium模拟登录知乎

代码,下面是完整代码

# coding=utf-8import osfrom selenium import webdriver#知乎的用户名和密码username = "XXXXXXX"password = "XXX"#,获取浏览器的驱动,这里需要提前给firefox指定环境变量,如果没有指定则需要指定路径driver = webdriver.Firefox()#窗口最大化driver.maximize_window()#打开登录页面driver.get("https://www.zhihu.com/signup?next=%2F")#切换到登录页面driver.find_element_by_xpath('//*[@id="root"]/div/main/div/div/div/div[2]/div[2]/span').click()#给输入框赋值driver.find_element_by_xpath('//*[@id="root"]/div/main/div/div/div/div[2]/div[1]/form/div[1]/div[2]/div[1]/input').send_keys(username)driver.find_element_by_xpath('//*[@id="root"]/div/main/div/div/div/div[2]/div[1]/form/div[2]/div/div[1]/input').send_keys(password)#模拟点击事件driver.find_element_by_xpath('//*[@id="root"]/div/main/div/div/div/div[2]/div[1]/form/button').click()print driver.titleos.system("pause")

Python爬虫:学习Selenium并使用Selenium模拟登录知乎

登录成功后的图片

说明:这种模拟登录还不怎么完全,因为这没有涉及到验证码的操作,如果设计到了登录需要输入验证码,就更复杂了。后面我会进一步讲解.

(持续关注Python绿色通道,第一时间获取更新文章)


鲜花

握手

雷人

路过

鸡蛋
用心服务创业者
0851-88611148
周一至周五 9:00-18:00
意见反馈:admin@0851life.com

扫一扫关注我们

Powered by 童码少儿编程 X3.4© 2001-2013 0851life Inc.|网站地图