本篇文章给大家谈谈selenium爬取网页，以及selenium爬取网页数据对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。
本文目录一览：
- 1、python下 selenium与chrome结合进行网页爬取，怎么设置代理IP
- 2、从零开始学Python-使用Selenium抓取动态网页数据
- 3、selenium通过人机验证爬虫
- 4、二.动态网页抓取
- 5、python网络爬虫：Selenium
- 6、从零开始学python爬虫（八）：selenium提取数据和其他使用方法
python下 selenium与chrome结合进行网页爬取，怎么设置代理IP
#coding:utf-8
import sys,re,random,time,os
import socket
from socket import error as socket_error
import threading
import urllib2,cookielib
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.proxy import *
from selenium.webdriver.firefox.firefox_profile import FirefoxProfile
from selenium.webdriver.firefox.firefox_binary import FirefoxBinary
proxyFilePath = time.strftime("%Y%m%d")
def testSocket(ip, port):
'''
socket连接测试,用来检测proxy ip,port 是否可以正常连接
'''
print '正在测试socket连接...'
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
try:
sock.settimeout(10)
sock.connect((ip, int(port)))
#sock.send('meta')
sock.close()
print ip+':'+port+'--status:ok'
return 1
except socket_error as serr: # connection error
sock.close()
print ip+':'+port+'--status:error--Connection refused.'
return 0
def getDriver(httpProxy = '', type='Firefox'):
if type == 'Firefox':
proxy = Proxy({
'proxyType': ProxyType.MANUAL,
'httpProxy': httpProxy,
'ftpProxy': httpProxy,
'sslProxy': httpProxy,
'noProxy': '' # set this value as desired
})
firefox_profile = FirefoxProfile()
#firefox_profile.add_extension("firefox_extensions/adblock_plus-2.5.1-sm+tb+an+fx.xpi")
firefox_profile.add_extension("firefox_extensions/webdriver_element_locator-1.rev312-fx.xpi")
firefox_profile.set_preference("browser.download.folderList",2)
firefox_profile.set_preference("webdriver.load.strategy", "unstable")
#driver = webdriver.Firefox(firefox_profile = firefox_profile, proxy=proxy, firefox_binary=FirefoxBinary('/usr/bin/firefox'))
#driver = webdriver.Firefox(firefox_profile = firefox_profile, proxy=proxy, firefox_binary=FirefoxBinary("/cygdrive/c/Program\ Files\ (x86)/Mozilla\ Firefox/firefox.exe"))
driver = webdriver.Firefox(firefox_profile = firefox_profile, proxy=proxy)
elif type == 'PhantomJS': # PhantomJS
service_args = [
'--proxy='+httpProxy,
'--proxy-type=http',
]
webdriver.DesiredCapabilities.PHANTOMJS['phantomjs.page.customHeaders.Accept'] = 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8'
webdriver.DesiredCapabilities.PHANTOMJS['phantomjs.page.customHeaders.User-Agent'] = 'Mozilla/5.0 (X11; Windows x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.117 Safari/537.36'
driver = webdriver.PhantomJS(executable_path='windows/phantomjs.exe', service_args=service_args)
else: # Chrome
chrome_options = webdriver.ChromeOptions()
#chrome_options.add_extension('firefox_extensions/adblockplus_1_7_4.crx')
chrome_options.add_argument('--proxy-server=%s' % httpProxy)
driver = webdriver.Chrome(executable_path='windows/chromedriver.exe', chrome_options=chrome_options)
return driver
从零开始学Python-使用Selenium抓取动态网页数据
AJAX（Asynchronouse JavaScript And XML：异步JavaScript和XML）通过在后台与服务器进行少量数据交换，Ajax 可以使网页实现异步更新，这意味着可以在不重新加载整个网页的情况下，对网页的某部分进行局部更新。传统的网页（不使用Ajax）如果需要更新内容，必须重载整个网页页面。
因为传统的网页在传输数据格式方面，使用的是 XML 语法，因此叫做 AJAX ，其实现在数据交互基本上都是使用 JSON 。使用AJAX加载的数据，即使使用了JS将数据渲染到了浏览器中，在 右键-查看网页源代码 还是不能看到通过ajax加载的数据，只能看到使用这个url加载的html代码。
法1：直接分析ajax调用的接口。然后通过代码请求这个接口。
法2：使用Selenium+chromedriver模拟浏览器行为获取数据。
Selenium 相当于是一个机器人。可以模拟人类在浏览器上的一些行为，自动处理浏览器上的一些行为，比如点击，填充数据，删除cookie等。 chromedriver 是一个驱动 Chrome 浏览器的驱动程序，使用他才可以驱动浏览器。当然针对不同的浏览器有不同的driver。以下列出了不同浏览器及其对应的driver：
现在以一个简单的获取百度首页的例子来讲下 Selenium 和 chromedriver 如何快速入门：
参考：Selenium的使用
直接直接分析ajax调用的接口爬取
selenium结合lxml爬取
selenium通过人机验证爬虫
之前在学校曾经用过request+xpath的方法做过一些爬虫脚本来玩，从ios正式转前端之后，出于兴趣，我对爬虫和反爬虫又做了一些了解，然后发现了selenium这个神器。selenium原本是一款测试工具，但由于他可以较好的模拟浏览器的各种操作，完全无视对于user-agent的限制，所以现在被更多的用于爬虫脚本中。这里记录一下借助selenium库进行爬虫时碰到的一些问题以及解决方法。（拒绝恶意爬虫从我做起）
selenium的安装不多说， pip install selenium就行。不过要注意自己的python版本，要是3.x才行。用它打开浏览器，然后通过dom操作获取需要的dom节点。
如果需要登录的，也可以事先将账号密码写好，然后用send_keys方法进行自动输入。
然后需要什么就直接通过dom方法来获取。不过现在很多网站的url有防爬处理，使用了不规律的url，无法像豆瓣排行榜那样直接遍历。但这个不难，用selenium就是要模拟人的操作的，真人操作的时候也不会直接输url来一页一页看，比如在线阅读的网站，一般都会有个目录页。先爬取目录页面的信息，先将正文url列表保存下来，然后再遍历列表就行。
这里有个sleep，目的是是确保目录页能完全加载完。当然这个方法有点蠢，后面我使用了不同的方法来做页面加载完成的判断。
页面加载完成需要时间，一定要等页面加载好了才能获取页面元素。而直接设置一个固定的sleep显然是效率极低且容易出错的。这里有几种不同的方法来自动判断页面加载的情况。
监视我最终需要的元素有没有加载完成，加载完成了就开始后续操作。比如我要的dom节点有一个类名为'page-content'，并且在整个页面中一共有两处，而我需要的是第二处。那就可以监视这个节点的加载情况。
这里设置了0.5秒的刷新周期，当然可以设置的更短，然后设置了10秒的timeout，超时自动打开下一章。
这就很简单了，就一句话，最多等10秒，进行下一步。要是提前加载完就提前进行。这个方便是方便，但是不好用，他会等页面完全加载完才进行下一步，而事实上我只需要等正文加载完就行，所以效率上要差一点。
显性等待的好处就是可以在我需要的元素加载完的时候就进入下一步，获取元素内容，但是也有不好的地方，那就是还不够灵活。显性等待在超时的时候会抛出TimeoutException异常，在暴露的接口中没有给我定义异常处理的地方，这也是我选择自己实现一遍等待机制的原因，这样我可以对超时的异常进行处理。
很多时候，我们会发现，在登录账号时，系统会要我们输入验证码。如果想要让脚本自动识别验证码，可能就涉及到图像识别技术，还有一些第三方的服务可以使用，也是可行的。
但有的时候，网站会使用更为复杂的人机验证。比如这样的：
二.动态网页抓取
因此，我们如果使用 AJAX 加载的动态网页，怎么爬取里面动态加载的内容呢？有两种方法：
方法1操作步骤：
步骤：
selenium选择元素的方法有很多:
有时候，我们需要查找多个元素。在上述例子中，我们就查找了所有的评论。因此，也有对应的元素选择方法，就是在上述的element后加上s，变成elements。
其中xpath和css_selector是比较好的方法，一方面比较清晰，另一方面相对其他方法定位元素比较准确。
除此之外，我们还可以使用selenium操作元素方法实现自动操作网页。常见的操作元素方法如下：
– clear 清除元素的内容
– send_keys 模拟按键输入
– click 点击元素
– submit 提交表单
由于篇幅有限，有兴趣的读者，可以到selenium的官方文档查看：
python网络爬虫：Selenium
获取页面每个Cookies值，用法如下
driver.add_cookie(cookie_dict)
一个浏览器肯定会有很多窗口，所以我们肯定要有方法来实现窗口的切换。切换窗口的方法如下：
imgs = driver.find_elements_by_xpath("//img")
for img in imgs:
driver.execute_script('$(arguments[0]).fadeOut()',img)
driver.execute_script('window.scrollTo(0,document.body.scrollHeight)')
driver.execute_script('alert("This is a alert")')
driver.quit()
从零开始学python爬虫（八）：selenium提取数据和其他使用方法
知识点：
知识点：了解 driver对象的常用属性和方法
注意：最新版本的selenium已经取消了这种格式，取而代之的是：
你要先导入：
然后再：
知识点：掌握 driver对象定位标签元素获取标签对象的方法
代码实现，如下，获取腾讯新闻首页的新闻标签的内容。
知识点：掌握 元素对象的操作方法
参考代码示例：
知识点：掌握 selenium控制标签页的切换
知识点：掌握 selenium控制frame标签的切换
知识点：掌握 利用selenium获取cookie的方法
知识点：掌握 selenium控制浏览器执行js代码的方法
知识点：掌握 手动实现页面等待
知识点：掌握 selenium开启无界面模式
知识点：了解 selenium使用代理ip
知识点：了解 selenium替换user-agent
关于selenium爬取网页和selenium爬取网页数据的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。
