1、另外，爬取网易云推荐使用selenium，因为我们在做爬取网易云热评的操作时，此时请求得到的代码是父网页的源代码，这时是请求不到子网页的源代码的，也得不到我们需要提取的信息，这是因为selenium打开页面后，默认是在父级frame。

2、不用说，当然是把脚本转为java代码了，在E clipse中重新开始搞选择一个测试框架有Junit和TestNg两个选择，公司用的是junit，所以，不用多说，我就用junit验证selenium脚本的运行结果并且，Junit和Test。

3、在Selenium中，可以使用getText方法来获取某个元素显示在网页上的文本。

4、给re的数据类型有错，希望值是字符串，提供的确实其他类型。

5、可以 Selenium是一个用于Web应用程序测试的工具Selenium测试直接运行在浏览器中，就像真正的用户在操作一样支持的浏览器包括IE7， 8， 9， 10， 11，Mozilla Firefox，Safari，GoogleChrome，Opera，Edge等这个工具的。

6、网页抓取可以使用爬虫技术，以下是一些常用的网页抓取方法1 使用 Python 的 Requests 库请求网页，然后使用 Beautiful Soup 库进行页面解析，提取目标数据2 使用 Selenium 库模拟浏览器操作，通过 CSS Selector 或 XPath。

7、整个网页代码啥样的代码中只出现两个div那就用css选择器，看下面。

8、这里主要根据是当我们鼠标放在以某tag为根节点的源码的上时，上面的页面对应的界面元素会有相应标记方法缺点写出的locator可能并不是页面的唯一，这样selenium运行就难以识别。

9、page_source 得到的是静态源代码，不含js内容 需要使用find_element_by 等方法定位元素获取。

10、年前走查脚本代码时，发现大家对selenium功能都在重复造轮子，而且容易出现一些常见低级bug于是在闲暇之余，封装一些常用的selenium功能在某些网页中，存在多个frame嵌套而selenium提供的find_element函数只能在当前frame中查找。

11、设置代理的话，可以使用这种方式，代码是我刚才测试过的，亲测可用from selenium import webdriver chrome_options = webdriverChromeOptionschrome_optionsadd_argument#39proxyserver=。

12、抓取动态页面有两种常用的方法，一是通过JavaScript逆向工程获取动态数据接口真实的访问路径，另一种是利用selenium库模拟真实浏览器，获取JavaScript渲染后的内容但selenium库用起来比较繁琐，抓取速度相对较慢，所以第一种。

13、xpath定位，你用 chrome浏览器 ，在页面上右键审查元素 ，然后会弹出开发者工具，里面会显示你选中部分的页面源码并 高亮 你选择的地方，在源码里右键，选择copy xpath 用这个定位。

14、没试验你的，但是遇到过类似的情况，一般是dir一下这个element，看看方法和类型因为有时候你以为是文本类型节点，实际上想要的内容可能还在该节点的子节点中。

15、获取cookie在打开的页面使用 返回下面数据是一个列表，列表里面是字典，储存着单条COOKie信息 把已有的cookie放入浏览器先打开对应的网页 然后删除所有cookie信息 在使用循环写入获取的cookie列表里面的每一项然后刷新。