1、1首先，打开原网页，如下，这里假设要爬取的字段包括昵称内容好笑数和评论数接着查看网页源码，如下，可以看的出来，所有的数据都嵌套在网页中2然后针对以上网页结构，我们就可以直接编写爬虫代码，解析网页并提取出。
2、打开网页源码中，可以发现数据不在网页源码中，按F12抓包分析时，才发现在一个json文件中，如下2获取到json文件的url后，我们就可以爬取对应数据了，这里使用的包与上面类似，因为是json文件，所以还用了json这个包解析。
3、里的内容实际上就是另一个网页了你只是爬它的源码是爬不到的， 你要提取 iframe 里的 src 所指向的网址， 重新打开它， 然后才爬他的源码 或者如果你用框架， 里面应该有另外提供方法， 读取 iframe 中的内容。
4、网站首页 爬取主链接 1777html 1章节标题 2章节正文内容 以第一章为例我们点击“第一章 童年”可以进入第一章的正文部分看看。
5、当使用爬虫抓取网页时，一般只能获取到网页源代码，而无法获取到经过浏览器渲染后的页面内容如果要获取经过浏览器渲染后的内容，需要使用一个浏览器渲染引擎如Selenium来模拟浏览器行为，从而获取到完整的页面内容另外。
6、二种方法1抓包，找到真正的url，模拟post或get 2用selenium+phantomjs 或firefox 或chrome。
7、看你爬什么咯如果是网页，那就是页面代码如果是制定内容，那爬取的时候就给定匹配的关键字，返回你指定的数据字串，list，json都可以。
8、如果我们需要查看页面某个元素的locator，可以鼠标右击，选择Inspect Element with Firebug， 于是就到了元素对应的html源码位置这样我们根据这部分源码来写locator但是，往往对于一些element如button等，右击后没有反应时，我们。
9、“password” 将是字典的 key 值，我们输入的密码将是对应的 value 值在其他网站key值可能是 “userpassword”，“loginpassword”，“pwd”，等等3 在源代码页面中，查找一个名为 “csrfmiddlewaretoken” 的隐藏。
10、网页爬取不一定要用Selenium，Selenium是为了注入浏览器获取点击行为的调试工具，如果网页无需人工交互就可以抓取，不建议你使用selenium要使用它，你需要安装一个工具软件，使用Chrome浏览器需要下载chromedriverexe到system32下。
11、用Chrome的最大好处，就是它有一个开发人员工具，可以直接查看网页的源码按下command+option+L，打开开发人员工具，就能看到这个网页的源码了我们要找的东西，就藏在这些乱七八糟的HTML代码里如何从HTML源码里找到。
12、顺便分享一些关于爬知乎的东西目前来说还没有官方API的支持，可能最有用的也就是用户的“个性网址”好别扭，下称UID了，譬如黄继新老师的UID jixin，不过可以由用户本人修改，但每个用户一定唯一以%UID代替。
13、界面上能看到吗，能看到就不是hidden通常爬虫的一大困难是html是由js渲染，并不是简单的发请求就可以获得肉眼看到的内容解决方法用selenium等模拟用户操作。
14、这个直接用BeautifulSoup解析取字符串就行，没必要正则。
15、quotpasswordquot quotlt你的密码quot， quotcsrfmiddlewaretokenquot authenticity_token # 在源代码中，有一个名为 “csrfmiddlewaretoken” 的隐藏输入标签# 执行登录result = session_requestspost login_url， data =。
16、如果评论是通过AJAX显示的，那么抓取有一定难度你的爬虫需要能够解释JS，并解惑JS的内容但如果你只针对少数的网站进行抓取，则可以针对这些网站开发专用的蜘蛛人工分析其JS，从中找到其获取评论的AJAX接口，然后抓之这样。
17、首先要知道这个url是用get还是post方法，然后看看请求头或者url有没有携带什么会产生变化的数据，你单独请求ajax页面的时候是要带上这些数据的。
18、这种是用js实现的所以后面的内容实际上是动态生成的，网络爬虫抓取的是静态页面至于解决办法，网上有几种一种是使用自动化测试工具去做，比如selenium，可以模拟点击等操作，但是这个其实和爬虫还是有很大区别的二是利用。
