看你爬什么咯如果是网页，那就是页面代码如果是制定内容，那爬取的时候就给定匹配的关键字，返回你指定的数据字串，list，json都可以。
这个可以通过浏览器自带的f12 ，或者通过鼠标右键，审计元素获得当前html源代码 答题不易，互相理解，您的采纳是我前进的动力 如果我的回答没能帮助您，请继续追问 您也可以向我们团队发出请求，会有更专业的人来为您解答。
而如下图，右键查看的页面源代码是你请求的网页url加上其他页面内的js请求，图片等静态资源请求，css等最终形成的页面，所以两者不一样的。
你如果是直接在浏览器中复制的源代码，这样的源代码是经过IE编译过后的代码，与本来的源代码根本就是2码事 而且，网页编写不仅仅就是你看见的源代码就行了，很多网页都用CSS来定义表格的位置颜色等等，所以才会出现你所说的现象。
当使用爬虫抓取网页时，一般只能获取到网页源代码，而无法获取到经过浏览器渲染后的页面内容如果要获取经过浏览器渲染后的内容，需要使用一个浏览器渲染引擎如Selenium来模拟浏览器行为，从而获取到完整的页面内容另外。
网页编码格式有很多，比如UTF8，GBK2312等，在网址页面F12键，ctrl+f搜索charset可看到该网页使用的编码格式，如CSDN为charset=”utf8”我们使用python获取网页内容时，经常会由于网页编码问题导致程序崩溃报错或获取到一堆。
你老师的代码在你手里吗，现在运行你老师的代码和你的代码效果不一样，那你就比较写法不一样啊 如果你说的老师的代码是视频里的，那有可能网站本身更新了。
为什么我用scrapy爬到的网页源码和f12里不一致？ 跟着老师写的代码很简单importscrapyclassBookSpiderscrapySpidername=#39book#39allowed_domains=#39jdcom#39#第一层爬取所有图书首页start_urls=#39h。
#160 #160 #160 #160 我们使用 request 模块获取网页内容的时候，有时候会发现获取的网页内容和网页上不一样，有些数据并非服务端渲染，而是通过后来加载的数据，某些网站重要的数据会通过Ajax后期加载，这就分。
text取到的是decode之后的内容，你这样处理肯定是会有问题的你可以通过requestsgeturlcontent获取binary内容自己手工decodeurl=#39百度音乐听到极致#39content = requestsgeturlcontent html = contentdecodequotutf8。
可以使用selenium第三方库和phantomjschromedriver等运行环境来获取F12里面的是经过浏览器渲染过后的代码区别于网站源代码 要获取代码，你需要一个可以允许js的环境。
这个是你爬虫发送请求，被服务端拒绝了可能有这么几种1需要登录，2需要cookie，3，发送的头不符合服务端的要求，具体要研究服务端现手动登陆一次，用fiddler抓包，看一下，如果cookie，就把cookie带上。
打开网页源码，我们按Ctrl+F查找对应的数据，会发现所查找的数据都未在网页源码中，如下，即数据都是动态加载，所以直接解析原网页是找不到div嵌套的数据的2接着，我们按F12调出开发者工具，依次点击“Network”“XHR。
界面上能看到吗，能看到就不是hidden通常爬虫的一大困难是html是由js渲染，并不是简单的发请求就可以获得肉眼看到的内容解决方法用selenium等模拟用户操作。
Session直接 requestsgetxxx 就可以了最后，弄不明白怎么处理编码错误的字符串就仔细想想，或者用 Python 3x，不要散弹枪编程以下是 Python 3Python 2 在那个字符串前加个 u 告诉它是 unicode 也一样。
你这个爬虫还没有入门豆瓣的这个页面是，动态生成的 你按F12看到的源码是动态生成之后的页面，无法直接爬取你爬到的是页面点击右键，查看网页源代码的内容。
