最简单可以用urllib，python2x和python3x的用法不同，以python2x为例import urllibhtml = urllibopenurltext = htmlread复杂些可以用requests库，支持各种请求类型，支持cookies，header等 再复杂些的可以用。

所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地 类似于使用程序模拟IE浏览器的功能，把URL作为。

用python爬取网页信息的话，需要学习几个模块，urllib，urllib2，urllib3，requests。

用selenium 或者前台实现也行或者用个gui，在里面展示html页面然后捕获。

需求从门户网站爬取新闻，将新闻标题，作者，时间，内容保存到本地txt中用到的python模块import re # 正则表达式import bs4 # Beautiful Soup 4 解析模块import urllib2 # 网络访问模块import News #自己定义。

common_log_format_regex = recompile#39id=\d+#39files = openquotaaatxtquot，#39r#39，encoding = #39utf8#39lines = filesreadlinestxt = #39#39joinlinesfilesclosedata = common_log_format。

Python爬取网页信息时，经常使用的正则表达式及方法它是一篇#39同样如果不一定是id属性开头。

这里简单介绍一下吧，以抓取网站静态动态2种数据为例，实验环境win10+python36+pycharm50，主要内容如下抓取网站静态数据数据在网页源码中以糗事百科网站数据为例 1这里假设我们抓取的数据如下，主要包括用户。

产品id索引爬取标签内的产品各项标题链接价格 python可以使用网页请求方式最常见的方式，一般用于获取或者查询资源信息，也是大多数网站使用的方式，响应速度快，或者多以表单形式上传参数，因此除了查询信息外，还可以修改信息。

我选取的是爬取百度知道的html 作为我的搜索源数据，目前先打算做网页标题的搜索，选用了 Python 的 scrapy 库来对网页进行爬取，爬取网页的标题，url，以及html，用sqlist3来对爬取的数据源进行管理爬取的过程是一个。

Beautiful Soup 是用Python写的一个HTMLXML的解析器，它可以很好的处理不规范标记并生成剖析树parse tree它提供简单又常用的导航navigating，搜索以及修改剖析树的操作用urllib或者urllib2推荐将页面的html代码下载。

如何用对应的网页分析工具，如IE9的F12，Chrome的Ctrl+Shift+J，Firefox的Firebug，去分析出对应的逻辑6针对抓取网站，模拟登陆，抓取动态网页，全部给出了完整的可用的，多种语言的示例代码Python，C#，Java，Go等。

1首先你要可以读取文件2然后根据你想要抓举的内容，使用正则表达式进行匹配。

关键在于查找时间的正则表达式，也就是程序中reg变量的字符串，你可以去了解一下 import res = quotquotquot昨天 0026今天 0026quotquotquotdef getTimehtml reg = r#39*#39 timere = recompilereg timelist =。

有个模块叫chardet可以检测编码，获取对应的编码后再解码即可。

使用selenium的chrome或firefox的webdriver打开浏览器 drivergeturl #访问你的网页 from=driverfind_elements_by_xpathquotxxxquot通过xpath或id等方法锁定到网页上表单的那个元素后，用 fromsend_keysquotxxxquot。