python获取网页url(Python获取网页HTML数据)

import rem=researchr#3909AZaz+#39，url具体要考虑连接里的字符，以及其他地方的正文字符。

import reimport urlliburl=quot quots=urlliburlopenurlreadss=sreplacequot quot，quotquoturls=refindall#39#39，ss，reI for i in urls print ielse print #39显示完成#39不过这样也有一点。

1使用beautifulsoup框架from bs4 import BeautifulSoupbs = BeautifulSoup#39网页源码#39， quothtmlparserquotbsfindAll#39a#39 # 查找所有的超链接# 具体方法可以参见官方文档2使用正则表达式。

1python处理字符串非常简单，获取url最后一个之后的字符串，使用字符串函数rindex得到最后一个位置，然后再对url字符串进行切片就可以得到url最后一个后的字符串 2代码url = #39。

用浏览器调试工具，如firebug，查看点击下一页时的模拟就行了。

你上面输入的这个IP，百度在IP访问上面做了。