网络上有各种各样的图片，有些是我们非常喜欢的，但是保存下来却不是那么容易。如果一张一张地手动保存，那将会是一项非常繁琐的工作。Python提供了一种简单的方法可以自动抓取网络上的图片。在这篇文章中，我们将会学习如何使用Python抓取网络图片。

1.安装必要的库

在开始之前，我们需要安装一个叫做“requests”的Python库。这个库可以用来发送HTTP请求。

python pip install requests

2.发送HTTP请求

在Python中发送HTTP请求非常容易。我们只需要使用requests库中的get()方法即可。

python import requests response = requests.get(";)

3.解析HTML

我们需要解析HTML页面以便找到其中的图片URL。为此，我们可以使用一个叫做“BeautifulSoup”的库。

python from bs4 import BeautifulSoup soup = BeautifulSoup(response.text,'html.parser')

4.查找所有图片标签

接下来，我们需要找到HTML页面中所有的img标签，并从中提取出它们的src属性。

python images =[] for img in soup.find_all('img'): images.append(img.get('src'))

5.下载图片

现在我们已经得到了所有的图片URL，接下来需要把它们下载到本地。我们可以使用requests库中的get()方法下载图片。

python import os for image in images: response = requests.get(image) filename = os.path.basename(image) with open(filename,'wb') as f: f.write(response.content)

6.支持多线程

如果要抓取大量的图片，那么单线程可能会非常慢。为此，我们可以使用Python中的多线程机制。

python import threading def download_image(url): response = requests.get(url) filename = os.path.basename(url) with open(filename,'wb') as f: f.write(response.content) threads =[] for image in images: t = threading.Thread(target=download_image, args=(image,)) threads.append(t) for t in threads: t.start() for t in threads: t.join()

7.支持断点续传

如果下载过程中出现网络问题，那么可能无法一次性下载完所有的图片。为此，我们需要支持断点续传。

python import requests def download_file(url, filename): r = requests.get(url, stream=True) total_size = int(r.headers.get('content-length',0)) block_size = 1024 wrote = 0 with open(filename,'wb') as f: for data in r.iter_content(block_size): if not data: break wrote += len(data) f.write(data) if __name__=='__main__': url ='' filename ='example.jpg' download_file(url, filename)

8.图片去重

如果要抓取大量的图片，那么可能会有很多重复的图片。为此，我们需要对下载下来的图片进行去重。

python import hashlib def get_md5(filename): with open(filename,'rb') as f: md5 = hashlib.md5(f.read()).hexdigest() return md5 md5_dict ={} for image in images: response = requests.get(image) filename = os.path.basename(image) with open(filename,'wb') as f: f.write(response.content) md5 = get_md5(filename) if md5 in md5_dict: os.remove(filename) else: md5_dict[md5]= filename

到这里，我们已经学习了如何使用Python抓取网络图片。如果你想要抓取大量的图片，那么使用Python是一个非常好的选择。