Python爬虫实战：爬取网站全部图片

在Python中，我们可以使用requests和BeautifulSoup库来爬取网站上的图片。首先，确保你已经安装了这两个库。如果还没有安装，可以使用以下命令进行安装：

pip install requests beautifulsoup4

接下来，我们将编写一个Python脚本，通过爬虫技术抓取网页内容、解析HTML、提取图片链接并下载图片。以下是示例代码：

import requests
from bs4 import BeautifulSoup
import os
import urllib.request
# 定义要爬取的网站URL
url = 'http://example.com'
# 发送HTTP请求获取网页内容
response = requests.get(url)
# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 定义保存图片的目录
image_dir = 'images'
if not os.path.exists(image_dir):
    os.makedirs(image_dir)
# 遍历网页中的所有图片链接
for img in soup.find_all('img'):
    # 提取图片链接
    img_url = img.get('src')
    # 下载图片并保存到指定目录
    urllib.request.urlretrieve(img_url, os.path.join(image_dir, img_url.split('/')[-1]))

在上面的代码中，我们首先定义了要爬取的网站URL，然后发送HTTP请求获取网页内容。接下来，我们使用BeautifulSoup解析网页内容，并遍历网页中的所有图片链接。对于每个图片链接，我们提取出链接地址，并使用urllib.request模块下载图片到指定目录。最后，我们使用matplotlib库来展示下载的图片。注意，这只是一个简单的示例代码，实际应用中可能需要处理更多的情况，例如处理JavaScript动态加载的图片、处理重定向链接等。你可以根据具体需求进行相应的修改和扩展。