从网站抓取图片教程：使用Python和代理IP批量下载图片

国外IP代理推荐：
IPIPGO|全球住宅代理IP（>>>点击注册免费测试<<<）
国内IP代理推荐：
天启|全国240+城市代理IP（>>>点击注册免费测试<<<）

为什么下载图片需要代理IP？

当你用Python脚本批量抓取图片时，目标网站可能会检测到你的请求频率过高或来源IP异常。这种情况容易触发反爬机制，导致IP被暂时封锁。比如连续下载几十张图片后，突然发现请求失败，就是因为服务器识别出了重复的IP地址。

使用代理ip相当于给每次请求更换“网络身份证”，让服务器认为这些请求来自不同地区的普通用户。例如，第一次请求用北京的IP，第二次切换至东京的IP，这样就能有效分散请求压力。对于需要大量下载图片的项目，代理IP不仅能避免封锁，还能模拟不同地区的访问特征。

准备工作：安装库与获取代理IP

首先确保Python环境已安装requests和BeautifulSoup库，用于发送网络请求和解析网页内容：

pip install requests beautifulsoup4

代理IP需要从专业服务商获取。以ipipgo为例，其住宅IP资源覆盖广，支持HTTP/HTTPS/SOCKS5协议。登录ipipgo后台可提取API接口，直接获取实时可用的代理IP列表。例如获取到的IP格式为123.123.123.123:8080，配合账号密码即可使用。

编写图片下载脚本的核心逻辑

以下代码演示如何结合代理IP下载图片。关键点在于通过requests.get()的proxies参数动态切换IP：

import requests
from bs4 import BeautifulSoup
import os

 代理IP配置（以ipipgo的HTTP代理为例）
proxies = {
    "http": "http://用户名:密码@网关地址:端口",
    "https": "http://用户名:密码@网关地址:端口"
}

def download_image(img_url, save_path):
    try:
        response = requests.get(img_url, proxies=proxies, timeout=10)
        with open(save_path, 'wb') as f:
            f.write(response.content)
        print(f"下载成功: {save_path}")
    except Exception as e:
        print(f"下载失败: {e}")

 示例：解析网页并下载第一张图片
url = "https://example.com/gallery"
html = requests.get(url, proxies=proxies).text
soup = BeautifulSoup(html, 'html.parser')
img_tag = soup.find('img')
if img_tag:
    img_url = img_tag['src']
    download_image(img_url, "image1.jpg")

注意要点：

• 超时设置：添加timeout=10避免僵死请求
• 异常处理：捕获网络错误并记录日志
• 路径管理：使用os.path.join()规范保存路径

代理ip池的进阶用法

单一代理IP仍可能因频繁使用被限制。更稳妥的方式是构建IP池，每次请求随机选择不同代理。ipipgo支持通过API批量获取IP，天然适合构建IP池：

import random

 模拟从ipipgoAPI获取的IP列表
ip_list = [
    "http://user:pass@1.1.1.1:8000",
    "http://user:pass@2.2.2.2:8888",
    "http://user:pass@3.3.3.3:9090"
]

def get_random_proxy():
    return random.choice(ip_list)

 在下载函数中动态切换
def download_with_pool(img_url):
    proxy = {"http": get_random_proxy(), "https": get_random_proxy()}
    response = requests.get(img_url, proxies=proxy)
     ...后续处理逻辑

这种模式下，即使某个IP失效，其他IP仍能维持任务进行。ipipgo提供的住宅IP池稳定性高，尤其适合需要长时间运行的爬虫项目。

常见问题与解决方案

Q1: 代理IP连接超时怎么办？
A：可能是代理服务器繁忙或网络延迟导致。建议：1) 增加超时时间至15-20秒；2) 在代码中添加重试机制，如失败后更换ip重试3次。

Q2: 下载的图片损坏或无法打开
A：常见于图片数据未完整接收。检查请求头是否需模拟浏览器，例如添加User-Agent：

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'}
response = requests.get(url, headers=headers, proxies=proxies)

Q3: 如何验证代理IP是否生效？
A：在发送请求前，可用以下代码检测当前使用的IP：

test_url = "http://httpbin.org/ip"
response = requests.get(test_url, proxies=proxies)
print("当前代理IP:", response.json()['origin'])

优化技巧与注意事项

批量下载时还需注意：

• 控制并发数：即使使用代理IP，也建议用线程池限制并发数量（如5-10个线程），避免对目标网站造成压力
• 尊重robots.txt：检查目标网站的robots协议，避免抓取禁止访问的内容
• 增量抓取：通过记录已下载图片的MD5值，避免重复下载

ipipgo的住宅IP来自真实家庭网络，能有效模拟人类访问行为。其全球节点覆盖特性，特别适合需要模拟不同地区访问的场景。

国外IP代理推荐：
IPIPGO|全球住宅代理IP（>>>点击注册免费测试<<<）
国内ip代理推荐：
天启|全国240+城市代理IP（>>>点击注册免费测试<<<）