Python网络爬虫实战：从requests到scrapy的代理IP配置全攻略

国外IP代理推荐：
IPIPGO|全球住宅代理IP（>>>点击注册免费测试<<<）
国内IP代理推荐：
天启|全国240+城市代理IP（>>>点击注册免费测试<<<）

为什么爬虫需要代理IP？

当你用Python写爬虫程序，频繁访问同一个网站时，对方的服务器很容易就能识别出来。它会发现，怎么老是这个IP地址在不停地请求数据？一旦被识别为“异常访问”，轻则限制访问速度，重则直接封禁你的IP，导致整个爬虫程序瘫痪。这就好比你去一家店，每天都穿同一件衣服、在同一时间点出现，店员很快就能认出你，甚至拒绝你入内。

代理ip的核心作用就是帮你“换衣服”。通过代理IP，你的请求会先发送到代理服务器，再由代理服务器转发给目标网站。对目标网站来说，它看到的是代理服务器的ip地址，而不是你的真实IP。这样，即使某个IP被限制，你只需要更换一个代理IP，就能继续你的数据采集工作，大大提高了爬虫的稳定性和效率。

requests库的代理IP配置实战

对于初学者或中小型爬虫项目，requests库因其简单易用而备受青睐。为其配置代理IP非常简单，主要通过proxies参数来实现。

假设你已经从ipipgo获取了一个HTTP代理IP，格式为IP:PORT，那么配置方式如下：

import requests

 从ipipgo获取的代理IP信息
proxy_ip = "123.123.123.123"
proxy_port = "8080"

 构建proxies字典
proxies = {
    "HTTP": f"http://{proxy_ip}:{proxy_port}",
    "https": f"http://{proxy_ip}:{proxy_port}"   注意：很多HTTP代理也支持HTTPS，但协议头仍用http
}

 携带代理发起请求
try:
    response = requests.get("http://httpbin.org/ip", proxies=proxies, timeout=10)
    print(response.json())   这里会显示代理服务器的IP，而非你的真实IP
except requests.exceptions.RequestException as e:
    print(f"请求失败: {e}")

关键点：

• 协议匹配： 如果你的目标网站是https://开头的，但你的代理只支持HTTP协议，那么你需要确认代理服务商是否允许用HTTP协议代理HTTPS请求。ipipgo的全协议支持可以很好地解决这个问题。
• 认证处理： 如果代理IP需要用户名和密码认证，格式为：http://user:pass@IP:PORT。ipipgo提供的代理可以灵活配置认证方式，方便集成。

Scrapy框架中代理IP的集成方法

当爬虫项目变得庞大和复杂时，Scrapy框架是更专业的选择。在Scrapy中配置代理IP，推荐使用中间件（Middleware）的方式，这样可以自动为每一个发出的请求设置代理。

在Scrapy项目的settings.py文件中启用并配置自定义的下载器中间件。

 settings.py

DOWNLOADER_MIDDLEWARES = {
    '你的项目名.middlewares.ProxyMiddleware': 543,
}

然后，在middlewares.py文件中创建这个代理中间件：

 middlewares.py

import base64
from 你的项目名 import settings   导入设置

class ProxyMiddleware(object):

    def process_request(self, request, spider):
         1. 从IP池中随机获取一个代理IP（这里需要你实现自己的IP池逻辑）
        proxy_ip_port = self.get_proxy_from_pool()

         2. 设置代理
        request.meta['proxy'] = f"http://{proxy_ip_port}"

         3. 如果代理需要认证（以ipipgo为例，假设已设置白名单IP认证，则无需此步）
         如果需要用户名密码认证，代码如下：
         credentials = "user:pass"
         base64_credentials = base64.b64encode(credentials.encode()).decode()
         request.headers['Proxy-Authorization'] = f'Basic {base64_credentials}'

    def get_proxy_from_pool(self):
         这是一个示例函数，你需要根据实际情况实现
         例如，可以从Redis、数据库或API接口中获取一个可用的代理IP
         这里返回一个示例IP
        return "123.123.123.123:8080"

这种方式的好处是全自动管理。Scrapy在发出每个请求前都会经过这个中间件，自动换上新的代理IP，无需在每个爬虫脚本中手动设置。

构建高效稳定的代理ip池

单个代理IP并不保险，构建一个IP池才是王道。一个健康的IP池应该包含验证、淘汰和补充三个机制。

1. 验证机制： 定期检查池中的代理IP是否仍然有效。可以写一个脚本，用这些IP去访问一个稳定的测试网站（如http://httpbin.org/ip），根据响应时间和状态码判断其健康度。

2. 淘汰机制： 将连续多次连接超时或返回非200状态码的IP从池中移除。

3. 补充机制： 当池中IP数量低于阈值时，自动从代理ip服务商那里获取新的IP。像ipipgo这样的服务商提供API接口，可以方便地集成到你的IP池管理系统中，实现自动补充。

通过这种方式，你可以确保爬虫始终有大量新鲜可用的IP资源，从容应对各种反爬策略。

常见问题与解决方案（QA）

Q1: 使用了代理IP，为什么还是被网站封了？

A: 这可能有两个主要原因。一是代理IP质量不高，你使用的IP可能已经被很多人用过，被目标网站标记为“可疑IP”。二是爬取行为过于激进。即使不断更换IP，如果你的访问频率过高，缺乏随机延时，网站依然可以通过行为分析识别出是爬虫。解决方案是选择高质量的代理IP服务，如ipipgo的住宅IP，更接近真实用户，同时合理设置爬虫的下载延迟（DOWNLOAD_DELAY）。

Q2: 免费代理和付费代理（如ipipgo）主要区别在哪？

A: 两者的区别主要体现在稳定性、速度和安全性上。用一个表格来对比会更清晰：

对于商业或重要的爬虫项目，付费代理是保证项目成功的基础。

Q3: 在Scrapy中，如何针对不同的蜘蛛（Spider）使用不同的代理IP池？

A: 这可以通过在中间件中判断spider.name来实现。例如：

class ProxyMiddleware(object):
    def process_request(self, request, spider):
        if spider.name == 'spider_a':
            proxy = self.get_proxy_from_pool_a()
        elif spider.name == 'spider_b':
            proxy = self.get_proxy_from_pool_b()
        else:
            proxy = self.get_proxy_from_default_pool()

        request.meta['proxy'] = proxy

这样可以为不同的爬虫任务分配不同的IP资源，实现更精细化的管理。

国外IP代理推荐：
IPIPGO|全球住宅代理IP（>>>点击注册免费测试<<<）
国内ip代理推荐：
天启|全国240+城市代理IP（>>>点击注册免费测试<<<）