Python爬虫教程之代理设置：Requests/Scrapy框架IP集成指南

国外IP代理推荐：
IPIPGO|全球住宅代理IP（>>>点击注册免费测试<<<）
国内IP代理推荐：
天启|全国240+城市代理IP（>>>点击注册免费测试<<<）

为什么爬虫必须使用代理IP

很多刚接触Python爬虫的朋友，可能都遇到过这种情况：代码明明写对了，但运行一段时间后，目标网站就访问不了了，甚至自己的IP地址直接被对方封禁。这其实不是你的代码有问题，而是你的爬虫行为被网站识别出来了。

网站服务器会监控访问频率，如果一个ip地址在短时间内发出大量请求，它就会判定这是爬虫行为而非正常用户，从而采取限制措施。这时候，代理ip就派上用场了。简单来说，代理IP就像一个中间人，你的请求先发给代理服务器，再由代理服务器转发给目标网站。这样，目标网站看到的是代理服务器的IP，而不是你的真实IP，从而有效避免了因高频访问导致的IP被封问题。

使用代理IP，尤其是像ipipgo这样提供海量住宅IP的服务，能让你的爬虫请求分散到大量不同的IP上，模拟出全球各地真实用户的访问行为，大大降低了被反爬机制识别的风险。

Requests库如何设置代理ip

Requests是Python中最常用的HTTP库，设置代理非常简单。你只需要在发起请求时，通过proxies参数传入代理服务器的信息即可。

最基本的使用方式是这样的：

import requests

proxies = {
    "http": "http://username:password@proxy.ipipgo.com:port",
    "https": "https://username:password@proxy.ipipgo.com:port"
}

response = requests.get("http://httpbin.org/ip", proxies=proxies)
print(response.text)

这里有几个要点需要注意：

1. 协议匹配： 字典里的http和https键分别对应不同协议的请求。如果你的目标网址是`http`开头的，就会使用`http`对应的代理；如果是`https`开头的，则使用`https`对应的代理。为了保险起见，通常两者都配置成一样的。

2. 认证信息： 如果代理服务器需要认证，格式是`用户名:密码@代理服务器地址:端口`。像ipipgo提供的代理服务通常会提供这些信息。

3. 会话保持： 如果你使用了requests.Session()来保持会话，那么应该在创建Session对象后，将proxies参数配置给这个session对象，这样该session发出的所有请求都会自动使用代理。

session = requests.Session()
session.proxies = proxies
response = session.get("http://httpbin.org/ip")

Scrapy框架中集成代理IP的几种方法

Scrapy是一个功能强大的爬虫框架，集成代理IP的方式比Requests更灵活，主要有两种主流方法。

方法一：使用内置的HttpProxyMiddleware（推荐）

这是最常用、最标准的方法。你不需要修改爬虫代码，只需在Scrapy项目的settings.py文件中进行配置。

在settings.py里启用代理中间件，并设置代理地址。一个常见的做法是通过自定义下载中间件来实现动态代理。

 settings.py

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 400,
}

 自定义一个代理池中间件（通常放在middlewares.py中）
class MyProxyMiddleware(object):
    def process_request(self, request, spider):
         从你的代理ip池中获取一个代理
        proxy = "http://username:password@proxy.ipipgo.com:port"
        request.meta['proxy'] = proxy

 然后在settings.py中启用这个自定义中间件，并将其优先级设为高于内置的HttpProxyMiddleware
DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.MyProxyMiddleware': 100,
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 400,
}

这种方法的好处是，你可以在process_request方法里实现复杂的逻辑，比如从ipipgo的API接口获取一个动态住宅IP，实现每个请求都使用不同的IP，最大化地模拟真实用户。

方法二：直接在Request中设置meta

如果你只想为特定的请求使用代理，可以在生成Request对象时，直接在其meta属性中指定代理。

yield scrapy.Request(
    url='http://example.com',
    meta={
        'proxy': 'http://username:password@proxy.ipipgo.com:port'
    },
    callback=self.parse
)

这种方法简单直接，适合临时性或局部性的代理需求，但不利于管理和维护大量的代理IP。

构建自己的代理IP池

对于大型或长期的爬虫项目，使用单个代理IP是远远不够的。你需要一个由多个IP组成的“代理池”，并能够自动管理这些IP（如检测失效、自动切换）。

一个简单的代理池管理思路如下：

1. 获取IP： 从ipipgo这类服务商那里获取一批代理IP。得益于ipipgo庞大的全球住宅IP资源，你可以获得大量稳定、高质量的IP。

2. 存储IP： 将IP地址、端口、协议等信息存入数据库（如Redis）或文件中。

3. 验证IP： 定期用一个测试URL（如`http://httpbin.org/ip`）去验证池中的IP是否有效，剔除失效的IP。

4. 获取IP： 爬虫在发送请求前，从代理池中随机抽取一个可用的IP使用。

下面是一个极简的代码示例，展示如何随机选择一个代理：

import random
import requests

 模拟一个代理IP池
proxy_list = [
    "http://user:pass@proxy1.ipipgo.com:port",
    "http://user:pass@proxy2.ipipgo.com:port",
    "http://user:pass@proxy3.ipipgo.com:port",
]

def get_with_random_proxy(url):
    proxy = random.choice(proxy_list)
    proxies = {"http": proxy, "https": proxy}
    try:
        response = requests.get(url, proxies=proxies, timeout=10)
        return response
    except Exception as e:
        print(f"代理 {proxy} 请求失败: {e}")
         可以从池中移除这个失效的代理
        return None

response = get_with_random_proxy("http://httpbin.org/ip")

常见问题与解决方案（QA）

Q1: 使用了代理IP，为什么还是被网站识别为爬虫？

A1: 代理IP只是解决了IP单一的问题。网站的反爬虫策略是综合性的，还包括User-Agent、Cookie、访问频率、行为轨迹等。你需要配合使用随机User-Agent、设置合理的下载延迟（DOWNLOAD_DELAY）等策略，才能更好地伪装成正常用户。

Q2: 代理IP连接超时或速度很慢怎么办？

A2: 这通常和代理服务器的质量、网络线路以及地理位置有关。选择像ipipgo这样拥有优质全球网络资源的服务商，能显著提升连接速度和稳定性。在代码中，务必要设置好超时时间（timeout参数），并对失败请求进行重试或切换代理。

Q3: 免费代理和付费代理（如ipipgo）有什么区别？

A3: 免费代理通常不稳定、速度慢、安全性无保障，且IP数量有限，很容易被目标网站封禁。而付费代理如ipipgo提供的是高匿名住宅IP，数量庞大（9000万+）、稳定高速，并且有专业的技术支持，能确保爬虫项目的长期稳定运行，性价比远高于免费代理。

Q4: 在Scrapy中，如何为不同的蜘蛛（Spider）设置不同的代理？

A4: 你可以在自定义的下载中间件中，通过判断spider.name来为不同的爬虫分配不同的代理策略或代理IP池。这提供了极大的灵活性。

选择优质代理服务商：为什么是ipipgo

爬虫项目的成功，很大程度上依赖于代理IP的质量。一个优质的代理服务商应该具备哪些特点呢？

IP资源要足够庞大和纯净。ipipgo整合了全球240多个国家和地区的住宅IP资源，数量超过9000万，这些IP来自真实的家庭网络，纯净度高，被目标网站封禁的风险极低。

要支持全面的协议和灵活的使用方式。ipipgo全协议支持，无论是HTTP、HTTPS还是socks5，都能满足你的需求。同时提供动态和静态ip选项，你可以根据爬虫策略灵活选择。

稳定性和可用性至关重要。代理服务的核心是稳定可靠，ipipgo作为全球代理IP专业服务商，其网络基础设施和运维能力能为你的爬虫项目提供坚实的后盾。

将代理IP正确地集成到你的Requests或Scrapy爬虫中，并搭配ipipgo这样可靠的服务，你将能显著提升数据采集的效率和成功率，让爬虫工作事半功倍。

国外IP代理推荐：
IPIPGO|全球住宅代理IP（>>>点击注册免费测试<<<）
国内ip代理推荐：
天启|全国240+城市代理IP（>>>点击注册免费测试<<<）