怎么为爬虫设置代理IP？主流框架配置指南（含代码）

国外IP代理推荐：
IPIPGO|全球住宅代理IP（>>>点击注册免费测试<<<）
国内IP代理推荐：
天启|全国240+城市代理IP（>>>点击注册免费测试<<<）

一、为什么你的爬虫需要代理IP？

当你在做数据采集时，目标网站通常都会设置访问频率限制。想象一下，同一个IP地址在短时间内连续发出上百次请求，就像同一个人反复按门铃，被拉黑名单是迟早的事。代理ip相当于给爬虫穿上了「隐身衣」，通过更换不同ip地址分散请求压力，这是避免被封锁的最有效方法。

二、实战配置指南（含代码）

不同框架的代理配置方式各有特点，这里我们以最常见的四个场景为例：

1. Requests库设置代理

在requests.get()方法中添加proxies参数即可实现，建议使用ipipgo提供的动态住宅代理，能自动切换IP地址：

import requests

proxies = {
    'HTTP': 'http://username:password@gateway.ipipgo.com:8080',
    'https': 'http://username:password@gateway.ipipgo.com:8080'
}
response = requests.get('https://目标网站.com', proxies=proxies)

2. Scrapy框架全局配置

在settings.py文件中添加中间件配置，推荐使用ipipgo的API动态获取模式，避免手动维护IP池：

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110,
}

IPIPGO_API = "http://api.ipipgo.com/getproxy?key=你的密钥"

def get_proxy():
    return {'http': requests.get(IPIPGO_API).text}

3. Selenium浏览器代理

以Chrome为例，通过添加启动参数实现代理设置，适合需要高匿名住宅IP的模拟操作场景：

from selenium import webdriver

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument("--proxy-server=http://username:password@gateway.ipipgo.com:8080")
driver = webdriver.Chrome(options=chrome_options)

4. Pyppeteer无头浏览器方案

针对异步爬虫场景，通过args参数设置代理：

async def main():
    browser = await launch(args=['--proxy-server=http://gateway.ipipgo.com:8080'])
    page = await browser.newPage()
    await page.authenticate({'username':'账号','password':'密码'})

三、选择代理类型的关键指标

根据业务需求选择代理类型非常重要，这里用表格说明差异：

四、常见问题QA

Q：代理IP突然失效怎么办？
A：建议使用ipipgo的智能路由功能，遇到失效IP会自动切换，其API接口响应速度<5ms，比手动维护IP池效率提升80%以上。

Q：动态和静态ip怎么选？
A：需要频繁更换ip选动态（如采集商品价格），需要维持会话选静态（如保持登录状态）。ipipgo支持两种模式随时切换。

Q：如何测试代理是否生效？
A：在代码中添加IP检测逻辑，或直接访问ipipgo提供的实时检测接口，返回格式包含当前使用的出口IP和地理位置。

国外IP代理推荐：
IPIPGO|全球住宅代理IP（>>>点击注册免费测试<<<）
国内ip代理推荐：
天启|全国240+城市代理IP（>>>点击注册免费测试<<<）