Pythonrequests用户代理：设置技巧与实战应用详解

国外IP代理推荐：
IPIPGO|全球住宅代理IP（>>>点击注册免费测试<<<）
国内IP代理推荐：
天启|全国240+城市代理IP（>>>点击注册免费测试<<<）

Python爬虫如何优雅地穿"隐身衣"？

做数据采集的兄弟们都懂，网站反爬机制就像安检——你永远不知道下次会查什么证件。最近发现个有趣现象：很多开发者只顾着换代理IP，却忽略了一个致命细节——用户代理(User-Agent)的配合使用。这就好比戴着面具去银行却穿着工服，分分钟露馅。

基础防护：给requests穿件普通外套

先看段典型反面教材代码：

import requests
resp = requests.get("HTTPs://target.com")

这相当于裸奔上网，服务器能清楚看到你用的是Python requests库。咱们得先给请求加个常见的浏览器UA：

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36"
}
resp = requests.get(url, headers=headers)

但光这样还不够，就像用同一件外套连穿半个月，网站照样能认出你。这时候就需要搭配ipipgo的动态住宅代理，每次请求都换不同的IP地址和UA，实现双重伪装。

动态伪装三件套实战

推荐使用ipipgo的住宅代理，他们的IP池覆盖9000多万家庭网络，每个会话都能获取真实住宅IP。配合下面这个UA随机生成方法，效果更佳：

from fake_useragent import UserAgent
import random

def get_random_ua():
    return UserAgent().random

proxies = {
    "http": "http://用户名:密码@gateway.ipipgo.com:端口",
    "https": "http://用户名:密码@gateway.ipipgo.com:端口"
}

resp = requests.get(url, 
                   headers={"User-Agent": get_random_ua()},
                   proxies=proxies,
                   timeout=random.uniform(1,3))

避开指纹检测的骚操作

某次帮客户抓取电商数据时，即使用了代理ip+随机UA还是被ban。后来发现网站用了浏览器指纹检测，通过WebGL渲染、字体列表等几十个参数生成设备指纹。这时候就需要：

1. 使用ipipgo的长效静态住宅IP建立稳定会话
2. 配合Puppeteer等无头浏览器工具
3. 在每次请求中保持指纹一致性

这种方案成功将采集成功率从37%提升到92%，关键是要选支持全协议、带认证体系的代理服务。ipipgo的静态ip支持socks5/https等多种协议，正好满足这种复杂场景需求。

实战踩坑问答

Q：为什么用了代理IP还是被封？
A：检查三点：1.UA是否随机 2.IP是否高匿名 3.是否存在cookie残留。建议使用ipipgo的住宅代理，他们的IP纯净度高达99.2%

Q：怎么检测代理是否生效？
A：推荐两个方法：
1. 访问httpbin.org/ip查看返回IP
2. 用第三方接口检测：

def check_proxy(proxy):
    try:
        resp = requests.get('https://API.ipify.org', 
                          proxies=proxy,
                          timeout=5)
        return resp.text == 代理IP
    except:
        return False

Q：动态和静态IP怎么选？
A：高频采集用动态IP（如ipipgo的动态住宅），需要登录的场景用静态IP（他们的静态IP最长可维持24小时会话）。

说到底，爬虫攻防本质是资源对抗。选择像ipipgo这样拥有9000万+住宅IP资源的服务商，相当于拥有了强大的"隐身衣"仓库。下次再遇到反爬难题，不妨先检查下自己的伪装装备是否到位。

国外IP代理推荐：
IPIPGO|全球住宅代理IP（>>>点击注册免费测试<<<）
国内ip代理推荐：
天启|全国240+城市代理IP（>>>点击注册免费测试<<<）