Python发送HTTP请求详解：从基础到代理配置的完整流程

国外IP代理推荐：
IPIPGO|全球住宅代理IP（>>>点击注册免费测试<<<）
国内IP代理推荐：
天启|全国240+城市代理IP（>>>点击注册免费测试<<<）

Python发送HTTP请求的基本方法

在Python中发送HTTP请求，最常用的库就是requests。这个库用起来非常顺手，可以说是Python网络编程的入门必备。你得确保已经安装了这个库，如果还没装，在命令行里输入pip install requests就能搞定。

一个最简单的GET请求长这样：

import requests

response = requests.get('https://httpbin.org/get')
print(response.status_code)   打印状态码，比如200代表成功
print(response.text)          打印返回的网页内容

这段代码会向测试网站发送一个请求，并把服务器返回的信息打印出来。除了GET，常用的还有POST请求，比如提交表单数据：

data = {'key1': 'value1', 'key2': 'value2'}
response = requests.post('https://httpbin.org/post', data=data)

掌握这两种基本方法，你已经能应对很多简单的网页数据抓取或接口调用场景了。

为什么需要配置代理IP？

直接用自己的IP地址去频繁访问某个网站，很容易会触发对方的防御机制。比如，你正在做数据采集，短时间内发送大量请求，服务器可能会认为这是恶意攻击，从而把你的ip地址封禁。一旦IP被ban，在一段时间内你就无法再访问那个网站了。

这时候，代理ip就派上用场了。代理服务器相当于一个中间人，你的请求先发到代理服务器，再由代理服务器转发给目标网站。目标网站看到的是代理服务器的IP，而不是你的真实IP。这样做的直接好处有两个：一是隐藏真实IP，避免被直接封禁；二是如果代理IP本身被限制，换一个就行了，不影响你本机的网络。

对于需要高匿名性、高稳定性和大量IP资源的业务场景，使用专业的代理IP服务是更可靠的选择。

如何在Requests中配置代理IP

用requests库设置代理非常简单，只需要在请求方法（如get或post）中传递一个proxies参数就行了。这个参数是一个字典，指定所使用的协议（HTTP或HTTPS）和对应的代理服务器地址。

基本格式如下：

import requests

proxies = {
  'http': 'http://用户名:密码@代理服务器地址:端口',
  'https': 'https://用户名:密码@代理服务器地址:端口'
}

response = requests.get('http://目标网址.com', proxies=proxies)

举个例子，假如你从代理服务商ipipgo那里获得了一个HTTP代理信息：地址是gateway.ipipgo.com，端口是8000，用户名为your_username，密码是your_password。那么配置就应该这样写：

proxies = {
    'http': 'http://your_username:your_password@gateway.ipipgo.com:8000',
    'https': 'https://your_username:your_password@gateway.ipipgo.com:8000'
}

这样，你的请求就会通过ipipgo的代理服务器发出去，实现IP地址的隐匿。

处理代理IP的认证与异常

不是所有代理都需要认证，但大部分高质量的代理服务（比如ipipgo）为了安全都会需要用户名和密码。如果你输错了认证信息，请求就会返回407错误（代理认证失败）。

在实际编程中，网络请求总会遇到各种意外，比如代理服务器连接超时、目标网站无响应等。添加异常处理是保证程序健壮性的关键。

import requests
from requests.exceptions import ProxyError, Timeout, ConnectionError

proxies = {
    'http': 'http://your_username:your_password@gateway.ipipgo.com:8000',
    'https': 'https://your_username:your_password@gateway.ipipgo.com:8000'
}

try:
    response = requests.get('http://目标网址.com', proxies=proxies, timeout=10)
    response.raise_for_status()   如果状态码不是200，会抛出HTTPError异常
    print("请求成功！")
    print(response.text)

except ProxyError as e:
    print("代理服务器出现问题：", e)
except Timeout as e:
    print("请求超时：", e)
except ConnectionError as e:
    print("网络连接错误：", e)
except requests.exceptions.HTTPError as e:
    print("HTTP错误：", e)

这段代码能帮你捕获常见的网络异常，让程序在出错时也能优雅地处理，而不是直接崩溃。

高级技巧：会话保持与IP池轮询

如果你需要连续发送多个请求，使用Session对象会比单次请求更高效。Session可以自动保持某些连接参数，包括代理设置，并且会复用TCP连接，从而提升速度。

import requests

proxies = {
    'http': 'http://your_username:your_password@gateway.ipipgo.com:8000',
    'https': 'https://your_username:your_password@gateway.ipipgo.com:8000'
}

with requests.Session() as session:
    session.proxies.update(proxies)   为整个会话设置代理
    response1 = session.get('http://网址1.com')   这个请求会使用代理
    response2 = session.get('http://网址2.com')   这个请求也会使用同一个代理

当业务需要大量不同的IP地址时，手动更换代理会很麻烦。这时可以构建一个代理ip池，每次请求时随机选取一个代理IP。ipipgo提供的大量全球住宅IP资源非常适合构建这样的IP池，能有效降低单个IP的访问频率，避免被识别。

import random

 假设你有一个从ipipgo获取的代理IP列表
proxy_list = [
    'http://user:pass@gateway1.ipipgo.com:8000',
    'http://user:pass@gateway2.ipipgo.com:8000',
    'http://user:pass@gateway3.ipipgo.com:8000',
]

 随机选择一个代理
proxy = random.choice(proxy_list)
proxies = {
    'http': proxy,
    'https': proxy,
}

response = requests.get('http://目标网址.com', proxies=proxies)

常见问题与解答（QA）

Q1: 我测试代理时程序卡住不动，是什么原因？

A1: 这通常是网络连接超时导致的。可能的原因有：代理服务器地址或端口填写错误；代理服务器本身网络不稳定；或者目标网站响应慢。请检查代理信息是否正确，并尝试在requests.get()方法中设置timeout参数（如timeout=10），这样超过设定时间就会自动停止等待并报错。

Q2: 使用了代理，为什么还是被网站识别出来了？

A2: 这可能与你使用的代理IP类型有关。一些数据中心代理IP可能被很多用户共用，已经被目标网站标记。ipipgo提供的家庭住宅IP资源，因其IP来源更加真实、纯净，被识别和封禁的概率大大降低，更适合有高匿名性要求的场景。

Q3: 我应该选择http代理还是socks5代理？

A3: 这取决于你的具体需求。HTTP/HTTPS代理更常见，易于配置，适合普通的网页访问。SOCKS5代理更底层，不关心应用层协议，可以处理任何类型的流量。ipipgo全协议支持的优势在这里就体现出来了，你可以根据业务需求灵活选择。对于绝大多数HTTP/HTTPS请求，使用HTTP代理就足够了。

Q4: 如何验证代理是否真的生效了？

A4: 一个简单的方法是访问一些可以显示客户端IP的网站，如httpbin.org/ip。先不用代理访问一次，记下返回的IP（即你的真实IP）。然后使用代理配置后再访问这个网址，如果返回的IP地址变成了代理服务器的IP，就说明代理配置成功生效了。

国外IP代理推荐：
IPIPGO|全球住宅代理IP（>>>点击注册免费测试<<<）
国内ip代理推荐：
天启|全国240+城市代理IP（>>>点击注册免费测试<<<）