Python发起HTTP请求：requests库使用教程与代理IP配置方法

国外IP代理推荐：
IPIPGO|全球住宅代理IP（>>>点击注册免费测试<<<）
国内IP代理推荐：
天启|全国240+城市代理IP（>>>点击注册免费测试<<<）

requests库的基本使用

Python里的requests库，可以说是HTTP请求的瑞士军刀。它用起来特别简单，比Python自带的urllib库方便多了。安装也只需要一行命令：

pip install requests

装好之后，你就可以开始用它来获取网页内容了。最常用的就是get方法，比如你想看看百度首页长什么样，代码可以这样写：

import requests

response = requests.get('https://www.baidu.com')
print(response.status_code)   打印状态码，200表示成功
print(response.text)   打印网页HTML内容

除了get，还有post、put、delete等方法，对应着不同的HTTP操作。每个请求发出去之后，你会得到一个Response对象，这个对象里包含了服务器返回的所有信息，比如状态码、响应头、cookies，还有最重要的响应内容。

为什么需要代理IP？

直接用自己的IP地址去访问网站，有时候会遇到一些麻烦。比如，如果你在短时间内频繁访问同一个网站，服务器可能会认为你在进行恶意操作，从而把你的ip地址封掉。这就好比你不停地敲邻居家的门，邻居肯定会觉得你有问题。

有些网站可能会根据你的IP地址来判断你的地理位置，从而展示不同的内容。如果你需要获取特定地区才能看到的信息，直接访问可能就不太方便了。

这时候，代理ip就派上用场了。简单来说，代理IP就像是中间人，你的请求先发给这个中间人，然后由中间人转发给目标网站。目标网站看到的是代理IP的地址，而不是你的真实IP。这样既保护了你的隐私，也能避免因频繁访问而被限制。

如何在requests中配置代理IP

给requests库加上代理IP非常简单，只需要在发起请求时传入一个proxies参数就可以了。这个参数是个字典，里面指定不同协议（HTTP、HTTPS）要使用的代理地址。

代理地址的格式一般是这样的：协议://用户名:密码@代理服务器地址:端口号。如果你用的是不需要认证的代理，格式就更简单了：协议://代理服务器地址:端口号。

下面是个具体的例子：

import requests

proxies = {
    'http': 'http://用户名:密码@proxy.ipipgo.com:8080',
    'https': 'https://用户名:密码@proxy.ipipgo.com:8080'
}

response = requests.get('https://httpbin.org/ip', proxies=proxies)
print(response.json())

这段代码运行后，httpbin.org/ip这个接口返回的将不再是你的真实IP，而是代理服务器的IP。这就说明代理已经成功生效了。

选择高质量的代理IP服务

不是所有的代理IP都好用。市面上有很多免费的代理IP，但稳定性很差，速度慢，而且安全性也没保障。对于正式的项目或者重要的数据采集任务，建议还是使用专业的代理ip服务商。

在选择服务商时，你需要关注几个核心指标：

• IP池规模：IP数量越多，可选择余地就越大，也不容易被目标网站封锁。
• 稳定性与速度：连接的成功率和响应速度直接影响到你的工作效率。
• 覆盖地区：根据你的业务需求，看服务商是否提供目标地区的IP。
• 协议支持：是否同时支持HTTP和HTTPS协议，这对于访问不同类型的网站很重要。

以ipipgo为例，它作为全球代理IP专业服务商，整合了240多个国家和地区的住宅IP资源，拥有超过9000万的家庭住宅IP。这意味着你可以获得来自真实家庭网络的IP地址，看起来更像普通用户的正常访问，从而有效降低被识别为代理的风险。它全协议支持，动态和静态ip可以根据你的具体场景灵活选择。

实战：用代理IP采集数据

我们来模拟一个常见的场景：需要批量获取某个网站的信息。如果直接用自己的IP频繁访问，很可能会被限制。结合上面学到的知识，我们可以用ipipgo的代理IP来轻松搞定。

假设我们需要获取一系列网页的标题，代码可以这样组织：

import requests
from bs4 import BeautifulSoup

 配置ipipgo代理
proxies = {
    'http': 'http://你的ipipgo代理信息',
    'https': 'https://你的ipipgo代理信息'
}

urls = ['https://example.com/page1', 'https://example.com/page2', 'https://example.com/page3']

for url in urls:
    try:
        response = requests.get(url, proxies=proxies, timeout=10)
        response.raise_for_status()   如果状态码不是200，抛出异常
        soup = BeautifulSoup(response.text, 'html.parser')
        title = soup.title.string if soup.title else 'No Title Found'
        print(f"URL: {url} - Title: {title}")
    except requests.exceptions.RequestException as e:
        print(f"请求 {url} 时出错: {e}")

这段代码通过循环，使用同一个代理ip池（实际使用时可以在循环外维护一个IP列表并轮换）去访问多个网址，并打印出它们的标题。加入了异常处理，让程序更加健壮。使用ipipgo这类高质量代理，可以显著提高此类任务的成功率。

常见问题与解决方案（QA）

Q1: 配置了代理，但请求失败，提示连接超时或失败，是怎么回事？

A1: 这通常是代理服务器本身的问题。可能的原因有：代理IP已失效或不可用；代理服务器的网络不稳定；你本机的网络设置阻止了与代理服务器的连接。建议首先检查代理IP的有效性，或者尝试更换另一个IP。

Q2: 使用代理后，访问速度变得非常慢，如何优化？

A2: 速度慢主要和代理服务器的地理位置、网络负载有关。可以尝试选择离你目标网站服务器更近地区的代理IP。例如，目标网站在美国，就优选ipipgo的美国节点。确保你使用的代理服务商有足够的带宽资源，避免因共享用户过多导致拥堵。

Q3: 我需要长时间稳定地使用一个固定IP，有办法实现吗？

A3: 可以的。这就是静态（固定）代理IP的用途。相比于动态IP会定期变化，静态IP在一段时间内是固定不变的，非常适合需要保持会话状态或IP白名单的场景。ipipgo等专业服务商都提供静态IP选项，你可以根据需求进行选择。

Q4: 除了requests，其他HTTP库怎么设置代理？

A4: 原理是相通的。比如在用aiohttp做异步请求时，可以在创建session时指定proxy参数。对于urllib3库，则是通过创建ProxyManager对象来实现。核心思想都是将代理服务器的地址信息传递给发出请求的客户端。

国外IP代理推荐：
IPIPGO|全球住宅代理IP（>>>点击注册免费测试<<<）
国内ip代理推荐：
天启|全国240+城市代理IP（>>>点击注册免费测试<<<）