国外IP代理推荐：
IPIPGO|全球住宅代理IP（>>>点击注册免费测试<<<）
国内IP代理推荐：
天启|全国240+城市代理IP（>>>点击注册免费测试<<<）
为什么下载图片会遇到防盗链？
很多朋友在用Python写爬虫下载图片时，可能都遇到过这种情况：代码明明没问题，本地测试也能下载，但一把程序放到服务器上跑，就发现图片下载不下来了，返回403 Forbidden错误。这多半是触发了网站的防盗链机制。
简单来说，防盗链就像一家商店的保安。当你直接从商店（目标网站）拿东西（图片）时，保安看你是个正常顾客，就放行了。但当你试图从一个陌生的地方（比如你的服务器）派人去拿时，保安一看你这人“来历不明”，不是从他们认可的页面链接过来的，就会把你拦下。服务器判断“来历”的主要依据，就是HTTP请求头中的Referer字段，这个字段告诉服务器，上一个访问的页面是哪里。
直接使用Python的requests或urllib库下载图片时，通常不会主动携带Referer头，或者携带的Referer头不被目标网站认可，因此就被“保安”拒之门外了。
代理IP如何成为破解钥匙？
既然直接访问被拒绝，那我们能不能“伪装”成一个被信任的访问者呢？答案是肯定的，而代理ip在其中扮演了关键角色。
你可以把代理IP理解为一个“中间人”或“伪装面具”。你的请求不再直接从你的服务器IP发出，而是先发送给代理IP，再由这个代理IP去访问目标图片。这时，对目标网站来说，请求的来源就是这个代理IP，而不是你真实的服务器IP。
更重要的是，一个高质量的代理IP服务，比如ipipgo，其提供的住宅IP资源，是来自于全球真实家庭宽带网络的IP地址。这些IP在目标网站看来，就像是普通用户正常发起的访问，天然就带有更高的可信度，极大地降低了被防盗链机制识别为爬虫的风险。ipipgo整合了全球240多个国家和地区的住宅IP，拥有9000万+家庭住宅IP资源，这意味着你可以轻松模拟出来自世界不同地区的“真实用户”访问行为。
方法一：requests库搭配代理IP与Referer头
这是最基础也是最常用的一种方法。思路是既使用代理IP隐藏真实来源，又主动设置一个合法的Referer头，双重伪装。
以下是具体的代码示例：
确保安装了requests库：pip install requests
要点说明：
- 代理设置： 将
proxies字典中的占位符替换为从ipipgo获取的真实代理信息。ipipgo全协议支持，无论是HTTP、HTTPS还是socks5代理，都能轻松应对。 - Referer头： 这是绕过防盗链的核心。你需要找出目标网站认可哪些页面的来源，通常就是它自己的主域名或图片所在的文章页URL。
- User-Agent头： 模拟真实浏览器的标识，避免被简单的UA检测拦截。
方法二：创建会话（Session）维持状态
如果目标网站的防盗链策略比较复杂，可能不仅检查Referer，还会校验Cookie或Session。这时，使用requests.Session()会更有优势。
Session对象可以自动管理Cookie，在一次会话中保持某些状态，使得你的多次请求看起来更像是一个连贯的用户行为。
```python import requests 配置代理 proxies = { 'http': 'http://用户名:密码@代理服务器地址:端口', 'https': 'https://用户名:密码@代理服务器地址:端口' } 创建一个会话对象 session = requests.Session() session.proxies.update(proxies) 为会话统一设置代理 可以模拟访问一下图片所在的页面，获取必要的Cookie（如果需要） page_url = 'https://example.com/article/123' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36...' } session.get(page_url, headers=headers) 然后，再用同一个会话去下载图片，Referer会自动设置为上一步的page_url吗？不会，仍需手动设置。 image_url = 'https://example.com/path/to/image.jpg' headers_image = { 'Referer': page_url, 将Referer设置为刚刚访问过的页面URL 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36...' } response = session.get(image_url, headers=headers_image) if response.status_code == 200: with open('image_via_session.jpg', 'wb') as f: f.write(response.content) print("使用会话下载图片成功！") else: print("下载失败。") ```这种方法的好处是： 通过先访问源头页面，再下载图片，并设置正确的Referer，整个流程非常符合真实用户的浏览逻辑，欺骗性更强。配合ipipgo提供的动态住宅IP，每次会话都可以模拟不同地域的真实用户，进一步分散请求压力，提高成功率。
方法三：urllib3库与代理池的进阶使用
对于需要高并发、大规模下载的场景，requests库可能效率稍低。这时可以使用更底层的urllib3库，并结合代理ip池进行管理。
ipipgo提供的海量IP资源非常适合构建代理池，通过轮换使用不同的IP，可以有效避免因单个IP请求过于频繁而被封禁。
```python import urllib3 from urllib3.util.retry import Retry from urllib3.poolmanager import ProxyManager import random 假设你有一个从ipipgoAPI获取的代理IP列表 proxy_list = [ 'http://user:pass@ip1:port1', 'http://user:pass@ip2:port2', ... 更多代理IP ] 随机选择一个代理 proxy_url = random.choice(proxy_list) 创建带有代理和重试策略的ProxyManager http = ProxyManager(proxy_url, retries=Retry(total=3, backoff_factor=0.1)) 设置请求头 headers = { 'Referer': 'https://example.com/', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36...' } image_url = 'https://example.com/path/to/image.jpg' try: response = http.request('GET', image_url, headers=headers) if response.status == 200: with open('image_urllib3.jpg', 'wb') as f: f.write(response.data) print("使用urllib3和代理池下载成功！") else: print(f"下载失败，状态码：{response.status}") except Exception as e: print(f"发生错误：{e}") ```进阶技巧： 在实际项目中，你需要一个更健壮的代理池管理机制，包括IP的有效性校验、自动剔除失效IP、以及从ipipgo这类服务商那里动态补充新鲜IP。这能保证你的下载任务长期稳定运行。
常见问题QA
Q1: 我设置了代理和Referer，为什么还是返回403？
A1： 原因可能有几种：1. 你设置的Referer不被目标网站接受，可以尝试换一个更“真实”的页面URL作为Referer。2. 代理IP本身可能已经被目标网站封禁，此时需要更换一个新的IP。ipipgo提供的住宅IP纯净度高，可以有效减少这个问题。3. 目标网站可能有更复杂的验证机制，如javaScript动态加载、Token验证等，此时需要更高级的反爬虫策略。
Q2: 我应该选择静态住宅代理还是动态住宅代理？
A2： 这取决于你的任务场景。如果你需要长时间保持一个会话来操作（如维持登录状态），ipipgo的静态住宅代理更合适，因为它的IP在一段时间内是固定的。如果你进行的是大规模、高并发的数据采集，希望每次请求都使用不同的IP来降低风险，那么ipipgo的动态住宅代理（按请求切换IP或定时切换ip）是更好的选择，其庞大的IP池能提供充足的资源。
Q3: 使用免费代理可以吗？为什么推荐ipipgo？
A3： 非常不推荐使用免费代理。免费代理通常不稳定、速度慢、安全性无保障（可能监听数据），且ip地址大多已被各大网站标记，绕过防盗链的成功率极低。ipipgo作为全球代理IP专业服务商，提供高匿名、高可用的住宅IP，IP质量有保障，服务稳定，并有专业的技术支持，能确保你的项目顺利进行。
Q4: 除了下载图片，这些方法还能用在什么地方？
A4： 这些方法具有普适性。任何通过HTTP/HTTPS协议访问网络资源时遇到的基于IP或Referer的访问限制，都可以尝试用“代理IP+请求头管理”的组合拳来解决。例如，采集某些对访问频率敏感的数据，访问地域性限制的内容（需配合相应地区的代理IP）等。
国外IP代理推荐：
IPIPGO|全球住宅代理IP（>>>点击注册免费测试<<<）
国内ip代理推荐：
天启|全国240+城市代理IP（>>>点击注册免费测试<<<）
发表评论
发表评论: