Python中编写一个爬虫，并使用 IP 代理来抓取网页内容

国外IP代理推荐：
IPIPGO|全球住宅代理IP（>>>点击注册免费测试<<<）
国内IP代理推荐：
天启|企业级代理IP（>>>点击注册免费测试<<<）
神龙|纯净稳定代理IP（>>>点击注册免费测试<<<）

在 Python 中编写一个爬虫，并使用 IP 代理来抓取网页内容，可以通过 requests 库和一些代理服务来实现。以下是一个简单的示例，展示如何使用代理抓取网页内容，并提取与关键词相关的文章标题。

请注意，使用代理需要谨慎，因为一些代理服务可能不稳定或涉及法律问题。确保你使用的代理是合法的，并且你有权使用它们。

以下是一个示例代码，演示如何实现这个功能：

python

import requests  
from bs4 import BeautifulSoup  
 
# 示例关键词  
keyword = "机器学习"  
 
# 示例代理列表（需要你自己提供或购买）  
proxies = [  
    {"HTTP": "http://proxy1:port1", "https": "https://proxy1:port1"},  
    {"http": "http://proxy2:port2", "https": "https://proxy2:port2"},  
    {"http": "http://proxy3:port3", "https": "https://proxy3:port3"}  
]  
 
# 目标网站URL（例如，一个新闻网站）  
url = "https://example.com/search?q=" + keyword  
 
# 定义一个函数来抓取网页内容  
def fetch_webpage(url, proxy):  
    try:  
        response = requests.get(url, proxies=proxy, timeout=10)  
        response.raise_for_status()  # 如果请求失败，抛出HTTPError异常  
        return response.text  
    except requests.RequestException as e:  
        print(f"Error fetching webpage: {e}")  
        return None  
 
# 提取文章标题的函数  
def extract_titles(html_content):  
    soup = BeautifulSoup(html_content, 'html.parser')  
    # 这里的选择器需要根据你的目标网站结构进行调整  
    titles = soup.select('h2.article-title')[:3]  # 假设文章标题在h2标签内，class为article-title  
    return [title.get_text(strip=True) for title in titles]  
 
# 尝试使用不同的代理抓取网页内容并提取标题  
for proxy in proxies:  
    html_content = fetch_webpage(url, proxy)  
    if html_content:  
        titles = extract_titles(html_content)  
        print(f"Using proxy {proxy['http'].split('://')[1]}:")  
        for i, title in enumerate(titles, start=1):  
            print(f"{i}. {title}")  
        print()  # 打印空行分隔不同代理的结果  
 
# 如果所有代理都失败，输出提示信息  
if not titles:  

    print("Failed to fetch webpage with all provided proxies.")

注意事项：

    代理设置：
        你需要提供有效的代理服务器地址和端口。
        代理服务可以是免费的，但往往不稳定，也可以购买可靠的代理服务。
    目标网站结构：
        extract_titles 函数中的选择器需要根据你的目标网站进行调整。
        你需要查看网页的 HTML 结构，确定如何提取文章标题。
    错误处理：
        示例代码中包含了基本的错误处理，但你可能需要根据实际情况进行更详细的处理。
    合法性：
        确保你的爬虫行为符合目标网站的 robots.txt 文件规定，并且不要对目标网站造成过大的负载。
    速率限制：
        为了避免对目标网站造成过大压力，你可能需要添加速率限制（例如使用 time.sleep）。

这个示例代码只是一个起点，你可以根据需要进行扩展和优化。

优质代理ip服务商推荐：

使用方法：点击下方对应产品前往官网→注册账号→联系客服免费试用→购买需要的套餐→前往不同的场景使用代理IP

国外IP代理推荐：
IPIPGO|全球住宅代理IP（>>>点击注册免费测试<<<）
神龙海外代理（>>>点击注册免费测试<<<）
国内ip代理推荐：
天启|企业级代理IP（>>>点击注册免费测试<<<）
神龙|纯净稳定代理IP（>>>点击注册免费测试<<<）