JS爬虫工具盘点：Puppeteer与Playwright的代理集成教程

国外IP代理推荐：
IPIPGO|全球住宅代理IP（>>>点击注册免费测试<<<）
国内IP代理推荐：
天启|全国240+城市代理IP（>>>点击注册免费测试<<<）

Puppeteer与Playwright的代理集成核心差异

虽然Puppeteer和Playwright都出自同一“家族”，但在代理集成的方式上，两者存在一些微妙的区别。Puppeteer的代理设置相对直接，主要通过启动浏览器实例时的参数进行配置。而Playwright由于其支持多浏览器引擎（Chromium、Firefox、WebKit）的架构，其代理配置方式更为统一和灵活，提供了更细粒度的控制，例如可以为不同的浏览器上下文（Browser Context）设置独立的代理。

简单来说，Puppeteer的代理是浏览器级别的，一旦设置，该浏览器实例的所有请求都会经过代理。而Playwright则可以做到页面级别甚至更精细的控制，允许你在同一个浏览器实例中，不同的“隐身模式”标签页使用不同的代理IP，这对于需要多账号管理的场景非常有用。

Puppeteer代理ip集成实战

为Puppeteer配置代理IP主要有两种方式：通过启动参数（适用于HTTP/HTTPS/SOCKS代理）和通过认证插件（适用于需要用户名密码认证的代理）。

方法一：通过启动参数设置（推荐用于IP白名单认证）

如果你的代理服务商（如ipipgo）支持通过IP白名单认证，这意味着你可以在服务器上绑定你的出口IP，从而无需在代码中填写用户名和密码，这种方式最安全。

const puppeteer = require('puppeteer');
(async () => {
  const browser = await puppeteer.launch({
    headless: false,
    args: [
      '--proxy-server=http://123.45.67.89:8000' // 替换为你的代理服务器地址和端口
    ]
  });
  const page = await browser.newPage();
  await page.goto('https://httpbin.org/ip');
  console.log(await page.content()); // 页面将显示代理IP的信息，而非本地IP
  await browser.close();
})();

方法二：通过插件处理认证（适用于用户名密码认证）

对于需要用户名密码认证的代理，可以使用`puppeteer-page-proxy`等第三方库。

const puppeteer = require('puppeteer');
const useProxy = require('puppeteer-page-proxy');
(async () => {
  const browser = await puppeteer.launch({ headless: false });
  const page = await browser.newPage();
  
  // 为整个页面设置代理
  await useProxy(page, 'http://username:password@123.45.67.89:8000');
  
  await page.goto('https://httpbin.org/ip');
  console.log(await page.content());
  await browser.close();
})();

ipipgo的代理服务全协议支持，无论是HTTP、HTTPS还是SOCKS5协议，你都可以根据上述方法灵活配置，确保网络请求的稳定和安全。

Playwright代理IP集成实战

Playwright的代理配置更加模块化，通常在创建浏览器上下文（Browser Context）时指定，这使得管理多个代理会话变得轻而易举。

基础代理设置

以下代码展示了如何为Playwright的浏览器上下文设置代理。

const { chromium } = require('playwright');
(async () => {
  const browser = await chromium.launch({ headless: false });
  
  // 创建一个使用代理的浏览器上下文
  const context = await browser.newContext({
    proxy: {
      server: 'http://123.45.67.89:8000' // 代理服务器地址
      // 如果不需要认证，则不需要填写username和password
    }
  });
  
  const page = await context.newPage();
  await page.goto('https://httpbin.org/ip');
  console.log(await page.content());
  await browser.close();
})();

高级用法：为不同上下文设置不同代理

Playwright的强大之处在于可以轻松创建多个独立的浏览环境，每个环境使用不同的代理IP。这对于数据采集和测试场景非常关键。

const { chromium } = require('playwright');
(async () => {
  const browser = await chromium.launch();
  
  // 代理IP列表，例如从ipipgo获取的多个高质量住宅IP
  const proxyList = [
    'http://ip1:port1',
    'http://ip2:port2',
  ];
  
  for (let i = 0; i < proxyList.length; i++) {
    const context = await browser.newContext({
      proxy: { server: proxyList[i] }
    });
    const page = await context.newPage();
    // 每个页面都使用独立的IP进行操作
    await page.goto('https://example.com');
    // ... 执行你的任务
    await context.close(); // 关闭上下文，清理资源
  }
  
  await browser.close();
})();

利用ipipgo提供的海量全球住宅IP资源，你可以轻松实现这种轮换代理的模式，有效避免因频繁访问同一目标网站而触发的反爬机制。

常见问题与解决方案（QA）

Q1: 设置了代理后，Puppeteer/Playwright启动失败或无法打开网页，如何排查？

A1: 检查代理服务器的IP地址和端口是否正确无误。确认你的网络环境能够访问该代理服务器（例如通过`curl -x [proxy-server] http://httpbin.org/ip`测试）。如果代理需要认证，请确保用户名和密码正确。对于ipipgo的用户，可以优先尝试其提供的免费试用IP进行连接测试，确保代码逻辑正确。

Q2: 如何验证代理是否真正生效？

A2: 最直接的方法是让浏览器访问显示当前ip地址的网站，如`http://httpbin.org/ip`或`https://ip.ipipgo.com/`。如果返回的IP地址是代理服务器的IP，而非你本机的公网IP，则证明代理已成功生效。

Q3: 在Playwright中，为什么建议在Browser Context层面设置代理，而不是Browser层面？

A3: 在Browser层面设置代理（通过启动参数）意味着整个浏览器实例的所有流量都走同一个代理，缺乏灵活性。而在Browser Context层面设置，则允许你在一个浏览器实例内创建多个完全隔离的会话（类似于多个独立的隐身浏览器窗口），每个会话可以使用不同的代理、Cookie存储和缓存，这对于模拟多用户行为或进行并行任务至关重要。

Q4: 遇到网站检测到自动化脚本或代理IP怎么办？

A4: 这通常是由于浏览器指纹被检测或代理IP质量不高所致。解决方案包括：1) 使用Playwright或Puppeteer的 stealth 插件来隐藏自动化特征；2) 至关重要的一点是使用高质量、纯净的住宅代理IP。例如，ipipgo提供的家庭住宅IP来自于真实的家庭网络环境，行为特征与普通用户无异，能极大降低被识别和封锁的风险。可以结合随机化User-Agent、模拟鼠标移动等行为来进一步伪装。

国外IP代理推荐：
IPIPGO|全球住宅代理IP（>>>点击注册免费测试<<<）
国内ip代理推荐：
天启|全国240+城市代理IP（>>>点击注册免费测试<<<）