Node.js网页抓取教程：在Node.js中配置代理IP进行采集

国外IP代理推荐：
IPIPGO|全球住宅代理IP（>>>点击注册免费测试<<<）
国内IP代理推荐：
天启|全国240+城市代理IP（>>>点击注册免费测试<<<）

为什么网页抓取需要代理IP？

当你用Node.js写了个爬虫程序，兴致勃勃地去采集数据时，可能会发现程序跑着跑着就停了，或者目标网站直接返回一个错误页面。这往往是因为你的请求过于频繁，触发了对方服务器的反爬虫机制。简单来说，你用一个IP地址在短时间内发出大量请求，就像同一个人不停地敲门，主人自然会起疑心，甚至直接把你拒之门外。

这时候，代理ip就派上用场了。它的核心作用就是帮你更换网络出口的ip地址。想象一下，你有一串钥匙（代理ip池），每次敲门都用不同的钥匙，这样对于门后的主人（目标网站）来说，每次来的都是不同的访客，从而大大降低了被识别和封锁的风险。这对于需要大规模、长时间稳定采集数据来说，几乎是必备的方案。

Node.js中配置代理IP的几种方法

在Node.js生态中，根据你使用的HTTP请求库不同，配置代理IP的方式也略有差异。下面我们以最常用的axios和node-fetch为例，看看具体怎么操作。

方法一：使用axios配置代理

axios是Node.js里非常流行的HTTP客户端。如果你使用的是付费代理IP（比如需要认证的），可以这样配置：

确保安装了axios：npm install axios

然后，在你的代码中：

const axios = require('axios');

// 假设你的代理IP信息如下（以ipipgo的代理为例）
const proxyConfig = {
  host: 'gateway.ipipgo.com', // 代理服务器地址
  port: 8080, // 代理端口
  auth: {
    username: 'your-username', // 通常是你的订单号或API密钥
    password: 'your-password' // 你的密码
  }
};

async function fetchWithProxy() {
  try {
    const response = await axios.get('https://httpbin.org/ip', {
      proxy: proxyConfig
    });
    console.log('成功获取数据，当前IP为：', response.data.origin);
  } catch (error) {
    console.error('请求失败：', error.message);
  }
}

fetchWithProxy();

这段代码的核心在于proxy这个配置项。axios会通过你指定的代理服务器去发起请求，目标网站看到的是代理服务器的IP地址，而不是你本机的真实IP。

方法二：使用node-fetch配置代理

如果你更喜欢使用node-fetch（或其最新版本），配置代理需要借助一个辅助包，比如https-proxy-agent。

安装必要的包：npm install node-fetch https-proxy-agent

代码示例：

const fetch = require('node-fetch');
const { HttpsProxyAgent } = require('https-proxy-agent');

// 构建代理地址字符串，格式为：http://用户名:密码@代理服务器:端口
const proxyUrl = 'http://your-username:your-password@gateway.ipipgo.com:8080';
const agent = new HttpsProxyAgent(proxyUrl);

async function fetchWithProxy() {
  try {
    const response = await fetch('https://httpbin.org/ip', { agent });
    const data = await response.json();
    console.log('成功获取数据，当前IP为：', data.origin);
  } catch (error) {
    console.error('请求失败：', error.message);
  }
}

fetchWithProxy();

这里的关键是创建了一个HttpsProxyAgent实例，并在fetch的选项里传入。这种方式非常灵活，适用于各种基于fetch的请求。

构建一个简单的IP轮换池

只用一个代理IP是不够的，聪明的做法是使用一个IP池，让程序自动轮换。这能进一步提升采集的稳定性和效率。我们可以基于ipipgo提供的代理IP服务来构建一个简单的池子。

ipipgo这样的专业服务商通常会提供一个API接口，让你能动态获取一批可用的代理IP列表。下面是一个简化版的轮换池实现思路：

class SimpleProxyPool {
  constructor() {
    this.proxyList = []; // 用于存放代理IP列表
    this.currentIndex = 0;
  }

  // 模拟从ipipgo的API获取代理IP列表（实际使用时需替换为真实API地址）
  async refreshProxyList() {
    try {
      // 这里调用ipipgo的API获取IP列表
      // const response = await fetch('https://api.ipipgo.com/your-proxy-endpoint');
      // this.proxyList = await response.json();

      // 假设我们从API获取到了如下格式的IP列表
      this.proxyList = [
        { host: 'gw1.ipipgo.com', port: 8080, username: 'user1', password: 'pass1' },
        { host: 'gw2.ipipgo.com', port: 8080, username: 'user1', password: 'pass1' },
        { host: 'gw3.ipipgo.com', port: 8080, username: 'user1', password: 'pass1' }
        // ... 更多IP
      ];
      console.log(`代理池已更新，当前共有 ${this.proxyList.length} 个IP`);
    } catch (error) {
      console.error('更新代理池失败：', error);
    }
  }

  // 从池中获取下一个代理配置（简单轮询）
  getNextProxy() {
    if (this.proxyList.length === 0) {
      throw new Error('代理池为空，请先调用 refreshProxyList 方法');
    }
    const proxy = this.proxyList[this.currentIndex % this.proxyList.length];
    this.currentIndex++;
    return proxy;
  }
}

// 使用示例
const proxyPool = new SimpleProxyPool();
await proxyPool.refreshProxyList();

// 每次请求前，从池子里拿一个代理
const currentProxy = proxyPool.getNextProxy();
const axiosConfig = {
  proxy: {
    host: currentProxy.host,
    port: currentProxy.port,
    auth: {
      username: currentProxy.username,
      password: currentProxy.password
    }
  }
};
// ... 然后用axiosConfig发起请求

这个池子的核心是refreshProxyList方法（从服务商获取IP列表）和getNextProxy方法（轮询获取一个IP）。在实际项目中，你还可以增加IP有效性验证、根据响应速度选择IP等更复杂的功能。

选择优质代理IP服务的要点

不是所有代理IP都适合网页抓取。选择服务时，要重点关注以下几点：

IP纯净度与类型：高质量的住宅IP（如ipipgo提供的家庭宽带IP）比数据中心IP更难被识别和封锁，因为它们来自真实的家庭网络环境，行为更像普通用户。

IP池规模与覆盖范围：池子越大，IP数量越多，轮换空间就越大，长期稳定性越高。像ipipgo拥有9000万+住宅IP资源，覆盖全球240多个国家和地区，这意味着你可以模拟来自世界不同地区的访问，满足各种地理定位需求。

协议支持与稳定性：确保服务商支持HTTP/HTTPS乃至socks5等多种协议，并且连接稳定，延迟低，成功率有保障。

易用性与技术支持：提供清晰的API文档、获取IP的接口，以及及时的技术支持，能让你在集成过程中少走弯路。

常见问题与解决方案（QA）

Q1：配置了代理，但请求失败，提示连接超时或认证失败？

A：请逐一检查：代理服务器的地址、端口、用户名和密码是否完全正确（注意大小写）。确认你的网络环境是否能正常连接到代理服务器。可能是该代理IP暂时不可用，尝试换一个IP或联系服务商确认服务状态。

Q2：刚开始采集正常，但过了一会儿就被封了，即使用了代理IP？

A：这可能是由于：1. 单个IP的请求频率还是太高，需要降低请求速度或增加IP池的规模，让每个IP的使用间隔更长。2. 代理IP的质量问题，某些IP可能已被目标网站标记。建议使用像ipipgo这样提供高纯净度住宅IP的服务商，并确保有足够大的IP池用于轮换。

Q3：如何处理需要Cookie或Session保持的网站？

A：这种情况下，你需要确保在同一个会话内（处理一系列连续操作时）使用同一个代理IP。可以在你的爬虫逻辑中，为每个会话（Session）绑定一个固定的代理IP，直到该会话任务结束再释放该IP回池。

Q4：代理IP会影响抓取速度吗？

A：会。因为请求需要经过代理服务器中转，必然会增加一些网络延迟。选择优质的服务商（服务器性能好、网络线路优）可以最大限度地降低这种延迟。合理的并发控制（不要一次性发出太多请求）也能避免因代理服务器负载过高导致的速度下降。

国外IP代理推荐：
IPIPGO|全球住宅代理IP（>>>点击注册免费测试<<<）
国内ip代理推荐：
天启|全国240+城市代理IP（>>>点击注册免费测试<<<）