Node.js示例网站代理怎么设？全场景网络请求转发配置教程

国外IP代理推荐：
IPIPGO|全球住宅代理IP（>>>点击注册免费测试<<<）
国内IP代理推荐：
天启|全国240+城市代理IP（>>>点击注册免费测试<<<）

Node.js中设置HTTP代理的两种基础方法

在Node.js里，想让你的网络请求通过指定的代理IP出去，主要有两种直接的方式：修改环境变量和使用请求库的内置支持。我们先从最基础的讲起。

方法一：设置系统级环境变量

在启动你的Node.js脚本之前，先在命令行终端里设置一下环境变量。这种方法对很多底层的HTTP请求库都有效，因为它设定了整个进程的网络出口规则。

 在linux/macOS终端中
export HTTP_PROXY=http://用户名:密码@代理服务器地址:端口
export HTTPS_PROXY=http://用户名:密码@代理服务器地址:端口
node your_script.js

 在Windows命令提示符中
set HTTP_PROXY=http://用户名:密码@代理服务器地址:端口
set HTTPS_PROXY=http://用户名:密码@代理服务器地址:端口
node your_script.js

这里的“代理服务器地址:端口”就需要替换成你所使用的代理ip服务商提供的信息。比如，如果你使用的是ipipgo，他们提供的住宅IP资源覆盖全球240多个国家和地区，你可以在后台获取到对应国家城市的代理服务器地址和端口。这种方式简单粗暴，但不够灵活，无法针对不同请求使用不同的代理。

方法二：在代码中为单个请求设置代理

更常见的做法是在你使用的HTTP请求库中直接配置。以最常用的`axios`库为例，你可以为一次请求指定一个代理。

const axios = require('axios');

const agent = new require('https-proxy-agent')('http://用户名:密码@代理服务器地址:端口');

axios.get('https://你的目标网站.com', {
  httpsAgent: agent,
  httpAgent: agent 
})
.then(response => {
  console.log(response.data);
})
.catch(error => {
  console.error(error);
});

这种方式的好处是精准控制，你可以为A请求使用一个美国的IP，为B请求换成一个日本的IP。这对于需要模拟不同地区用户行为的场景非常有用。ipipgo提供动态和静态住宅IP选择，动态IP适合需要高频更换IP的场景，静态ip则适用于需要稳定会话的任务。

实战：为不同场景配置全局请求转发

光会单个请求设置还不够，实际项目中我们往往需要管理大量到不同目标的请求，手动为每个请求设置代理太麻烦。这时，一个全局的、自动的代理转发配置就非常必要了。

我们可以使用 `global-agent` 这个库来实现类似环境变量的效果，但完全在Node.js代码中控制，更加灵活。

安装依赖：

npm install global-agent

然后，在你的项目入口文件（如app.js）的顶部进行全局配置：

const { bootstrap } = require('global-agent');

// 设置代理地址，这里以ipipgo的代理服务器为例
process.env.GLOBAL_AGENT_HTTP_PROXY = 'http://用户名:密码@gateway.ipipgo.com:端口';

// 启动全局代理
bootstrap();

配置完成后，你这整个Node.js应用发出的绝大多数HTTP/HTTPS请求都会自动通过指定的代理ip进行。你可以基于业务逻辑，动态地修改 `GLOBAL_AGENT_HTTP_PROXY` 这个环境变量的值，从而实现整个应用代理IP的动态切换。

高级技巧：按规则条件式使用代理

有时候我们不想让所有请求都走代理，比如访问内网服务时应该直连。`global-agent` 允许我们设置排除规则。

process.env.GLOBAL_AGENT_HTTP_PROXY = 'http://用户名:密码@gateway.ipipgo.com:端口';
// 设置不需要走代理的域名，多个用逗号隔开
process.env.GLOBAL_AGENT_NO_PROXY = '.internal.company.com,localhost,127.0.0.1';

bootstrap();

这样，所有发往 `.internal.company.com` 等内网地址的请求都会绕过代理直接连接，而访问外部网站的请求则会通过ipipgo的代理IP发出。这种配置在混合网络环境下非常实用。

爬虫与数据采集场景的代理ip池实战

对于网络爬虫或大规模数据采集项目，使用单个代理IP很容易被目标网站封禁。这时就需要构建一个“代理IP池”，让请求在不同的IP之间轮换，模拟真实用户行为。

下面是一个简化的示例，展示如何结合`axios`和`https-proxy-agent`，从一个IP列表里随机选择代理来发送请求。

const axios = require('axios');
const HttpsProxyAgent = require('https-proxy-agent');

// 模拟从ipipgo获取的多个代理IP列表（实际中可能通过API动态获取）
const proxyList = [
  'http://用户1:密码1@gateway-us.ipipgo.com:端口',
  'http://用户2:密码2@gateway-jp.ipipgo.com:端口',
  'http://用户3:密码3@gateway-uk.ipipgo.com:端口',
  // ... 更多代理IP
];

function getRandomProxyAgent() {
  const proxyUrl = proxyList[Math.floor(Math.random()  proxyList.length)];
  return new HttpsProxyAgent(proxyUrl);
}

async function fetchWithRandomProxy(url) {
  try {
    const agent = getRandomProxyAgent();
    const response = await axios.get(url, {
      httpsAgent: agent,
      httpAgent: agent,
      timeout: 10000, // 设置超时
      headers: { // 设置合理的请求头，模拟浏览器
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
      }
    });
    console.log(`请求成功！本次使用的代理IP来自池中`);
    return response.data;
  } catch (error) {
    console.error(`请求失败: ${error.message}`);
    // 失败后可以重试，或者标记该代理IP暂时不可用
    return null;
  }
}

// 使用示例
fetchWithRandomProxy('https://目标数据网站.com');

在这个例子中，每次调用 `fetchWithRandomProxy` 函数，都会从IP池中随机挑选一个代理来发起请求。这极大地降低了因IP被封锁而导致采集中断的风险。ipipgo拥有9000万+家庭住宅IP资源，能够轻松支撑起大规模、高并发的代理IP池需求，并且全协议支持，无论是HTTP还是HTTPS请求都能顺畅进行。

常见问题与解决方案（QA）

Q1: 配置了代理，但Node.js请求报错，提示"无法建立隧道连接"或"代理认证失败"？

A1: 这通常有几个原因：

• 代理地址、端口、用户名或密码错误： 请仔细检查你从代理服务商（如ipipgo）后台复制的信息是否完整无误。特别注意特殊字符是否需要URL编码。
• 代理服务器本身不可用： 即使是高质量的代理服务也可能偶发故障。可以尝试换一个同一服务商提供的其他IP地址测试。
• 网络防火墙限制： 确保你的服务器或本地网络环境允许连接到代理服务器的指定端口。

Q2: 使用代理后，请求速度变慢了很多，怎么办？

A2: 速度变慢是使用代理的常见情况，因为数据需要经过代理服务器中转。可以从以下方面优化：

• 选择地理位置上更近的代理节点： 如果你的目标网站在美国，那么选择ipipgo提供的美国住宅IP，通常会比选择一个欧洲的IP速度更快。
• 检查代理IP的类型： 高质量的住宅IP（如ipipgo提供的）通常比数据中心IP的优先级更高，可能带来更好的速度和质量。
• 连接复用： 确保你的HTTP客户端启用了keep-alive来复用TCP连接，避免每次请求都建立新的隧道，可以显著提升速度。

Q3: 如何处理HTTPS请求 over http代理？

A3: 你不需要做额外的工作。像 `https-proxy-agent` 这样的库已经处理了这个问题。当你通过一个HTTP代理发送HTTPS请求时，客户端会先通过HTTP的`CONNECT`方法让代理建立一条到目标服务器的隧道，然后之后的HTTPS数据都会通过这条隧道加密传输。代理服务器无法解密你的HTTPS内容，这保证了数据的安全性。你只需要确保你的代理服务商支持HTTPS协议转发即可，ipipgo的全协议支持完全可以满足这一点。

国外IP代理推荐：
IPIPGO|全球住宅代理IP（>>>点击注册免费测试<<<）
国内ip代理推荐：
天启|全国240+城市代理IP（>>>点击注册免费测试<<<）