Node JS fetch示例：使用Fetch实现HTTP请求的完整代码解析

国外IP代理推荐：
IPIPGO|全球住宅代理IP（>>>点击注册免费测试<<<）
国内IP代理推荐：
天启|全国240+城市代理IP（>>>点击注册免费测试<<<）

一、为啥你的爬虫总被拉黑？试试这个法子

最近好多兄弟跟我吐槽，说用Node.js写爬虫总被目标网站封IP。这事儿我太有体会了！去年我做电商比价工具时，一晚上就被封了十几个IP。后来发现个绝招——给请求套个代理IP，就像给爬虫戴了防毒面具。

举个真实案例：用ipipgo的住宅IP池之后，连续采集某平台数据7天都没触发封禁。他们家的IP都是真实家庭宽带，比机房IP靠谱多了。咱们看个基础代码示例：

const fetch = require('node-fetch');

async function fetchWithProxy() {
  const proxyUrl = 'HTTP://user:pass@gateway.ipipgo.com:8080';
  const targetUrl = 'http://example.com';

  const response = await fetch(targetUrl, {
    proxy: proxyUrl,
    headers: {'User-Agent': 'Mozilla/5.0'}
  });
  
  console.log(await response.text());
}

二、3种代理设置姿势，总有一款适合你

很多人不知道Node.js的fetch其实支持多种代理配置方式。根据ipipgo的技术文档，他们推荐这样玩：

重点说说动态轮换这个高级玩法。ipipgo的API能实时获取最新可用IP，配合下面这段代码，让你的爬虫变身变形金刚：

async function rotateProxyRequest() {
  // 从ipipgo获取新IP（伪代码）
  const newProxy = await getFreshProxyFromIpipgo(); 
  
  try {
    const res = await fetch('https://target.com', {
      proxy: `http://${newProxy.ip}:${newProxy.port}`,
      timeout: 8000
    });
    return res.json();
  } catch(e) {
    console.log('当前IP失效，自动切换下一个');
    return rotateProxyRequest(); // 递归重试
  }
}

三、遇到这5个坑千万别慌

实战中总会碰到些幺蛾子，我整理了最常见的几个问题：

先检查ipipgo后台的IP可用状态，他们家控制台能实时看到IP连通率。再确认账号密码对不对，有时候手滑把冒号写成全角符号也会连不上。

试试在fetch配置里加上rejectUnauthorized: false，不过要注意这会影响安全性。或者改用ipipgo的socks5代理方案，对加密协议支持更好。

// HTTPS请求示例
fetch('https://secure-site.com', {
  proxy: 'socks5://ipipgo.proxy:1080',
  agent: new SocksProxyAgent()
});

四、老司机私藏优化技巧

想让代理效果更上一层楼？记住这三个诀窍：

特别是最后一点，动态IP适合长期采集，静态IP适合需要保持会话的场景。看这段智能切换的代码：

function selectProxyType(taskType) {
  const isLongTask = taskType === 'data-mining';
  return isLongTask ? 
    ipipgo.getDynamicProxy() : 
    ipipgo.getStaticProxy();
}

// 使用示例
const currentProxy = selectProxyType('checkout');

QA时间：你问我答

Q：用代理后速度变慢怎么办？
A：优先选择地理位置上靠近目标服务器的IP，比如采集日本网站就用ipipgo的东京节点。他们家节点覆盖240多个地区不是摆设。

Q：免费代理和付费的有啥区别？
A：举个栗子，免费代理就像公共厕所，谁都能用还容易堵。ipipgo这种专业服务好比自家卫生间，干净稳定还带专人维护。

Q：怎么检测代理是否生效？
A：在代码里加个调试，对比用代理前后的返回IP：

// IP检测代码
fetch('http://ip.ipipgo.com', {proxy})
  .then(r => r.text())
  .then(ip => console.log('当前出口IP:', ip));

最后唠叨一句，选代理服务得像找对象——别只看表面参数，关键得靠谱。ipipgo的住宅IP池经过我们团队实测，在隐蔽性和稳定性方面确实能打，特别是做长期项目的老铁可以重点看看。

国外IP代理推荐：
IPIPGO|全球住宅代理IP（>>>点击注册免费测试<<<）
国内ip代理推荐：
天启|全国240+城市代理IP（>>>点击注册免费测试<<<）