对于那些知道如何使用它的人,CURL是一个功能强大的工具。现在开始学习如何通过代理路由您的CURL请求。
您喜欢使用CURL吗?如果我告诉您可以使用这些代理屏蔽您的真实IP地址,那么您可以一致地访问和传输数据怎么办?如果您有兴趣学习如何完成这项工作,那么本文就是为您撰写的。
尽管Curl在开发人员中很受欢迎,但许多用户不知道如何使用代理,这已经不再是新闻了。这与以下事实有关:随着使用其他通过网络访问数据的方式,CURL的流行程度正在逐渐降低。
什么是CURL?
CURL库是用于使用各种网络协议传输数据的命令行实用工具。该词是“客户端URL”的缩写。如果您很难理解这个解释,只需将其视为允许您通过Internet提取数据的库即可。一些开发人员使用它来访问API点。该工具最初是为拉动IRC用户的外汇汇率而开发的。首次发布时,它被称为urlget。在采用当前名称之前,该名称后来更改为httpget。该工具由瑞典开发人员Daniel Stenberg开发。
该工具支持大量的网络协议。它是便携式的,并且可以在许多平台上运行,包括Microsoft Windows、Solaris、macOS、Android、ios,以及许多其他10多种操作系统。它也可用许多编程语言提供,包括C / C ++、Python、java和PHP。
如何设置CURL以使用代理
设置代理使用CURL实际上很容易。在向您展示如何进行设置之前,我需要告知您大多数Windows和macOS设备已预安装CURL。您需要做的就是利用它。要使用带有CURL的代理,所需的只是CURL语法中的一个变量。您使用的变量取决于您要使用的身份验证类型。
IP认证
如果您使用代理,则可以使用其他类型的代理协议,包括HTTP和Socks4/5,
http:// https:// socks4:// socks5:// socks4a:// socks5h://
什么是HTTP代理?
什么是Socks代理?
许多代理服务提供商允许其用户通过将其设备的真实ip地址与他们打算使用的代理一起列入白名单来进行身份验证。使用此设置后,无需再次使用用户名和密码进行身份验证。就CURL语法而言,此方法是最简单的。要使用的命令是-x命令或-proxy命令。完整命令如下所示。
Curl -x [proxy protocol][:port]
例如,假设您要使用123.45.34.32:4325代理,并且已经使用代理将真实设备的IP列入了白名单,那么您要做的就是键入以下命令。
Curl -x 123.45.34.32:4325 https://ipinfo.io
最后一个命令不是该命令的一部分,对于设置代理,它是对显示网站的IP地址的请求,该网站显示了用户用于访问Internet的IP地址。它在那里,您可以实际测试代理设置是否起作用。记住,我说过除了-x命令,您也可以使用-proxy命令。
用户名和密码认证
尽管IP身份验证似乎是最简单的方法,但身份验证的用户名和密码形式仍然是业界最主要的。虽然大多数提供程序都提供用户名和密码身份验证。如果要使用用户名和密码进行身份验证,则除了-x命令外,还必须引入-U命令。
Curl -U [username:password] -x [proxy protocol][:port]
使用上面使用的相同虚拟代理端口和地址,我们创建一个文本命令
Curl -U [user12:oapwe] -x 123.45.34.32:4325 https://ipinfo.io
是的,它非常简单,现在您知道如何为私有代理或专用IP代理使用Curl。现在有很多用于IP旋转的付费Proxy API,下面让我展示一下您如何使用它。
Curl Proxy API代码
Luminati Proxy API
curl --proxy zproxy.lum-superproxy.io:22225 --proxy-user lum-customer-usernam:password "http://lumtest.com/myip.json"
Crawlera API
$ curl http://httpbin.org/get \ -U 77409f72fe0c4a3e8413654411de0380: \ -x proxy.crawlera.com:8010
Scraperapi Proxy API
curl "http://api.scraperapi.com?api_key=3ff1f5e97ipipgo91859ac99608ipipgo414be23&url=http://httpbin.org/ip"
curl "http://api.scraperapi.com?api_key=3ff1f5e97ipipgo91859ac99608ipipgo414be23&url=http://httpbin.org/ip"
Curl在互联网营销中的使用
事实是,Curl不再像以前那样流行。与过去不同的是,许多开发人员将其整合到他们开发的系统中。这是因为有其他选择。
当开发人员现在需要测试其API端点的功能时,他们可以使用Postman或其他GUI工具进行此操作。有些人会选择使用像wget这样的简单工具来代替复杂的curl。但是,仍然有很多互联网营销商在使用它。
当前,除某些高端系统外,curl库在Internet营销中的主要用途是测试。通常,在使用代理进行Web抓取和其他自动化活动之前,需要对代理进行测试以确定其功能。Curl用于此。
结 论
通过上面的内容,您可以看出使用代理通过curl访问Web端点实际上很容易。使用的命令很容易记住。但是,我认为是时候使用其它更好的工具了。
发表评论
发表评论: