正确使用HTTP代理的方式
原创
互联网的大数据时代，网络爬虫的工作离不开大数据。在我们使用网络过程中，肯定遇到过访问网站IP受限这种问题。其实不是你的IP出现了问题，而是对方因为目标网站的服务器的限制，限制了多次注册，多次访问，才会限制本地IP。如果想一直访问目标网站，这时候可以利用隧道转发的爬虫代理加强版来上网，隧道转发爬虫代理加强版使用起来非常简单。
当然网上的免费代理IP也同样可以使用，免费代理IP的获取方式非常简单，直接通过网络搜索，然后网络爬虫编程一个程序来筛选可用的IP，免费的代理IP虽然很多，但是也只适合业务较小的用户，对IP质量要求不高的用户，如果是网络爬虫或者是需求量大的用户，公司用户 就免费代理IP完全不行。不仅会影响业务的进展，爬虫效果也不会稳定。
对于大工作量的爬虫来说，效率是第一位的，只有高效率才能在有限的时间里，完成大量的工作。要提高效率，则必须要高质量稳定的代理IP像公司企业对IP需求量大的网络爬虫用户，完全可以使用隧道转发的爬虫代理加强版，来提高业务的进展，加强业务的稳定性，不仅节约了业务时间，也能保证代理的正常运行，满足的大量客户的需求。
<?php
namespace App\Console\Commands;
use Illuminate\Console\Command;
class Test16Proxy extends Command
{
/**
* The name and signature of the console command.
*
* @var string
*/
protected $signature = 'test:16proxy';
/**
* The console command description.
*
* @var string
*/
protected $description = 'Command description';
/**
* Create a new command instance.
*
* @return void
*/
public function __construct()
{
parent::__construct();
}
/**
* Execute the console command.
*
* @return mixed
*/
public function handle()
{
$client = new \GuzzleHttp\Client();
// 要访问的目标页面
$targetUrl = "http://httpbin.org/ip";
// 代理服务器(产品官网 www.16yun.cn)
define("PROXY_SERVER", "t.16yun.cn:31111");
// 代理身份信息
define("PROXY_USER", "username");
define("PROXY_PASS", "password");
$proxyAuth = base64_encode(PROXY_USER . ":" . PROXY_PASS);
$options = [
"proxy" => PROXY_SERVER,
"headers" => [
"Proxy-Authorization" => "Basic " . $proxyAuth
]
];
//print_r($options);
$result = $client->request('GET', $targetUrl, $options);
var_dump($result->getBody()->getContents());
}
}
?>原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
评论
登录后参与评论
推荐阅读
相关产品与服务
云服务器
云服务器（Cloud Virtual Machine，CVM）提供安全可靠的弹性计算服务。 您可以实时扩展或缩减计算资源，适应变化的业务需求，并只需按实际使用的资源计费。使用 CVM 可以极大降低您的软硬件采购成本，简化 IT 运维工作。
腾讯云开发者
