PHP抓取网站源码绕过反爬虫机制，并分析数据结构
很多网站都有反爬虫机制，我先直接用guzzle试试水。
代码如下：
<?php
require ('./vendor/autoload.php');
use QL\QueryList;
//进入网页
$jar = new \GuzzleHttp\Cookie\CookieJar;
$client = new GuzzleHttp\Client(['cookies' => true]);
$ql = $client->request('GET', 'https://www.目标.com', ['cookies' => $jar
]);
if($ql->getStatusCode()!=200){
echo '网站状态不正常';die;
}
echo $ql->getBody();
目标站直接拦截了，进了跳转页面，我试试加个浏览器头文件，再试试。
修改后的header如下：
$ql = $client->request('GET', 'https://www.百度.com', [
'cookies' => $jar,
'headers' => [
'Accept-Encoding' => 'gzip, deflate, br',
'Accept' => 'text/html,application/xhtml xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
'Accept-Language' => 'zh-CN,zh;q=0.9,en;q=0.8',
'Cache-Control' => 'no-cache',
'Connection' => 'keep-alive',
'User-Agent' => 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
]
]);
我测试了下，网站打开了。但是，输入关键词，并搜索,结果发现被安全拦截了，所以我感觉直接用GuzzleHttp搞不动，于是我继续我的神器：jaeger/querylist和jaeger/querylist-puppeteer。
安装步骤：
1.安装依赖
在这之前，要先启用php的proc_open函数，否则无法安装完整
composer install jaeger/querylist
composer install jaeger/querylist-puppeteer
安装教程 http://www.tugaga.com/jishu/php/1162.html
2.安装nodejs
yum install nodejs
这个如果是WIN系统直接到官网去下载一个WIN安装包 下一步下一步即可
3.安装npm（执行完上面2步这个都已经装完了）
4.安装@nesk/puphpeteer （切换到你网站目录 cd d:/wwwroot，然后运行）
npm install @nesk/puphpeteer
5.PHP启用proc_open （到PHP.INI 搜索这个 把他从禁止里面去掉）
代码如下：
<?php
require ('./vendor/autoload.php');
use QL\QueryList;
use QL\Ext\Chrome;
$ql = QueryList::getInstance();
// 注册插件，默认注册的方法名为: chrome
$ql->use(Chrome::class);
$ql->chrome(function ($page,$browser) {
$page->goto('https://www.百度.com');
// 这里故意设置一个很长的延长时间，让你可以看到chrome浏览器的启动
sleep(3);
//输入关键词
$wd = '土嘎嘎技术网';
$page->type("input[id='kw']",$wd);
sleep(1);
//点击搜索
$page->click("input[type='submit']");
//等待搜索结果
sleep(3);
//获取结果
$html = $page->content();
//用jquery选择器抽取结果
$rules = array(
'title'=>['#content_left h3 a','text'],//标题
'url'=>['#content_left h3 a','href'],//跳转网址
'description'=>['div .c-abstract','text'],//描述
);
$ql = QueryList::html($html);
$rt = $ql->rules($rules)->query()->getData();
//如果有需要，可以把$rt入库，以及做其他操作
sleep(10);
$browser->close();
// 返回值一定要是页面的HTML内容
return $html;
},['headless' => false, // 启动可视化Chrome浏览器,方便调试'devtools' => false, // 打开浏览器的开发者工具
])->find('title')->text();
$rt是我的结果集合
搞定收工