从爬虫基本要求来看：
抓取：抓取最基本就是拉网页回来,所以第一步就是拉网页回来,慢慢会发现各种问题待优化；
存储：抓回来一般会用一定策略存下来,可以选择存文件系统开始,然后以一定规则命名.
分析：对网页进行文本分析,可以用认为最快最优的办法,比如正则表达式；
展示：要是做了一堆事情,一点展示输出都没有,如何展现价值.
①.、国内ADSL是王道,多申请些线路,分布在多个不同的电信区局,能跨省跨市更好,自己写好断线重拨组件,自己写动态IP追踪服务,远程硬件重置（主要针对ADSL猫,防止其宕机）,其余的任务分配,数据回收~
设置查询频率限制
正统的做法是调用该网站提供的服务接口.
①. user agent 伪装和轮换
友情提示：考虑爬虫给人家网站带来的负担,be a responsible crawler
尽可能的模拟用户行为：
①.、UserAgent经常换一换；
① 对爬虫抓取进行压力控制；
-降低抓取频率,时间设置长一些,访问时间采用随机数
-频繁切换UserAgent（模拟浏览器访问）
-多页面数据,随机访问然后抓取数据
-更换用户IP
curl实现页面抓取,设置cookie可以实现模拟登录
simple_html_dom 实现页面的解析和DOM处理
如果想要模拟浏览器,可以使用casperJS.用swoole扩展封装一个服务接口给PHP层调用
今天这一节有一套爬虫系统就是基于上述技术方案实现的,每天会抓取几千万个页面.
创建一个新cURL资源
设置URL和相应的选项
抓取URL并把它传递给浏览器
关闭cURL资源,并且释放系统资源
代码案例：
本文承接上面两篇,本篇中的示例要调用到前两篇中的函数,做一个简单的URL采集.一般php采集网络数据会用file_get_contents、file和cURL.不过据说cURL会比file_get_contents、file更快更专业,更适合采集.今天就试试用cURL来获取网页上的所有链接.示例如下：
php
/*
*/
include_once('function.php');
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, '');
// 只需返回HTTP header
curl_setopt($ch, CURLOPT_HEADER, 1);
// 页面内容我们并不需要
// curl_setopt($ch, CURLOPT_NOBODY, 1);
// 返回结果,而不是输出它
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$html = curl_exec($ch);
$info = curl_getinfo($ch);
if ($html === false) {
echo "cURL Error: " . curl_error($ch);
}
curl_close($ch);
$linkarr = _striplinks($html);
// 主机部分,补全用
$host = '';
if (is_array($linkarr)) {
foreach ($linkarr as $k = $v) {
$linkresult[$k] = _expandlinks($v, $host);
printf("p此页面的所有链接为：/ppre%s/pren", var_export($linkresult , true));
function.php内容如下（即为上两篇中两个函数的合集）：
function _striplinks($document) {
preg_match_all("'s*as.*?hrefs*=s*(["'])?(?(1) (.*?)\1 | ([^s]+))'isx", $document, $links);
// catenate the non-empty matches from the conditional subpattern
if (!empty($val))
$match[] = $val;
// return the links
return $match;
/*===================================================================*
Function:_expandlinks
Purpose:expand each link into a fully qualified URL
Input:$linksthe links to qualify
$URIthe full URI to get the base from
Output:$expandedLinksthe expanded links
*===================================================================*/
function _expandlinks($links,$URI)
{
$URI_PARTS = parse_url($URI);
$host = $URI_PARTS["host"];
preg_match("/^[^?]+/",$URI,$match);
$match = preg_replace("|/[^/.]+.[^/.]+$|","",$match[0]);
$match = preg_replace("|/$|","",$match);
$match_part = parse_url($match);
$match_root =
$match_part["scheme"]."://".$match_part["host"];
$search = array( "|^http://".preg_quote($host)."|i",
"|^(/)|i",
"|^(?!http://)(?!mailto:)|i",
"|/./|",
"|/[^/]+/../|"
);
$replace = array("",
$match_root."/",
$match."/",
"/",
"/"
$expandedLinks = preg_replace($search,$replace,$links);
return $expandedLinks;
直接用Curl就行,具体爬取的数据可以穿参查看结果,方法不区分淘宝和天猫链接,但是前提是必须是PC端链接,另外正则写的不规范,所以可以自己重写正则来匹配数据.
以上就是土嘎嘎小编为大家整理的php处理爬虫数据相关主题介绍,如果您觉得小编更新的文章只要能对粉丝们有用,就是我们最大的鼓励和动力,不要忘记讲本站分享给您身边的朋友哦！！