最好是换种方式实现,不要通过网页进行采集.
可以非常简单的在数据库的表,创建一个采集队列,后台执行一个crontab的计划任务,去完成队列里的采集任务.
php处理数据时会有一个等待时间,就是所说的超时时间,而且如果使用mysql的话,它也有一个超时时间,运行一串代码时间如果超过配置文件的时间,会被中断不运行.第一种你可以修改php配置文件timeout的运行时间,第二你可以分批处理大量数据,注意是分批处理,就OK了.
我用PHP写了下面的延时代码,主要用来作为BAT文件调用进行倒计时:
php?
//批处理延时工具
set_time_limit(0);
$v=$argv[1]◆0;
while($v0){
sleep($v$n?$n:$v);
$v-=$n;
}
else?echo?"使用方法:\nsleep.php?演示秒数";
$s='';
$s.=$v;
return?$s;
mysql_query函数查询的方式是查询出全部结果后缓存到内存中,这样就会出现超内存的现象,使用另外一个函数mysql_unbuffered_query可以解决这个问题,mysql_unbuffered_query不会缓存结果集,而是查询出来数据后立马对结果集进行操作,也就是便查询边返回,这样就不会出现超出内存的现象,但是使用mysql_unbuffered_query的是时候不能使用 mysql_num_rows() 和 mysql_data_seek().并且向 MySQL 发送一条新的 SQL 查询之前,必须提取掉所有未缓存的 SQL 查询所产生的结果行.例如:
使用缓存结果集的代码:
function selecttest()
{
try {
// 不使用缓存结果集方式
// $pdo-setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
$sth = $pdo-prepare('select * from test');
$sth-execute();
echo '最初占用内存大小:' . memory_get_usage() . "\n";
$i = 0;
while ($result = $sth-fetch(PDO::FETCH_ASSOC)) {
$i ◆= 1;
if ($i 10) {
break;
sleep(1);
print_r($result);
echo '占用内存大小:' . memory_get_usage() . "\n";
} catch (Exception $e) {
echo $e-getMessage();
执行时将会报超出内存的错误:
Call Stack:
将上面代码中的$pdo-setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);一行的注释去掉后将不在缓存结果集,这时运行该函数的结果如下:
Array
(
[id] = 1
[a] = v
[b] = w
[c] = i
)
[a] = b
[b] = l
[c] = q
[a] = m
[b] = p
[c] = h
[a] = j
[b] = i
[c] = b
以上就是土嘎嘎小编为大家整理的php定时器大量处理数据相关主题介绍,如果您觉得小编更新的文章只要能对粉丝们有用,就是我们最大的鼓励和动力,不要忘记讲本站分享给您身边的朋友哦!!