最好是换种方式实现,不要通过网页进行采集.
可以非常简单的在数据库的表,创建一个采集队列,后台执行一个crontab的计划任务,去完成队列里的采集任务.
性能指标,无非时间复杂度和空间复杂度.决定性能的,只有算法和硬件.而且解释型语言并不存在真正的数据结构,所以,只能从算法上优化.
应该是你的数据库配置限制了内存使用量导致的.建议查找下相关mysql配置资料.
直接倒序取一部分,如果可以就应该是配置的问题.
如果慢的话要考虑字段优化
问题需要具体.不铭感的话可以把数据发来我调试一下看看.
你说的写文件是个思路.如果你只是要求某一个字段是唯一,可以把这个存在内存中,每次进行验证.然后把验证通过的数据写入文件,最后在统一从文件中读出来存入数据库.
但是又会出现个问题.如果你是10万条数据在文件里,你要是想用一个INSERT插入,那必须得先把这数据读到内存里,肯定也很慢,而且不稳定.如果你逐条读出插入,对数据库也是个消耗.不过你可以把数据拆散,比如每1000条插一次.
检查下 php.ini 文件中的限制
upload_max_filesize
post_max_size
如果超出你提交的文件大小,就改大一些
改了之后重启 apache!
批量插入,
用php把数据生成sql语句,然后导入数据库,(推荐)
以上就是土嘎嘎小编为大家整理的php循环10万数据相关主题介绍,如果您觉得小编更新的文章只要能对粉丝们有用,就是我们最大的鼓励和动力,不要忘记讲本站分享给您身边的朋友哦!!