首页 › 教程频道› php教程 › 查看内容

一次性读掏出所有数据和limit分批读出数据哪个好

作者：模板之家 2020-3-29 12:34 116人关注

一次性读取出所有数据和limit分批读出数据哪个好啊在采集时，比如数据库有10万条记录url是列表页面的网址1、一次性从数据库读出这10万条url，然后foreach进行采集2、先limit10条，foreach,一次性读掏出所有数据和lim ...

一次性读取出所有数据和limit分批读出数据哪个好啊
在采集时，比如数据库有10万条记录url 是列表页面的网址

1、一次性从数据库读出这10万条url，然后foreach进行采集
2、先limit10条， foreach采集完，再读取数据库limit，不断重复

一般用哪种方法啊？

------解决方案--------------------
采集和分析分离么？
如果一边采集一边分析就分批
如果分离就一次，当然看机器承受能力
------解决方案--------------------
如果你內存允許,為什麼不一次讀出呢
------解决方案--------------------
10万条一次读取很快的，用limit是怎么想出来的，多麻烦，也不会提高效率。
------解决方案--------------------
这个要加limit干嘛，又不是数据库查询。能提高什么效率么。
------解决方案--------------------
一般我会建议分批读取。如果一定要对一个大数据集进行统计，那么最好的方法是在服务器端用存储过程进行统计后返回统计结果。虽然说，目前网络速度和稳定性都大幅提高，能在服务器端做的就在服务器端做一般而言总是一个不会错的做法。

不过按照你描述的场景，你需要对服务器端10万个网址进行采集，那么我建议你还不如在当地保存一个该数据库的缓存，可能会更好。
------解决方案--------------------
10万条数据，一次性读取，没什么问题，关键是你采集程序效率怎么样。

路过

雷人

握手

鲜花

鸡蛋

原作者: 互联网来自: 网络收集

上一篇：类似中关村在线，或者太平洋汽车多属性搜索是如何做的，怎样的思路

下一篇：PHP透过数据库进行模糊查询

		自动登录	找回密码
密码			立即注册

搜索本站精品资源

一次性读掏出所有数据和limit分批读出数据哪个好

全部回复(0)

相关分类