python下高效支持大数据量database2 exce的解决方案,database2exce,大家好。小弟目前需要一个
python下高效支持大数据量database2 exce的解决方案,database2exce,大家好。小弟目前需要一个
大家好。小弟目前需要一个速度较好,且支持大数据量的数据库导出至excel(xlsx)的方案
小弟的机器配置不高,4核的CPU,可用内存在8G左右(不过是虚拟机,可能性能实际还要低一点)
小弟之前尝试过以下几种方案
openpyxl:大数据量情况下经常会吃光内存。实验生成100W条/每条6个字段的数据,经常会把小弟这8G内存吃满。生成excel时间大概在10分钟~11分钟左右
pyexcel_xlsx:貌似这部分引用的还是openpyxl的东东…不过貌似有一定的优化,生成生成100W条/每条6个字段的数据,消耗内存近3G,时间在8分半左右
这两个方案效率都非常低,而且小弟目前都没有找到中途将内存写入文件的方法…
请各位大大指点,是否还有其他的方案,最好是能够控制单次写入条数,例如每写入5W条,进行一次提交,将内存的东东写在文件中并释放内存,再继续写入这样的。(这样也许可以考虑配合多线程来进行并行写入,加快效率…)
谢谢各位了
pandas有分块读取的功能,关键词chunsize
df = pd.read_csv("xxxx",chunsize=10000)
可以去研究下文档:http://pandas.pydata.org/pand...
编橙之家文章,
相关内容
- 新手对python default不是很理解它有什么用途,pythondefa
- 如何在python scrapy中带cookie进行访问?,pythonscrapy,简单
- python urllib2.HTTPError: HTTP Error 400: Bad Request 出错,,新手这
- 两个py文章互相引用时报Exception'module' object has no attri
- 需要一些不是固定的IP VPN账号去哪找,vpn账号,请问哪里
- 为什么Python打包整数得到二进制字符串,python二进制
- Python最轻量代码实现WIKI内链接方法,pythonwiki,不管用什
- 请python高手帮我看段正则匹配的问题,python段正,re_qb
- Python 命令调用密码传参问题求教,python,目前我遇到一
- Python统计中英文字数函数源码请帮助修改,,需求:统计
评论关闭