Python擅长处理特别大的文件吗,python擅长处理,Python处理文件只能
Python擅长处理特别大的文件吗,python擅长处理,Python处理文件只能
Python处理文件只能处理前14500行?
我用Python 2.6版和Python 3.2版处理数据。数据比较大,是写在一个.txt文件里。
我用Python处理这个.txt文件,我发现一个问题,我的Python只能处理前14500行!
比如我用shutil.copyfile把这个.txt文件拷贝到另外一个地方,我发现新文件只复制了原文件的前14568行。
比如我用f_in.read().splitlines()读取这个.txt文件,我发现只能读到原文件的前14492行。
是Python不能处理特别大的文件么?
谢谢!
尝试配合使用yield和read([size])
def read_in_chunks(file_object, chunk_size=1024): """Lazy function (generator) to read a file piece by piece. Default chunk size: 1k.""" while True: data = file_object.read(chunk_size) if not data: break yield dataf = open('really_big_file.dat')for piece in read_in_chunks(f): process_data(piece)
http://stackoverflow.com/questions/519633/lazy-method-for-reading-big-...
可以用readlines(),返回生成器。
for line in open('file','r').readlines(): print(line)
文件大的时候可以用read([size])指定大小,然后联系读取。
编橙之家文章,
相关内容
- 新手Python算法统计list及tuple应用有什么好方法,python
- django较多数据传递如何优雅的呈现,django较多传递,最近
- 不用跳转方法如何实现手机站与pc站之间的无缝切换,
- python3中文输出报UnicodeEncodeError错误,如何解决,,代码
- Python字典操作的问题,要删除字典内部重复值item操作方
- python如何缩短cmd中过长的命令,python缩短cmd过长,比如我
- python if not不同应用有什么区别,pythonifnot区别,python 中
- 新手问题Python字符转义/使用,新手python字符转义,比如
- Python多维元组与列表转换的问题,python多维列表转换
- Python对JS型数据抓取有什么特别好的方法吗,pythonjs型抓
评论关闭