大量小文件存储提高效率要点详解,文件存储提高效率,如果是文件数量不多,
大量小文件存储提高效率要点详解,文件存储提高效率,如果是文件数量不多,
在WEB开发中经常会遇到写文件的情况,最常见的莫过于保存图片文件。如果是文件数量不多,那我们完全没有必要担心其效率问题。但是当你有大量的用户,大量的图片的时候,我们怎么存储图片文件,就会直接影响整个图片存储系统的效率。
通常,有一种说法是:如1个目录下有10000个子文件,那么读取某个文件的速度将会明显下降。那这种说法到底正确不正确呢?下面我们来看一下:
问:为什么单目录下子文件过多会影响性能?如1个目录下有10000个子文件,那么读取某个文件的速度将会明显慢下来?这和文件索引有关吗?索引中如何组织这些节点?
答:是的,与索引有关。1w个不算多。上百万个就看出来了。但是建议不要超过10000个。
问:上百万个慢是文件系统整体吧,那么和当前目录怎么关系上呢?一个差不多的文件系统支持几百万个文件不算什么
答:我是说一个目录下,不分子目录,直接放他几十万上百万的文件,此时检索这个目录索引很费资源。
支持数量有限是因为目录这个对象本身容纳的大小有被限制,目录就是一个容纳文件名和文件对应inode号的容器,被限制了,那么容纳的条目也就被限制了。
读取某个文件速度没影响。但是查找就费劲了。某些文件系统的索引机制不完善,甚至没有什么优化算法,致使每次查找耗费更多的时间。
从上面的问答我们可以知道,“如1个目录下有10000个子文件,那么读取某个文件的速度将会明显下降。”的说法是对的。那如何分目录呢?
其实也比较简单,可以按月份分,hash分,时间加hash组合分,至于用哪种方法,那就要看你的项目需求了。。。
相关内容
- 如何让python变得更快?,python变得,比如下面的斐波纳契
- Python判断上传文件类型,python上传文件类型,本文为大家
- Python文件读写详解及设置文件的字符编码,,一. python打
- Python处理pdf文件库 - PyPDF2详解,,官方地址:http:
- Python读取大文件的"坑“与内存占用检测,pytho
- Python判断对象是否为文件对象(file object)的三种方法,
- Python文件关闭机制详解,python机制详解,未经许可,禁止
- c,c++,java,python,ruby实现将文件读入数组的,pythonruby,c实现
- python遍历目录树代码,python历目录树,from os.path
- Python删除指定目录下的过期文件,,import osimp
评论关闭