python处理小文件读写并行的一些疑惑，python读写,我有大量的小文件需要处理

你的小文件是在同一磁盘上吗？你对每个小文件的「处理」是很快就能完成的操作吗？——如果不是，单线程单进程吧，瓶颈不在那里。

如果不确定，先单线程单进程，看 CPU 能跑满不。

写过多线程python处理小文件的程序大概4w多个html文件

印象里似乎多线程也没有怎么变快，甚至还慢了一点……推测下来是小文件的IO瓶颈太大而不是处理速度

你把这些小文件用BLOB写到一个NOSQL数据库里，然后来处理可能多线程上会有优势

大量小文件处理速度还是很快的，关键是磁盘的读写。

所以 1 2 3 效果不明显。