python: BytesIO 中 read 用法,想实现的效果:在后台
python: BytesIO 中 read 用法,想实现的效果:在后台
在用 Flask 写一个项目,后台管理用的插件暂时是 flask-admin。想实现的效果:在后台管理页面中,把提交到后端的图片不保存在 static 文件夹下面,而是通过后端代码把这个文件对象上传到 AWS 的 S3中存储。
通过flask-admin 上传到后端的文件对象的类型是:
FileStorage # werkzeug.datastructures.FileStorage
# flask 中的 request.files 获取到的类型也是 FileStorage
所以先从提交到后端的 form 表单中获取到该文件对象,例如为: img_obj。 现在刚需要把类型为 FileStorage 的 img_obj 转化为 file-like object (AWS S3 boto3 中的 upload_fileobj 接口需要这样的参数)。转化的过程用到了 shutil 的copyfileobj 和 BytesIO, 如下:
from shutil import copyfileobj
temp_file = BytesIO()
copyfileobj(img_obj.stream, temp_file) # img_obj.stream 应该是能获取到对象中的数据流; 然后把 imb_obj 中的数据流copy到 temp_file 中
然后,问题来了。 利用下面的 S3 upload_fileobj接口把文件上传到 S3后,对应的文件一直都是 0 比特。
代码如下:
from shutil import copyfileobj
temp_file = BytesIO()
copyfileobj(img_obj.stream, temp_file)
client.upload_fileobj(temp_file, "bucket-name", Key="static/%s" % img_obj.filename) # 利用这个接口把文件上传到服务器后一直都是0比特
查询资料发现原因。
我们先来看下 shutil.copyfileobj 的源码:
'''
学习中遇到问题没人解答?
小编创建了一个Python学习交流群:711312441
'''
def copyfileobj(fsrc, fdst, length=16*1024):
"""copy data from file-like object fsrc to file-like object fdst"""
while 1:
buf = fsrc.read(length)
if not buf:
break
fdst.write(buf)
"""
从上述代码的最后一行看,fdst.write(buf) ,此时写“文件”的游标已经到“文件”的最后
"""
我们再来看下面有关 BytesIO 的的一些用法:
In [1]: from io import BytesIO
In [2]: f = BytesIO()
In [3]: f.write(b'abc') # 把byte 写入到 f 中,此时 游标已经到f的最后位置
Out[3]: 3
In [4]: f.read() # 由于此时游标是从f 的 最后的位置开始 read,那么后面的内容肯定是空
Out[4]: b''
In [5]: f.tell()
Out[5]: 3 # 说明游标是在f最后的位置
In [6]: f.seek(0) # 利用 seek(0) 把游标的位置放到f的 0 位置处
Out[6]: 0
In [7]: f.read() # 此时再 read 就能看到全部内容
Out[7]: b'abc'
"""
getvalue() 是获取全部内容;
read() 是从游标的当前位置往后读
"""
所以上面问题的原因也是:
copyfileobj 中的 fdst.write(buf) 写完后,此时游标在“文件”最后一个位置;而由于 S3 的 upload_fileobj 接口中的第一个参数是file-like object, 而且upload_fileobj会调用 这个 file-like object 的 read() 方法,read 出来的内容会上传到 S3 上。 所以,解决办法就是利用 seek(0) 把游标位置再次放到 0 处
正确代码如下:
from shutil import copyfileobj
temp_file = BytesIO()
copyfileobj(img_obj.stream, temp_file)
temp_file.seek(0) # 让游标回到0处
client.upload_fileobj(temp_file, "bucket-name", Key="static/%s" % img_obj.filename)
或者直接把利用 FileStorage 的 stream 属性把文件上传到 S3,代码如下:
client.upload_fileobj(img_obj.stream, "bucket-name", Key="static/%s" % img_obj.filename)
相关内容
- Python第三方模块:pymongo模块的用法,首先需要连接数据
- matplot画网格线分层级的用法,所以如果可以把精度设
- Python 中 yeild 的用法,生成器是一种特殊类型
- Python丨tkinter开发常用的29种功能用法(建议码住),本
- < Python全景系列-3 > Python控制流程盘点及高级
- Python中文分词库——jieba的用法,由于中文文本之间每
- python中shutil和shutil库的用法,1.复制文件或目录s
- Django笔记十九之manager用法介绍,比如我们在前面的笔记
- Django笔记十七之group by 分组用法总结,用到的Model如下
- scoket用法,它定义了一种标准的接
评论关闭