Python 实现不写硬盘上传文件

引言

当开发一个接收客户端文件上传并转发至对象存储（OSS）的 API 时，常见的做法是先保存文件到本地磁盘，再上传至 OSS。这种方案效率较低。

同样，若开发截图服务并将截图上传至 OSS，先写入硬盘再上传的做法也并非最优解。

本文将介绍一种更高效的方法，避免中间磁盘读写步骤。

文本类型处理

可以使用 io.StringIO 类在内存中创建文本流对象。

import io
from loguru import logger
file_like_obj = io.StringIO("hahaha")
logger.debug(file_like_obj)
logger.debug(type(file_like_obj))
logger.debug(getattr(file_like_obj,'read'))
logger.debug(file_like_obj.read())

运行上述代码后，输出结果如下：

2022-07-11 21:23:51.206 | DEBUG | __main__:<module>:8 - <_io.StringIO object at 0x100323eb0> 2022-07-11 21:23:51.206 | DEBUG | __main__:<module>:9 - <class '_io.StringIO'> 2022-07-11 21:23:51.206 | DEBUG | __main__:<module>:10 - <built-in method read of _io.StringIO object at 0x100323eb0> 2022-07-11 21:23:51.206 | DEBUG | __main__:<module>:11 - hahaha

另一个示例展示了如何使用上下文管理器处理内存流：

import io
from loguru import logger
file_like_obj = io.StringIO("hahaha")
with file_like_obj as f:
    logger.debug(f.read())

其输出结果如下：

2022-07-11 21:35:04.620 | DEBUG | __main__:<module>:9 - hahaha

二进制类型处理

对于二进制数据，可以使用 io.BytesIO 类创建内存字节流。

使用 requests 库将字符串模拟为文件进行上传

以下代码展示了标准的通过文件句柄上传文件的方式：

import requests
import io
response = requests.post('http://localhost:5000/', files={
    'file': open('纵观人类文明史.txt', 'r', encoding='utf-8')
})
print(response.text)

若希望将内存中的字符串直接作为文件内容上传，而不经过硬盘写入，可以将 open('纵观人类文明史.txt', 'r', encoding='utf-8') 替换为内存流对象。直接写入硬盘会导致额外的两次磁盘读写操作，效率低下。通过内存流，可以直接将字符串按文件形式上传。

参考文档

https://docs.python.org/zh-cn/3/library/io.html#io.StringIO

以上即为 Python 实现不写硬盘上传文件的详细内容，更多关于 Python 不写硬盘上传文件的资料请关注本站其它相关文章！