如何使用 Python 和 FastAPI 处理文件上传
安全地处理文件上传是现代应用程序的常见需求,但它也面临着挑战。从管理大型文件到确保内容不是恶意的,开发人员必须实施强大的解决方案。在本指南中,我们将介绍如何使用 python 的 fastapi 来处理文件上传。另外,我们将向您展示如何集成 verisys antivirus api 来扫描文件中是否存在恶意软件,从而保护您的应用程序和用户。
注意:要遵循本教程,您将需要以下内容: 您的机器上安装了 python 3.7+ python和fastapi基础知识 文本编辑器或轻量级 ide,例如 visual studio code
为什么选择 fastapi?
fastapi 是一个现代的 python web 框架,使您能够快速构建 api。它基于标准 python 类型提示构建,使其更易于使用和维护。凭借对异步请求处理的内置支持,它也是高性能应用程序的理想选择。
与 verisys antivirus api 相结合,fastapi 可帮助您构建安全的文件上传端点,这对于处理潜在不安全文件的任何 web 或移动应用程序至关重要。
项目脚手架/设置
第一步是创建一个 python 环境,准备好我们将用于 fastapi 项目的库。
打开终端或命令提示符,然后导航到要存储项目的目录
创建并激活虚拟环境
-
安装 fastapi、uvicorn 和 python-multipart:
pip install fastapi uvicorn python-multipart
-
在本教程中,我们还将使用请求库将上传的文件发送到 verisys antivirus api 进行恶意软件扫描:
pip install requests
创建 fastapi 应用程序
让我们首先设置一个接受文件上传的简单 fastapi 应用程序。创建一个包含以下内容的文件 main.py:
from fastapi import fastapi, file, uploadfile import uvicorn import logging logger = logging.getlogger('uvicorn.error') logger.setlevel(logging.debug) app = fastapi() @app.post("/upload/") async def upload_file(file: uploadfile = file(...)): content = await file.read() # print information about the file to the console logger.debug(f"file name: {file.filename}") logger.debug(f"file size: {len(content)}") logger.debug(f"file mime type: {file.content_type}") # return information about the file to the caller - note that the # content_type can easily be spoofed return {"filename": file.filename, "file_size": len(content), "file_mime_type": file.content_type} if __name__ == "__main__": uvicorn.run(app, host="0.0.0.0", port=8000)
启动 fastapi 应用程序
要使用 uvicorn web 服务器运行 api,请从与 main.py 相同的文件夹中执行以下命令:
uvicorn main:app --reload
--reload 标志允许服务器在我们更改代码时自动重新加载,这在开发过程中很有帮助。
uvicorn 启动后,您将看到指示应用程序正在运行的输出,以及可访问该应用程序的 url。默认情况下,它将运行在:
http://127.0.0.1:8000
测试 api
要测试基本的文件上传功能,您可以简单地使用curl,也可以使用postman或insomnia等工具。
这是一个使用curl的示例,其中包含文件testfile.png(替换您要上传的任何文件):
curl -f "file=@testfile.png" http://127.0.0.1:8000/upload/
您应该看到类似于以下内容的结果:
{ "filename":"testfile.png", "file_size":26728, "file_mime_type":"image/png" }
集成 verisys 防病毒 api
上传文件只是一个开始,但确保上传的文件不含恶意软件至关重要,尤其是在接受来自最终用户的文件时。 verisys antivirus api 允许我们在进一步处理文件之前扫描文件。
verisys antivirus api 是一种与语言无关的 rest api,可让您轻松地将恶意软件扫描添加到移动应用程序、web 应用程序和后端处理中。
通过扫描用户生成的内容和文件上传,verisys antivirus api 可以在危险恶意软件到达您的服务器、应用程序或最终用户之前将其阻止在边缘。
以下是如何集成 verisys antivirus api 来扫描上传的文件:
获取您的 verisys api 密钥:在我们开始之前,请确保您拥有 verisys antivirus api 密钥。如果您没有,请访问 verisys antivirus api 开始使用或申请试用。
将文件发送到 verisys antivirus api:收到文件后,将其发送到 verisys api 进行扫描。
使用以下内容更新 main.py:
from fastapi import fastapi, file, uploadfile import uvicorn import requests import logging verisys_api_url = "https://eu1.api.av.ionxsolutions.com/v1/malware/scan/file" api_key = "your_api_key" logger = logging.getlogger('uvicorn.error') logger.setlevel(logging.debug) app = fastapi() class scanresult: def __init__(self, filename="", status="", content_type="", signals=none, metadata=none): self.filename = filename self.status = status self.content_type = content_type self.signals = signals if signals is not none else [] self.metadata = metadata if metadata is not none else [] def __repr__(self): return f"scanresult(filename={self.filename},status={self.status}, content_type={self.content_type}, signals={self.signals}, metadata={self.metadata})" def scan_file(file_content, filename): files = {'file': (filename, file_content)} headers = {'x-api-key': api_key, 'accept': '*/*'} response = requests.post(verisys_api_url, headers=headers, files=files) # was the scan successful? if response.status_code == 201: result = response.json() # print the full scan result to the console logger.debug(f"scan result: {result}") scan_result = scanresult( filename=filename, status=result["status"], content_type=result["content_type"], signals=result["signals"], metadata=result["metadata"] ) return scan_result else: return scanresult(status="error", metadata=[{"message": "failed to scan file"}]) @app.post("/upload/") async def upload_file(file: uploadfile = file(...)): content = await file.read() # print information about the file to the console logger.debug(f"file name: {file.filename}") logger.debug(f"file size: {len(content)}") logger.debug(f"file mime type: {file.content_type}") # scan file with verisys api scan_result = scan_file(content, file.filename) # in real-life, you'd now use the scan result to determine what to do # next - but here, we'll just return the scan results to the caller return scan_result if __name__ == "__main__": uvicorn.run(app, host="0.0.0.0", port=8000)
在此修改版本中,文件上传后,会传递到 scan_file 函数,该函数将文件发送到 verisys antivirus api 进行扫描。来自 verisys 的响应作为结果的一部分返回,指示该文件是安全的还是恶意的。
测试完整的 api
要测试文件上传和扫描功能,与以前一样,您可以使用curl或您喜欢的其他工具。
这是一个使用curl的示例,带有eicar防病毒测试文件eicar.png(替换您要上传的任何文件):
curl -f "file=@eicar.png" http://127.0.0.1:8000/upload/
根据您上传的文件,您应该会看到恶意软件扫描结果:
{ "filename": "eicar.png", "status": "threat", "content_type": "text/plain", "signals": [ "Virus:EICAR_Test_File" ], "metadata": { "hash_sha1": "3395856ce81f2b7382dee72602f798b642f14140", "hash_sha256": "275a021bbfb6489e54d471899f7db9d1663fc695ec2fe2a2c4538aabf651fd0f" } }
您的上传端点可以使用扫描结果来确定下一步要做什么 - 例如,防止上传包含恶意软件的文件。
请注意,虽然在此示例中文件伪装成 png 图像文件,但 verisys antivirus api 检测到它实际上是纯文本文件!
安全处理文件上传
以下是一些确保您的文件上传系统安全的额外提示:
限制文件大小:确保您不接受过大的文件,这可能会导致性能问题甚至 dos 攻击。 fastapi 允许您定义自定义文件大小限制。
限制文件类型:仅接受特定文件类型(例如 pdf、图像),以防止上传可执行文件或恶意文件。
{{% 旁注 %}}
检查文件扩展名和内容类型标头是确保文件上传安全的基本步骤。然而,这两者都很容易被欺骗。
通过扫描实际文件内容,verisys antivirus api 可以为您识别 50 多种不同的文件格式,同时还扫描文件是否存在恶意软件。
{{% /旁注 %}}
检查文件扩展名和 content-type 标头是确保文件上传安全的基本步骤。然而,这两者都很容易被欺骗。
通过扫描实际文件内容,verisys antivirus api 可以为您识别 50 多种不同的文件格式,同时还扫描文件是否存在恶意软件。
为什么选择 verisys 防病毒 api?
verisys antivirus api 专门设计用于确保应用程序中文件上传的安全。这就是为什么它非常适合您的项目:
- 强大的恶意软件检测:verisys 可以检测各种威胁,确保没有恶意文件漏网。
- 轻松集成:该 api 可以轻松与任何 web 框架集成,包括 fastapi。
- 内容类型检测:除了恶意软件扫描之外,api 还会扫描文件内容以确定真实 文件类型。
结论
处理文件上传对于许多应用程序来说至关重要,但必须采取措施确保安全。通过使用 fastapi 和 verisys antivirus api,您可以创建一个安全的文件上传端点,在进一步处理文件之前扫描文件是否存在恶意软件。无论您是构建 web 应用程序还是用于文件存储的 api,此方法都可以确保您的基础架构和用户免受有害文件的侵害。
如果您还没有,请立即注册 verisys antivirus api 并开始保护您的应用程序免受恶意软件的侵害!
本教程的代码可以在 github 上找到:https://github.com/ionxsolutions/tutorial-file-uploads-fastapi