AWSLambda怎么执行python脚本部署
深入浅出讲解 AWS Lambda 执行 Python 脚本的完整部署流程,涵盖控制台极简部署、含第三方依赖的 Zip 打包与 Lambda Layer 分层解耦、执行角色与超时配置及常见报错排查。
一、核心认知:Lambda 是如何执行 Python 脚本的
传统服务器部署 Python 脚本时,通常依赖常驻进程或系统级定时任务(如 crontab)。而在 AWS Lambda 这类无服务器(Serverless)架构中,底层基础设施完全托管,计费仅以执行毫秒数结算。
为了让托管容器准确调用我们的脚本,Lambda 要求开发者指定一个执行入口,称为 Handler(处理程序)。
1. Handler 命名格式与参数解构
默认情况下,Lambda 控制台预置的 Handler 标识符为:
lambda_function.lambda_handler
该表达式由两部分构成,以英文句号分隔:
- 文件名(模块名):前面的
lambda_function对应你的脚本文件名lambda_function.py(去掉.py后缀)。若你的主脚本名为app.py,则应改为app.xxx。 - 入口函数名:后面的
lambda_handler对应脚本内定义的接收事件请求的函数名称。
入口函数的标准签名包含两个必选形参:
def lambda_handler(event, context):
# 业务逻辑代码
return {
"statusCode": 200,
"body": "Execution completed successfully."
}
event(字典类型):触发该函数时传递的入参数据。如果是 API 网关触发,它包含 HTTP 头、请求体、Query 参数;如果是定时调度触发,它通常包含调度规则的元数据。context(对象类型):AWS 运行时自动注入的上下文对象,提供本次执行的运行时信息,例如通过context.get_remaining_time_in_millis()可以获取脚本在超时前剩余的执行毫秒数。
二、方法一:控制台 5 步极简部署(适用于无三方依赖脚本)
如果你的 Python 脚本仅依赖 Python 标准库(如 json、urllib.request、datetime、math、re 等)或 AWS 内置的 SDK(boto3),直接使用 AWS 控制台的内置 Cloud9 网页编辑器是最快捷的操作方式。
第 1 步:在 AWS 控制台创建 Lambda 函数
- 登录 AWS 管理控制台,在顶部搜索栏输入 Lambda 并进入服务页面。
- 点击右上角的 创建函数 (Create function) 按钮。
- 选择 从头开始创作 (Author from scratch)。
- 函数名称 (Function name):输入字母、数字或连字符组成的名称,例如
my-daily-crawler。 - 运行时 (Runtime):在下拉菜单中选择推荐的稳定版本,例如
Python 3.12或Python 3.11。 - 架构 (Architecture):保持默认的
x86_64;若需更高的性价比,也可选择arm64(AWS Graviton 处理器)。 - 权限 (Permissions):默认选择“创建具有基本 Lambda 权限的新角色”,系统会自动附加向 Amazon CloudWatch Logs 写入日志的执行策略。
- 点击页面底部的 创建函数 (Create function)。
第 2 步:在在线代码编辑器中编写业务逻辑
创建成功后,页面会自动跳转至该函数的详情页。在 代码 (Code) 选项卡中,可以看到一个嵌入式的在线代码编辑器,左侧文件树中存在一个默认的 lambda_function.py。
双击打开该文件,清空默认代码,将你的脚本逻辑按 Handler 结构整理填入:
import json
import urllib.request
import logging
# 初始化标准日志记录器
logger = logging.getLogger()
logger.setLevel(logging.INFO)
def lambda_handler(event, context):
logger.info("收到触发事件: %s", json.dumps(event))
# 示例:使用标准库发起 HTTP GET 请求
target_url = event.get("url", "https://httpbin.org/get")
try:
req = urllib.request.Request(target_url, headers={"User-Agent": "AWS-Lambda-Python"})
with urllib.request.urlopen(req, timeout=5) as response:
content = response.read().decode("utf-8")
logger.info("请求成功,响应数据长度: %d", len(content))
return {
"status": "success",
"url": target_url,
"data_sample": content[:120]
}
except Exception as exc:
logger.error("执行发生异常: %s", str(exc), exc_info=True)
return {
"status": "failed",
"error": str(exc)
}
第 3 步:核对并确认运行时设置 (Runtime settings)
在编辑器区域下方,找到 运行时设置 (Runtime settings) 面板:
- 核对 处理程序 (Handler) 字段的值是否为
lambda_function.lambda_handler。 - 如果你在左侧重命名了主文件(例如改名为
task_runner.py),或者入口函数名被你改为了run,则必须点击右侧的 编辑 (Edit) 按钮,将处理程序修改为task_runner.run,否则运行时会报HandlerNotFound错误。
第 4 步:点击 Deploy 保存并发布代码
在在线编辑器上方,找到黄色的 Deploy (部署) 按钮。
在控制台编辑代码后,若未点击 Deploy,所有更改仅保存在浏览器临时草稿中,云端不会生效。点击后若看到绿色横条提示 Successfully updated the function,即代表代码部署完毕。
第 5 步:配置测试事件并验证执行
- 切换到 测试 (Test) 选项卡。
- 在“测试事件动作”中保持勾选“创建新事件”,输入事件名称(例如
test_event_1)。 - 在“事件 JSON”框中填入测试数据:
{ "url": "https://httpbin.org/ip" } - 点击右上角的 测试 (Test) 按钮。
- 在下方展开的 执行结果 (Execution result) 中查看状态是否为
succeeded,并可直接阅读日志输出与执行耗时。
三、方法二:包含第三方依赖库时的部署方案
现实开发中,绝大多数 Python 脚本都需要引入第三方库(例如 requests、pandas、bs4、pydantic 等)。AWS Lambda 运行环境中默认仅安装了 Python 基础运行包和 boto3,如果直接在控制台执行 import requests,会抛出 Runtime.ImportModuleError: No module named 'requests' 错误。
解决外部依赖有两种主流方案:单体 Zip 压缩包直接上传 与 AWS Lambda Layer(分层解耦)。
方案 A:构建单体 Zip 压缩包(适合独立小项目)
该方案将你的脚本文件与第三方库直接安装到同一目录下,整体打包成一个 .zip 上传。
本地打包步骤(以 Linux / macOS 终端为例):
# 1. 创建干净的工作目录
mkdir my-lambda-project && cd my-lambda-project
# 2. 编写 requirements.txt
echo "requests==2.31.0" > requirements.txt
# 3. 将第三方依赖直接下载安装到当前目录的 package 文件夹中
pip install --target ./package -r requirements.txt
# 4. 将业务脚本放入 package 文件夹中
cp /path/to/your/lambda_function.py ./package/
# 5. 进入 package 目录并将所有内容直接打包到根部
cd package
zip -r ../deployment_package.zip .
cd ..
必须直接在包含 lambda_function.py 和 requests 文件夹的目录下执行压缩,确保打开 zip 包后直接暴露文件,而不是在 zip 根目录下包含一个外层文件夹 package/。若存在外层文件夹,Lambda 在根路径下无法找到入口模块。
上传部署方式:
- 控制台上传:在 Lambda 函数页面的 Code 区域,点击右上角 Upload from (上传自) -> .zip file,选择刚刚生成的
deployment_package.zip,点击保存即可。 - AWS CLI 命令行一键上传:
aws lambda update-function-code --function-name my-daily-crawler --zip-file fileb://deployment_package.zip
方案 B:构建 AWS Lambda Layer 分层部署(推荐最佳实践)
单体 Zip 包存在一个明显缺点:一旦打包了第三方库,压缩包通常超过 3MB,控制台将无法再在线查看和编辑脚本代码;而且后续修改脚本逻辑,哪怕只改动一行代码,也必须全量重新上传几十兆的依赖包。
Lambda Layer(分层) 将公用依赖与业务代码解耦。Lambda 容器在启动时会自动将挂载的 Layer 挂载到容器的 /opt 路径下,并自动把 /opt/python 添加到系统的 sys.path 中。
1. 本地制作 Layer 依赖压缩包:
# 必须使用固定的 python 目录名称
mkdir -p my-layer/python
cd my-layer
# 将依赖安装至 python 目录下
pip install requests -t python/
# 压缩整个 python 目录
zip -r requests-layer.zip python
cd ..
2. 发布 Layer 并挂载至函数:
- 在 Lambda 控制台左侧导航栏,点击 层 (Layers) -> 创建层 (Create layer)。
- 填写层名称,如
requests-lib。 - 选择“上传 .zip 文件”,上传
requests-layer.zip。 - 兼容架构选择
x86_64或arm64,兼容运行时选择Python 3.12,点击创建。 - 回到你的函数详情页,滑动至页面最底部 层 (Layers) 区域,点击 添加层 (Add a layer)。
- 选择 自定义层 (Custom layers),选中刚刚创建的
requests-lib及其最新版本,点击添加。
完成挂载后,你的业务代码中直接写入 import requests 即可顺畅运行,且主函数代码仅几 KB,依然可以在网页控制台随时查看与快速修改。
四、生产运行必备关键配置项
在真实业务场景中,Python 脚本经常会处理网络爬虫、数据清洗、跨系统 API 调用或批量文件处理任务,默认的基础配置往往会导致函数执行失败。部署完成后必须检查并调整以下 4 项关键参数:
| 配置项 | 默认值 | 推荐调整与说明 |
|---|---|---|
| 超时时间 (Timeout) | 3 秒 | Lambda 默认 3 秒超时对于网络调用极易超载中断。进入 配置 -> 常规配置,根据接口实际耗时修改为 30 秒至 3 分钟(最大支持 15 分钟)。 |
| 内存大小 (Memory) | 128 MB | Lambda 的 CPU 算力与所选内存成正比。若脚本涉及复杂数据运算(如 pandas),128MB 会导致运行缓慢甚至 OOM 崩溃,建议调整至 512MB~1024MB。 |
| 环境变量 (Env Vars) | 无 | 严禁将 API 密钥、数据库连接串硬编码在脚本中。在 配置 -> 环境变量 中定义,代码中通过 os.environ.get('KEY') 安全获取。 |
| IAM 执行角色 (Role) | 基础日志写入 | 如果 Python 脚本需要读写 AWS S3、DynamoDB 或发送 SQS 消息,必须在 IAM 控制台中为该执行角色添加对应的权限策略。 |
若你的本地电脑是 Apple Silicon (M1/M2/M3),其默认 CPU 架构为 ARM64。如果你安装了包含 C/C++ 动态链接库的包(例如 numpy、cryptography、psycopg2),直接在本地 pip install 并在 x86_64 的 Lambda 上运行会导致 invalid ELF header 或无法导入模块。解决方案为:在创建 Lambda 时选择 arm64 架构,或在本地使用官方 Docker 镜像 public.ecr.aws/sam/build-python3.12 进行依赖编译打包。
五、部署路径选择与总结清单
通过以上分析,我们可以归纳出一份清晰的部署路径选择策略:
- 轻量级自动化 / 简单巡检:无三方依赖时,直接在 控制台在线编写,配合 EventBridge 设置 Cron 表达式定时执行,几分钟内即可搭建完成。
- 常规业务脚本 / 定期接口同步:依赖体量在几十兆以内时,采用 Lambda Layer 分离公用库与业务代码,保持敏捷迭代。
- 大型计算 / 深度学习 / 复杂底层依赖:依赖解压后体积超过 250MB 或对底层 Linux C 库有严格要求的场景,打包为 Docker 容器镜像 推送至 Amazon ECR 进行部署,支持高达 10GB 的镜像体积。
至此,从编写标准的 lambda_handler(event, context) 入口函数,到选择单包 Zip、Lambda Layer 分层或在线代码部署,再到生产环境下的超时、内存与 IAM 权限配置,便完成了在 AWS Lambda 上运行 Python 脚本的全生命周期部署流程。
免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。









