Python爬虫实战：动态执行加密JS代码解密参数

在编写爬虫抓取目标数据时，常会遇到接口请求携带复杂加密字段（例如 _sign、token 或密文 payload）的情况。纯靠人工逆向并将混淆后的 JavaScript 逻辑用 Python 逐行重写，不仅耗时而且极易出错。动态执行加密 JS 代码正是解决这一难题的高效路径：直接在 Python 进程中调度或嵌入 JavaScript 运行环境，调用目标站点的核心加密函数生成有效参数，再发起 HTTP 请求。

一、动态执行 JS 解决参数加密的核心原理

在前端交互中，浏览器通常在发起 Ajax 请求前，通过页面加载的 JS 脚本对请求载荷、时间戳以及密钥进行混合运算。我们若想获取真实数据，关键就在于还原出与浏览器完全一致的运算结果。

相比于纯 Python 复现和无头浏览器模拟，动态执行 JS 是一种“中间态”的高性价比方案：它利用原汁原味的 JS 逻辑计算密文，同时保留了轻量级网络请求的吞吐优势。

二、环境准备与依赖安装

在 Python 中执行 JS 代码，底层必须依赖一个合格的 JavaScript 运行时。最稳定且通用的运行时环境是 Node.js。在 Python 侧，推荐使用目前活跃维护的 PyExecJS2 库或通过 subprocess 进行系统管道通信。

1. 安装 Node.js 与 Python 库

请确保系统中已正确安装 Node.js。可以在终端执行以下命令进行检查：

node -v
# 预期输出类似：v18.17.0 或更高版本

随后通过 pip 安装支持现代 Python 版本的 JS 执行库：

pip install PyExecJS2 requests

三、实战操作全流程分解

实现完整的动态解密并完成抓取，通常分为四个标准阶段：寻找加密入口、提取与清洗 JS、补全浏览器缺失环境、Python 动态调用与发包。

2. 编写与整理待调用的 JS 脚本

在很多实际站点中，加密方法常基于标准算法（如 AES、DES、RSA、MD5）加上自定义盐值，或使用了自定义的位移运算。假设我们从前端扣取了一段典型的加解密逻辑，并保存为 crypto_tool.js：

// crypto_tool.js
// 常见防报错环境垫片（当目标代码内部访问了浏览器内置全局对象时）
var window = window || global;
var document = document || {
    createElement: function() { return {}; }
};
var navigator = navigator || {
    userAgent: "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
};

// 假设从网页中扣取的混淆算法函数
function generateSign(page, timestamp, tokenKey) {
    var rawString = "page=" + page + "&ts=" + timestamp + "&key=" + tokenKey;
    var hash = 0;
    for (var i = 0; i < rawString.length; i++) {
        var charCode = rawString.charCodeAt(i);
        hash = ((hash << 5) - hash) + charCode;
        hash = hash & hash; // 转换为 32 位有符号整数
    }
    // 模拟十六进制字符串输出
    return "sign_" + Math.abs(hash).toString(16);
}

// 模拟返回服务端加密数据的解密函数
function decryptResponse(cipherText) {
    // 假设密文为 Hex 编码后反转的字符串
    var decoded = "";
    for (var i = cipherText.length - 1; i >= 0; i--) {
        decoded += cipherText[i];
    }
    return decoded;
}

3. 使用 Python 调用 JS 脚本生成参数并发送请求

在 Python 脚本中，我们通过 execjs.compile 编译整段 JavaScript 源代码，随后使用 call() 方法传入任意 Python 变量：

# crawler_demo.py
import time
import execjs
import requests

# 1. 显式确认当前执行引擎为 Node.js
print("当前使用的 JS 引擎:", execjs.get().name)

# 2. 读取目标 JS 脚本并完成编译
with open("crypto_tool.js", "r", encoding="utf-8") as f:
    js_code = f.read()

ctx = execjs.compile(js_code)

def fetch_page_data(page_num: int):
    # 生成业务参数
    current_ts = int(time.time() * 1000)
    token_key = "secret_app_key_2026"
    
    # 动态调用 JS 函数生成加密参数
    sign_val = ctx.call("generateSign", page_num, current_ts, token_key)
    print(f"[*] 动态计算得到 sign: {sign_val}")
    
    # 构造请求参数发起 HTTP 请求
    params = {
        "page": page_num,
        "ts": current_ts,
        "_sign": sign_val
    }
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
    }
    
    # 此处以测试模拟 URL 为例
    target_url = "https://httpbin.org/get"
    response = requests.get(target_url, params=params, headers=headers, timeout=10)
    print(f"[+] 请求状态码: {response.status_code}")
    print(f"[+] 返回参数确认: {response.json().get('args')}")

if __name__ == "__main__":
    fetch_page_data(1)

四、关键细节：浏览器环境补齐（补环境）

在实战中最常见的报错是 ReferenceError: window is not defined 或 document is not defined。这是因为目标 JS 原本运行在浏览器沙箱中，当将其迁移到脱离 DOM 的 Node.js 宿主时，所有访问 BOM/DOM 的语句都会中断执行。

补齐环境的基本思路是：缺什么补什么。若脚本只用到了少量属性，手动挂载空对象或基础字符串即可满足要求；若脚本带有高强度的反爬指纹探测（例如检测属性是否为原生函数、检查原型链），可使用 JavaScript 的 Proxy 对象对未定义属性进行监控和默认值填充。

五、注意事项与性能优化总结

动态执行 JS 虽好，但在高并发抓取场景下仍需注意资源消耗与运行特征：

• 避免高频重复编译：execjs.compile 涉及大文本的语法解析与引擎初始化，开销较大。必须在爬虫初始化时仅编译一次并常驻内存，后续循环直接调用 ctx.call()。
• 进程开销与内存回收：在海量请求场景下，频繁通过跨语言管道调用可能积累 IPC 开销。对于每秒数百次以上签名的场景，可考虑直接将解密逻辑封装为独立的 Node.js HTTP 内部微服务（如使用 Express），Python 端直接通过内网请求微服务获取签名。
• 编码规范与平台兼容：Windows 下 Node.js 管道输出默认可能为本地编码（如 GBK），导致非 ASCII 字符传输出现乱码。使用 PyExecJS2 时确保设置好 encoding='utf-8'。

通过本文介绍的方法，读者可以快速搭建“动态执行 JS 解密参数”的基础开发流程，高效攻克大部分依赖前端动态加密的爬虫逆向任务。