Python3 urllib破解有道翻译加密参数详解
本文详细解析如何使用Python3的urllib库破解有道翻译接口的反爬虫机制。通过抓包分析定位加密参数，逆向JS源码获取sign生成算法（含salt、sign、client等变量），并模拟浏览器请求头（User-Agent、Referer、Cookie），最终实现成功调用接口获取翻译结果。
前言与背景
前言
近期在研究Python爬虫技术时，参考了网上关于使用urllib调用有道翻译接口获取翻译结果的教程。发现该接口的安全机制已大幅升级，引入了MD5加密验证，导致原有方法失效。鉴于网上现有的源码破解方案缺乏通用性，特此重新梳理并记录完整的破解过程。
爬取条件
成功抓取数据前，必须明确接口的URL地址、所需的请求参数、请求头信息以及预期的响应数据结构。
抓包分析与参数定位
进行抓包分析
首先访问有道翻译首页：http://fanyi.youdao.com/。按下F12键打开开发者工具，切换到Network（网络）标签页。此时页面监听所有网络请求，若列表为空，请点击XHR过滤器以筛选XMLHttpRequest请求。在翻译输入框中输入测试文本（例如“hell”），点击自动翻译按钮。随后在Network面板中即可看到浏览器向有道服务器发送的具体请求，截图如下：
点击具体的请求链接，即可查看完整的请求详情，包括Headers（请求头）、Payload（请求参数）以及Response（响应结果）。
观察发现，请求参数经过了加密处理。因此，核心难点在于逆向推导出这些参数的加密逻辑。
逆向JS源码破解加密
破解加密难题
要解析加密逻辑，需审查前端JavaScript源码。通过Network面板中监听的请求，可以找到发起该请求的JS文件。接着追踪请求链路：将鼠标悬停在请求文件上，查看其调用的方法栈，点击与业务逻辑相关的方法对应的JS文件链接，此处主要关注t.translate方法所在的文件。
进入该JS文件查看具体源码实现。
源码中可见i、salt、sign等变量，其余为固定常量。其中i代表待翻译的字符串；salt为生成13位的时间戳；sign由公式 S+n+r+D 计算得出。这里S对应client参数值，即“fanyideskweb”。为了找到D的值，需在源码中搜索常量D。在编辑器底部输入“D =”并格式化代码，点击右侧的Aa按钮开启大小写敏感搜索，回车查找直至定位到D的具体赋值。
从上述分析中，我们获取了_, C, S, D等关键常量值。
模拟请求头与代码实现
仅构造包含正确参数的请求还不够，有道翻译设有反爬虫校验，需模拟真实的浏览器请求头。经测试验证，必须包含User-Agent、Referer和Cookie这三个请求头字段，否则请求会被拒绝。
实现代码：
# -*- coding: utf-8 -*-
from urllib import request,parse
import json
import time
from hashlib import md5
'''
def dicToSortedStrParam(dic={}):
keyList = sorted(dic)
str =""
for i,key in enumerate(keyList):
if i==len(keyList)-1:
str += key +"="+ dic[key]
else:
str += key +"="+ dic[key] + "&"
pass
return str
'''
def create_md5(data):
md5_obj = md5()
md5_obj.update(data.encode("utf-8"))
return md5_obj.hexdigest()
if __name__ == "__main__":
request_url = "http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule"
translate = "hell"
c = "fanyideskweb"
data = {}
data["i"] = translate
data["from"] = "AUTO"
data["to"] = "AUTO"
data["smartresult"] = "dict"
data["client"] = c
data["doctype"] = "json"
data["version"] = "2.1"
data["keyfrom"] = "fanyi.web"
data["action"] = "FY_BY_REALTIME"
data["typoResult"] = "false"
salt = str(int(round(time.time(),3)*1000))
# 加密
data["salt"] = salt
# a = "rY0D^0'nM0}g5Mm1z%1G4" 网上别人的 也可以
a = "ebSeFb%=XZ%T[KZ)c(sy!"
sign = create_md5(c+translate+salt+a)
data["sign"] = sign
headers = {}
headers["User-Agent"] = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
# headers["Content-Type"] = "application/x-www-form-urlencoded; charset=UTF-8"
headers["Referer"] = "http://fanyi.youdao.com/"
# headers["Host"] = "fanyi.youdao.com"
# headers["Origin"]="http://fanyi.youdao.com"
headers["Cookie"]="OUTFOX_SEARCH_USER_ID=-948455480@10.169.0.83; " \
"JSESSIONID=aaajvZPcjhFWbgtIBPuiw; " \
"OUTFOX_SEARCH_USER_ID_NCOO=1148682548.6241577;" \
" fanyi-ad-id=41685; fanyi-ad-closed=1; ___rl__test__cookies="+salt
data = parse.urlencode(data).encode('utf-8')
request1 = request.Request(request_url,data,headers = headers)
response = request.urlopen(request1)
print(response.info())
#读取信息并解码
html = response.read().decode('utf-8')
print(html)
#使用JSON
translate_results = json.loads(html)
# 找到翻译结果
translate_results = translate_results['translateResult'][0][0]['tgt']
# 打印翻译信息
print("翻译的结果是：%s" % translate_results)翻译结果：
{"translateResult":[[{"tgt":"地狱","src":"hell"}]],"errorCode":0,"type":"en2zh-CHS","smartResult":{"entries":["","n. 地狱；究竟（作加强语气词）；训斥；黑暗势力\r\n","vi. 过放荡生活；飞驰\r\n","int. 该死；见鬼（表示惊奇、烦恼、厌恶、恼怒、失望等）\r\n"],"type":1}}
翻译的结果是：地狱最终获得的翻译结果为：“地狱”。
以上就是本文的全部内容，希望对各位学习Python爬虫有所帮助，也欢迎大家继续支持本站。
免责声明：本文内容仅供参考，不代表本站观点。转载或引用请注明出处。
