Python爬虫破解有道翻译

　　有道翻译是以异步方式实现数据加载的，要实现对此类网站的数据抓取，其过程相对繁琐，本节我以有道翻译为例进行详细讲解。
　　通过控制台抓包，我们得知了POST请求的参数以及相应的参数值，如下所示：post请求参数
　　并发现以下了规律：salt、sign、lts总是变化的，而bv等其他参数是不变化的。其中lts代表毫秒时间戳，salt和lts之间存在着某种关联，因为两者只有最后一个数字是不同的；而sign对应的值是一个加密后的字符串。
　　如果想要实现实时地抓取翻译结果，就需要将salt和sign转换为用Python代码表示的固定形式。最后将所有参数放入到requests.post()中，如下所示：response = requests.post(url,data=data,headers=headers)1复制代码类型：[python]
　　其中data是字典格式参数，它用来构建POST请求方法的参数和参数值。JS代码slat与sign
　　salt、sign加密有两种实现方式：一种是通过前端JS实现，另一种是后台服务器生成加密串，并在返回响应信息时，将加密信息交给接浏览器客户端。但是，通过预览响应信息可知，并没有涉及salt、sign的信息，因此可以排除这种方法。
　　那么要如何找到关于salt、sign的JS代码呢？此时就要用到另外一个调试工具选项卡——JS。如下图所示：
　　点击上图所示的搜索按钮来检索JS代码，输入＂salt＂，结果如图所示：
　　或者您也可以使用Sources选项卡将fanyi.min.js文件中的JS代码格式化输出，并使用Ctrl+F找到相应的＂salt＂位置，如下图所示：
　　通过上述方法就找到了salt与sign（两个参数项是在一起的）JS代码，如下所示：var r = function(e) {     var t = n.md5(navigator.appVersion),     r = ＂＂ + (new Date).getTime(),     i = r + parseInt(10 * Math.random(), 10);     return {         ts: r,         bv: t,         salt: i,         sign: n.md5(＂fanyideskweb＂ + e + i + ＂Tbh5E8=q6U3EXe+&L[4c@＂)     } };1234567891011复制代码类型：[python]
　　注意，找到上述代码是解决本节问题的关键，大家一定要要掌握方法。Python代码表示参数
　　通过上述JS代码的简单分析可知：r变量等同于lts，salt变量等同于i，而sign是一个经过md5加密的字符串。接下来使用Python代码来表示上述参数，如下所示：#lts毫秒时间戳 str(int(time.time()*1000)) #salt， lts+从0-9的随机数 lts+str(random.randint(0,9)) #sign加密字符串 from hashlib import md5 #word为要翻译的单词等同于js代码中的＂e＂ string = ＂fanyideskweb＂ + word + salt + ＂Tbh5E8=q6U3EXe+&L[4c@＂ s = md5() #md5的加密串必须为字节码 s.update(string.encode()) #16进制加密 sign = s.hexdigest()12345678910111213复制代码类型：[python]完整程序实现
　　完整代码如下所示：#coding:utf8 import random import time from hashlib import md5 import requests class YoudaoSpider(object):     def __init__(self):         # url一定要写抓包时抓到的POST请求的提交地址，但是还需要去掉 url中的＂_o＂，         # ＂_o＂这是一种url反爬策略，做了页面跳转，若直接访问会返回{＂errorCode＂:50}         self.url=＂http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule＂         self.headers={         ＂User-Agent＂: ＂Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36＂,         }     # 获取lts时间戳,salt加密盐,sign加密签名     def get_lts_salt_sign(self,word):         lts=str(int(time.time()*1000))         salt=lts+str(random.randint(0,9))         string = ＂fanyideskweb＂ + word + salt + ＂Tbh5E8=q6U3EXe+&L[4c@＂         s=md5()         s.update(string.encode())         sign=s.hexdigest()         print(lts,salt,sign)         return lts,salt,sign     def attack_yd(self,word):         lts,salt,sign=self.get_lts_salt_sign(word)         #构建form表单数据         data={             ＂i＂: word,             ＂from＂: ＂AUTO＂,             ＂to＂: ＂AUTO＂,             ＂smartresult＂: ＂dict＂,             ＂client＂: ＂fanyideskweb＂,             ＂salt＂: salt,             ＂sign＂: sign,             ＂lts＂: lts,             ＂bv＂: ＂cda1e53e0c0eb8dd4002cefc117fa588＂,             ＂doctype＂: ＂json＂,             ＂version＂: ＂2.1＂,             ＂keyfrom＂: ＂fanyi.web＂,             ＂action＂: ＂FY_BY_REALTlME＂         }         #使用 reqeusts.post()方法提交请求         res = requests.post(             url=self.url,             data=data,             headers=self.headers,         )         # res.json() 将json格式的字符串转为python数据类型         # 客户端与服务器数据交互以json字符串传递，因此需要将它转换为python数据类型         html=res.json()         print(html)         # 查看响应结果response  html:{＂translateResult＂:[[{＂tgt＂:＂hello＂,＂src＂:＂你好＂}]],＂errorCode＂:0,＂type＂:＂zh-CHS2en＂}         result=html[＂translateResult＂][0][0][＂tgt＂]         print(＂翻译结果:＂, result)     def run(self):         try:             word=input(＂请输入要翻译的单词：＂)             self.attack_yd(word)         except Exception as e:             print(e) if __name__ == ＂__main__＂:     spider=YoudaoSpider()     spider.run()123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263复制代码类型：[python]
　　输出结果:请输入要翻译的单词：大家好，这里是开课吧广场Python爬虫教程  lts，salt，sign 输出结果： 1616472092090 16164720920902 fcc592626aee42e1067c5195cf4c4576  html 响应内容: {＂type＂: ＂ZH_CN2EN＂, ＂errorCode＂: 0, ＂elapsedTime＂: 25, ＂translateResult＂: [[{＂src＂: ＂大家好，这里是开课吧广场Python爬虫教程＂, ＂tgt＂: ＂Hello everyone, this is the beginning of the square Python crawler tutorial＂}]]}  翻译结果: Hello everyone, this is the beginning of the square Python crawler tutorial
　　开课吧广场-人才学习交流平台