python爬蟲(chóng)教程-16-破解js加密實(shí)例（有道在線翻譯）

• 在爬蟲(chóng)爬取網(wǎng)站的時(shí)候，經(jīng)常遇到一些反爬蟲(chóng)技術(shù)，比如：
  
  • 加cookie，身份驗(yàn)證UserAgent
  • 圖形驗(yàn)證，還有很難破解的滑動(dòng)驗(yàn)證
  • js簽名驗(yàn)證，對(duì)傳輸數(shù)據(jù)進(jìn)行加密處理
• 對(duì)于js加密
  
  • 經(jīng)過(guò)加密傳輸?shù)木褪敲芪?#xff0c;但是加密函數(shù)或者過(guò)程一定是在瀏覽器完成，
    也就是一定會(huì)把js代碼暴露給使用者
  • 通過(guò)閱讀加密算法，就可以模擬出加密過(guò)程，從而達(dá)到破解
  • 怎樣判斷網(wǎng)站有沒(méi)有使用js加密，很簡(jiǎn)單，例如有道在線翻譯
    
    • 1.打開(kāi)【有道在線翻譯】網(wǎng)頁(yè)：http://fanyi.youdao.com/
    • 2.【右鍵檢查】，選中【Network】
    • 3.【輸入單詞】
    • 4.在請(qǐng)求中，找到關(guān)于翻譯內(nèi)容的Form Data，可以看到有下面兩項(xiàng)說(shuō)明js加密

“salt”: “1523100789519”,
“sign”: “b8a55a436686cd8973fa46514ccedbe”,

分析js

• 一定要按照下面的順序，不然的話(huà)會(huì)有很多無(wú)用的東西干擾
• 1.打開(kāi)【有道在線翻譯】網(wǎng)頁(yè)：http://fanyi.youdao.com/
• 2.【右鍵檢查】，選中【Network】
• 3.【輸入單詞】，【抓取js代碼】
• 操作截圖：
  
  
• 我們得到的js代碼是一行代碼，是壓縮后的min代碼，我們需要進(jìn)行格式轉(zhuǎn)換
• 4.打開(kāi)在線代碼格式化網(wǎng)站：http://tool.oschina.net/codeformat/js
• 5.將拷貝的一行格式的js代碼，粘貼在表單中，點(diǎn)擊【格式化】
• 操作截圖：
  
• 然后將格式化后的js代碼，拷貝到一個(gè)可以搜索的代碼編碼器，備用
• 編寫(xiě)第2個(gè)版本
• 案例v18文件：
• https://xpwi.github.io/py/py%E7%88%AC%E8%99%AB/py18js2.py

# 破解js加密，版本2 ''' 通過(guò)在js文件中查找salt或者sign，可以找到 1.可以找到這個(gè)計(jì)算salt的公式 r = "" + ((new Date).getTime() + parseInt(10 * Math.random(), 10)) 2.sign：n.md5("fanyideskweb" + t + r + "ebSeFb%=XZ%T[KZ)c(sy!"); md5 一共需要四個(gè)參數(shù)，第一個(gè)和第四個(gè)都是固定值得字符串，第三個(gè)是所謂的salt， 第二個(gè)參數(shù)是輸入的需要翻譯的單詞 ''' from urllib import request, parsedef getSalt():'''salt的公式r = "" + ((new Date).getTime() + parseInt(10 * Math.random(), 10))把它翻譯成python代碼'''import time, randomsalt = int(time.time()*1000) + random.randint(0, 10)return saltdef getMD5(v):import hashlibmd5 = hashlib.md5()md5.update(v.encode('utf-8'))sign = md5.hexdigest()return signdef getSign(key, salt):sign = "fanyideskweb" + key + str(salt) + "ebSeFb%=XZ%T[KZ)c(sy!"sign = getMD5(sign)return signdef youdao(key):# url從http://fanyi.youdao.com輸入詞匯右鍵檢查得到url = "http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=true"salt = getSalt()# data從右鍵檢查FormData得到data = {"i": key,"from": "AUTO","to": "AUTO","smartresult": "dict","client": "fanyideskweb","salt": str(salt),"sign": getSign(key, salt),"doctype": "json","version": "2.1","keyform": "fanyi.web","action": "FY_BY_REALTIME","typoResult": "false"}print(data)# 對(duì)data進(jìn)行編碼，因?yàn)閰?shù)data需要bytes格式data = parse.urlencode(data).encode()# headers從右鍵檢查Request Headers得到headers = {"Accept": "application/json, text/javascript, */*; q=0.01","Accept-Language": "zh-CN,zh;q=0.9","Connection": "keep-alive","Content-Length": len(data),"Content-Type": "application/x-www-form-urlencoded; charset=UTF-8","Cookie": "OUTFOX_SEARCH_USER_ID=685021846@10.168.8.76; OUTFOX_SEARCH_USER_ID_NCOO=366356259.5731474; _ntes_nnid=1f61e8bddac5e72660c6d06445559ffb,1535033370622; JSESSIONID=aaaVeQTI9KXfqfVBNsXvw; ___rl__test__cookies=1535204044230","Host": "fanyi.youdao.com","Origin": "http://fanyi.youdao.com","Referer": "http://fanyi.youdao.com/","User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.75 Safari/537.36","X-Requested-With": "XMLHttpRequest"}req = request.Request(url=url, data=data, headers=headers)rsp = request.urlopen(req)html = rsp.read().decode()print(html)if __name__ == '__main__':youdao("girl")

運(yùn)行結(jié)果

返回翻譯后的值，才算是成功

注意
按照步驟，熟悉流程最重要

更多文章鏈接：Python 爬蟲(chóng)隨筆

---

- 本筆記不允許任何個(gè)人和組織轉(zhuǎn)載

總結(jié)

以上是生活随笔為你收集整理的Python爬虫教程-16-破解js加密实例（有道在线翻译）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。