基于python爬取有道翻譯過程圖解
1.準(zhǔn)備工作
先來(lái)到有道在線翻譯的界面http://fanyi.youdao.com/
F12 審查元素 ->選Network一欄,然后F5刷新 (如果看不到Method一欄,右鍵Name欄,選中Method)
輸入文字自動(dòng)翻譯后發(fā)現(xiàn)Method一欄有GET還有POST;GET是指從服務(wù)器請(qǐng)求和獲得數(shù)據(jù),POST是向指定服務(wù)器提交被處理的數(shù)據(jù)、
隨便打開一個(gè)POST,找到preview可以看到我們輸入的“我愛你一生一世”數(shù)據(jù),可以證明post的提交數(shù)據(jù)的
下面分析一下Headers各個(gè)字段的意義;User-agent字段很重要
下面來(lái)看一下request模塊中urlopen方法,查看文檔;
發(fā)現(xiàn)urlopen有一個(gè)data參數(shù),如果參數(shù)沒賦值(默認(rèn)None)就是GET形式,如果data參數(shù)被賦值了,就以POST形式提交
在這里,data參數(shù)其實(shí)是一個(gè)字典 ;就是源代碼中From Data的數(shù)據(jù)
下面一篇文章是對(duì)urlencode與unquote的詳細(xì)解釋:(urllib庫(kù)里可惜沒有urldecode函數(shù))
https://www.jb51.net/article/183857.htm
為什么要進(jìn)行編碼和解碼呢?------》對(duì)于一些中文或者字符,url是不識(shí)別的,需要進(jìn)行編碼轉(zhuǎn)換!encode(’utf-8’)把unicode的形式變成utf-8decode(’utf-8’)把utf-8形式變成Unicode編碼形式2.下面進(jìn)行敲!
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持好吧啦網(wǎng)。
相關(guān)文章:
1. php測(cè)試程序運(yùn)行速度和頁(yè)面執(zhí)行速度的代碼2. ASP中常用的22個(gè)FSO文件操作函數(shù)整理3. 三個(gè)不常見的 HTML5 實(shí)用新特性簡(jiǎn)介4. Warning: require(): open_basedir restriction in effect,目錄配置open_basedir報(bào)錯(cuò)問題分析5. ASP調(diào)用WebService轉(zhuǎn)化成JSON數(shù)據(jù),附j(luò)son.min.asp6. SharePoint Server 2019新特性介紹7. React+umi+typeScript創(chuàng)建項(xiàng)目的過程8. 無(wú)線標(biāo)記語(yǔ)言(WML)基礎(chǔ)之WMLScript 基礎(chǔ)第1/2頁(yè)9. ASP.NET Core 5.0中的Host.CreateDefaultBuilder執(zhí)行過程解析10. php網(wǎng)絡(luò)安全中命令執(zhí)行漏洞的產(chǎn)生及本質(zhì)探究
