背景介紹

最近遇到一個(gè)需求，大致就是要獲取某個(gè)小程序上的數(shù)據(jù)。心想小程序本質(zhì)上就是移動(dòng)端加殼的瀏覽器，所以想到用Python去獲取數(shù)據(jù)。在網(wǎng)上學(xué)習(xí)了一下如何實(shí)現(xiàn)后，記錄一下我的實(shí)現(xiàn)過(guò)程以及所踩過(guò)的小坑。本文關(guān)鍵詞：Python，小程序，Charles抓包

目標(biāo)小程序：

公眾號(hào)“同城商圈網(wǎng)”左下角“找商家”->汽車維修->小車維修->所有的商家信息，如下圖所示：

環(huán)境

PC端：Windows 10

移動(dòng)端：iPhone

軟件：Charles

Charles抓包

雖說(shuō)網(wǎng)上大佬的教程很好很詳細(xì)，但我想加入幾個(gè)坑點(diǎn)解釋，請(qǐng)點(diǎn)此查看Charles配置教程

Charles清空當(dāng)前獲取到的連接，防止干擾（學(xué)會(huì)使用這個(gè)黃色掃把！很有用）

打開(kāi)微信小程序進(jìn)入到指定界面，Charles中顯示如下

進(jìn)入到某個(gè)具體商家后，最先請(qǐng)求的是這個(gè)

于是我們猜測(cè)，這個(gè)可能就是小程序相關(guān)的http請(qǐng)求，點(diǎn)進(jìn)去我們看一下

此時(shí)手機(jī)的界面是這樣的

誒，好像就是這個(gè)！（其實(shí)我也是一個(gè)一個(gè)試了好久，多試試就會(huì)找到啦，當(dāng)然如果你懂點(diǎn)英文，能看懂左側(cè)的英文就更好了！merchant就是商家的意思~），

但是我們想要獲取所有的商家信息怎么辦呢？那就先點(diǎn)擊Charles上的黃色小掃把~，再返回到商家列表看看

手機(jī)界面如下：

沒(méi)錯(cuò)就是這個(gè)請(qǐng)求了！

分析請(qǐng)求

選中左邊發(fā)送的請(qǐng)求，右邊點(diǎn)擊Overview選項(xiàng)卡，查看請(qǐng)求信息，我們不難發(fā)現(xiàn)這是個(gè)POST請(qǐng)求

我們知道POST請(qǐng)求提交的是表單，那么表單數(shù)據(jù)在哪里呢？我們可以在右邊界面，鼠標(biāo)右擊，點(diǎn)擊Copy Request就能獲取表單數(shù)據(jù)了！

復(fù)制到這里看看：

{'pageIndex':1,'pageSize':50,'regionId':'8','categoryId':'148','orderRule':0}

看到這里，我們就能猜出個(gè)大概了，pageIndex是頁(yè)碼，pageSize是每頁(yè)顯示數(shù)量，regionId是地區(qū)編號(hào)，categoryId是貨品編號(hào)，orderRule是排序規(guī)則，至此抓包結(jié)束，我們成功抓到了目標(biāo)包！

本節(jié)抓包方法理論上適合所有小程序，其他的你們可以自行嘗試哦~

編寫(xiě)python代碼

這里我們就簡(jiǎn)單的寫(xiě)個(gè)demo

import requestsurl = 'http://api.tc688.net/api/services/app/merchant/LoadCategoryMerchants'header = { ’Origin’:’http://zazhi.tc688.net’, ’Host’:’api.tc688.net’, ’User-Agent’:’Mozilla/5.0 (iPhone; CPU iPhone OS 13_6_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148 MicroMessenger/7.0.14(0x17000e2e) NetType/WIFI Language/zh_CN’, ’Referer’:’http://zazhi.tc688.net/companylist?id=148’,}data = {'pageIndex':1,'pageSize':50,'regionId':'8','categoryId':'148','orderRule':0}r = requests.post(url=url,data=data,headers=header)print(r.text)

運(yùn)行結(jié)果：

完整項(xiàng)目

有關(guān)數(shù)據(jù)處理以及更換地區(qū)的詳細(xì)代碼，請(qǐng)?jiān)L問(wèn)我的GitHub：GitHub

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持好吧啦網(wǎng)。