目錄實(shí)現(xiàn)目標(biāo)使用的工具實(shí)現(xiàn)的原理實(shí)現(xiàn)目標(biāo)

1. 用戶發(fā)布的微博內(nèi)容;

2. 用戶發(fā)布的時(shí)間;

3. 用戶的名稱; (這里我并沒有獲取)

使用的工具

voku/simple_html_dom x-path

讀取工具 (如果不知道怎么獲取元素的xpath, 請(qǐng)百度這里不做贅述~)

安裝:

composer require voku/simple_html_dom

實(shí)現(xiàn)的原理

當(dāng)你去直接用file_get_contents去抓取微博的網(wǎng)頁內(nèi)容時(shí), 你會(huì)被它的訪客系統(tǒng)直接攔截, 所以直接用這個(gè)方法是不行的;

所以我采用了curl來獲取. 當(dāng)然,直接獲取也是不行的, 所以我們要設(shè)置一下請(qǐng)求頭, 微博對(duì)爬蟲類的請(qǐng)求頭是不會(huì)拒絕的,

所以你可以直接抓取到網(wǎng)頁;

請(qǐng)求頭設(shè)置如下:

'User-Agent: spider'

代碼如下:

// 通過這段代碼你可以直接獲取到微博的(HTML)網(wǎng)頁 public function curlGetWbData() {// 設(shè)置腳本超時(shí)時(shí)間set_time_limit(60);// 拉取微博地址$getWbUrl = 'https://weibo.com/p/1005056447467552/home?profile_ftype=1&is_all=1#_0';// 設(shè)置curl 請(qǐng)求頭$header = [ 'User-Agent: spider'];$ch = curl_init(); // 初始化curlcurl_setopt($ch, CURLOPT_URL, $getWbUrl);curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); // 禁止 cURL 驗(yàn)證對(duì)等證書curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);curl_setopt($ch, CURLOPT_HTTPHEADER, $header); // 設(shè)置請(qǐng)求頭$wbContent = curl_exec($ch);curl_close($ch);// 到這里我們就拿到了微博的網(wǎng)頁return $wbContent; }

拿到微博的網(wǎng)頁內(nèi)容之后, 我們就要對(duì)立面的數(shù)據(jù)進(jìn)行提取, 因?yàn)椴⒉皇撬械臄?shù)據(jù)我們都需要;

這里我們提取 微博內(nèi)容 微博發(fā)布的時(shí)間; 現(xiàn)在需要使用x-path來進(jìn)行提取;

x-path示例:

div[class='WB_cardwrap WB_feed_type S_bg2 WB_feed_like ']

代碼如下:

// 這個(gè)方法是public static function actionAddWbData(string $wbContent, string $userID){ $htmlDeal = new HtmlDomParser(); // 處理DOM的對(duì)象 $htmlDeal->load($wbContent);// 裝載文本 // 微博VIP和普通用戶的class名不一致 $wbHtml['normal'] = $htmlDeal->find('div[class='WB_cardwrap WB_feed_type S_bg2 WB_feed_like ']'); $wbHtml['vip'] = $htmlDeal->find('div[class='WB_cardwrap WB_feed_type S_bg2 WB_feed_vipcover WB_feed_like ']'); $wbNum = []; foreach ($wbHtml as $item => $key) {if (count($key) <= 0) { continue;}$wbNum[$userID][$item] = self::dealWbContent($key, $userID); } Yii::info('抓取微博日志記錄' . '----' . json_encode($wbNum)); return $wbNum;}

以上就是使用PHP抓取微博數(shù)據(jù)實(shí)現(xiàn)demo及原理解析的詳細(xì)內(nèi)容，更多關(guān)于PHP抓取微博數(shù)據(jù)的資料請(qǐng)關(guān)注好吧啦網(wǎng)其它相關(guān)文章！