問題描述

我想爬取簡(jiǎn)書在某一時(shí)間段的帖子，比如 2013 年 4 月 13 — 2013 年 5 月 13

想嘗試的思路如下：

百度

利用百度的 site 語法

限定日期

觀察大約有 70 個(gè)帖子

Google

google 的 site 語法

限定日期

觀察大約有 120 個(gè)帖子

實(shí)現(xiàn)：用 Python 直接請(qǐng)求搜索的結(jié)果，然后把得到的網(wǎng)址重定向一下得到真正的簡(jiǎn)書網(wǎng)址，然后對(duì)真正的網(wǎng)址進(jìn)行請(qǐng)求

問題

用這種方法得到的結(jié)果是否靠譜？請(qǐng)問有更靠譜的方法嗎？

用 Google 還是用百度呢？

問題解答

為了全面，你可以把主流的搜索引擎接口都拿來用，不一定要限制在某個(gè)搜索引擎接口上。我們有隊(duì)友搜索某些話題就是這么干的，因?yàn)橛械木W(wǎng)站站內(nèi)沒提供滿足需求的搜索方式，這個(gè)時(shí)候也只有借助搜索引擎了。不過通過搜索引擎搜索的方式信息可能不全面，robots協(xié)議規(guī)定了不能搜索的，搜索引擎不會(huì)收錄