文章詳情頁
python - 請教如何爬取簡書某一時間段發帖。
瀏覽：98日期：2022-07-11 10:45:01
問題描述
我想爬取簡書在某一時間段的帖子，比如 2013 年 4 月 13 — 2013 年 5 月 13
想嘗試的思路如下：
百度
利用百度的 site 語法
限定日期 
觀察大約有 70 個帖子 
google 的 site 語法
限定日期 
觀察大約有 120 個帖子 
實現：用 Python 直接請求搜索的結果，然后把得到的網址重定向一下得到真正的簡書網址，然后對真正的網址進行請求
問題
用這種方法得到的結果是否靠譜？請問有更靠譜的方法嗎？
用 Google 還是用百度呢？
問題解答
回答1：為了全面，你可以把主流的搜索引擎接口都拿來用，不一定要限制在某個搜索引擎接口上。我們有隊友搜索某些話題就是這么干的，因為有的網站站內沒提供滿足需求的搜索方式，這個時候也只有借助搜索引擎了。不過通過搜索引擎搜索的方式信息可能不全面，robots協議規定了不能搜索的，搜索引擎不會收錄
相關文章：
1. java - mongodb分片集群下，count和聚合統計問題2. 服務器端 - 采用nginx做web服務器，C++開發應用程序 出現拒絕連接請求？3. javascript - vue 移動端的input 數字輸入優化4. java - 自己制作一個視頻播放器，遇到問題，用的是內置surfaceview類，具體看代碼！5. javascript - 有什么兼容性比較好的辦法來判斷瀏覽器窗口的類型？6. android - java 泛型不支持數組，那么RxJava的Map集合有什么方便的手段可以定義獲得一串共同父類集合數據呢？7. 關于docker下的nginx壓力測試8. python - pandas按照列A和列B分組，將列C求平均數，怎樣才能生成一個列A,B,C的dataframe9. 為什么我ping不通我的docker容器呢？？？10. java 隨機延遲執行
排行榜
網公網安備