爬取 Stackoverflow 100 萬條問答並簡單分析

打開 stackoverflow 主頁，在 questions 頁面下選擇按 vote 排序，爬取前 20000 頁，每頁將問題數量設置爲 50，共 1m 條，（實際上本來是想爬完 13m 條的，但 1m 條後面問題基本上都只有 1 個或 0 個回答，那就選取前 1m 就好吧） 實際上用數據庫去重後只有 999654 條問答信息 對爬取數據進行簡單分析   votes 分析 降序排列了 votes

>>阅读原文<<