【轉】詳解抓取網站，模擬登錄，抓取動態網頁的原理和實現（Python，C#等）

 

轉自：http://www.crifan.com/files/doc/docbook/web_scrape_emulate_login/release/html/web_scrape_emulate_login.html

摘要本文主要介紹了抓取網站，模擬登錄，抓取動態網頁相關的邏輯，原理和如何實現。主要包括：

• 抓取網頁，模擬登錄等背後的通用的邏輯和原理
• 以提取songtaste網頁中標題爲例，詳解如何抓取網站並提取網頁內容
• 以模擬登錄百度爲例，詳解如何模擬登錄網站
• 以抓取網易博客帖子中的最近讀者信息爲例，詳解如何抓取動態網頁中的內容
• 詳解了在模擬登錄和抓取動態網頁過程當中，如何用對應的網頁分析工具，如IE9的F12，Chrome的Ctrl+Shift+J，Firefox的Firebug，去分析出對應的邏輯
• 針對抓取網站，模擬登錄，抓取動態網頁，所有給出了完整的可用的，多種語言的示例代碼：Python，C#，Java，Go等

 

	本文提供多種格式供：
	在線閱讀 HTML HTMLs PDF CHM TXT RTF WEBHELP 下載（7zip壓縮包） HTML HTMLs PDF CHM TXT RTF WEBHELP HTML版本的在線地址爲：http://www.crifan.com/files/doc/docbook/web_scrape_emulate_login/release/html/web_scrape_emulate_login.html有任何意見，建議，提交bug等，都歡迎去討論組發帖討論：http://www.crifan.com/bbs/categories/web_scrape_emulate_login/

2013-09-22

修訂歷史
修訂 1.1	2013-09-22	crl
把以前教程的地址整理過來 添加新帖子的連接：模擬登錄百度的java版，go語言版

版權 © 2013 Crifan,  http://crifan.com

本文章聽從： 署名-非商業性使用 2.5 中國大陸(CC BY-NC 2.5)

---

目錄

前言

1. 本文目的

1. 網站抓取，模擬登錄，抓取動態網頁的通用邏輯

2. 如何抓取靜態網頁並提取特定內容

3. 如何模擬登錄網站

3.1. （多種語言實現）模擬登錄百度

3.2. （多種語言實現）模擬登錄gogole

4. 如何抓取動態網頁並提取特定內容

4.1. 抓取動態網頁示例：網易163博客的心情隨筆FeelingCard

5. 抓取靜態或動態網頁和模擬登錄的注意事項和總結

參考書目

前言

目錄

1. 本文目的

1. 本文目的

本文目的在於，如何從無到有的，瞭解抓取網站，模擬登錄，抓取動態網頁方面的邏輯和具體實現。

第 1 章 網站抓取，模擬登錄，抓取動態網頁的通用邏輯

相關舊帖

如何用Python，C#等語言去實現抓取靜態網頁+抓取動態網頁+模擬登錄網站【整理】各類瀏覽器中的開發人員工具Developer Tools：IE9的F12，Chrome的Ctrl+Shift+J，Firefox的Firebug【總結】瀏覽器中的開發人員工具（IE9的F12和Chrome的Ctrl+Shift+I）-網頁分析的利器【整理】關於抓取網頁，分析網頁內容，模擬登錄網站的邏輯/流程和注意事項【教程】如何利用IE9的F12去分析網站登錄過程當中的複雜的（參數，cookie等）值（的來源）【整理】關於http(GET或POST)請求中的url地址的編碼(encode)和解碼(decode)【整理】關於HTML網頁源碼的字符編碼（charset）格式（GB2312，GBK，UTF-8，ISO8859-1等）的解釋【整理】網頁抓取，模擬登錄，抓取動態網頁內容等過程當中，所涉及的Headers信息，Cookie信息，POST數據的處理邏輯【整理】關於用正則表達式處理html代碼方面的建議

 

 

 

 

 

 

 

 

 

 

 

 

 

 

第 2 章 如何抓取靜態網頁並提取特定內容

	相關舊帖
	【教程】抓取網並提取網頁中所須要的信息 之 Python版【教程】抓取網並提取網頁中所須要的信息 之 C#版

 

第 3 章 如何模擬登錄網站

目錄

3.1. （多種語言實現）模擬登錄百度

3.2. （多種語言實現）模擬登錄gogole

 

下面，給出足夠多的例子：

 

3.1. （多種語言實現）模擬登錄百度

先去用工具分析邏輯： 【教程】手把手教你如何利用工具(IE9的F12)去分析模擬登錄網站(百度首頁)的內部邏輯過程再去用代碼實現，此處，目前已經實現了：

• C#版【教程】模擬登錄網站 之 C#版（內含兩種版本的完整的可運行的代碼）  
• Python版【教程】模擬登錄網站 之 Python版（內含兩種版本的完整的可運行的代碼）  
• Java版【教程】模擬登錄百度之Java代碼版  
• Go語言版【記錄】用go語言實現模擬登錄百度  

 

3.2. （多種語言實現）模擬登錄gogole

 另外，也弄了個，模擬登錄google： 【記錄】模擬登錄google 

 

 

第 4 章 如何抓取動態網頁並提取特定內容

目錄

4.1. 抓取動態網頁示例：網易163博客的心情隨筆FeelingCard

先去看看：

【教程】如何抓取動態網頁內容

搞懂，抓取動態網頁的邏輯。

 

再去看下面的例子：

 

 

 

4.1. 抓取動態網頁示例：網易163博客的心情隨筆FeelingCard

【記錄】給BlogsToWordPress添加支持導出網易的心情隨筆 【教程】以抓取網易博客帖子中的最近讀者信息爲例，手把手教你如何抓取動態網頁中的內容 【記錄】用Python解析網易163博客的心情隨筆FeelingCard返回的DWR-REPLY數據  

 

 

第 5 章 抓取靜態或動態網頁和模擬登錄的注意事項和總結

 

	相關舊帖
	【總結】靜態網頁抓取，動態網頁抓取，模擬登錄的注意事項和心得

 

 

 

 

 

 

 

 

 

參考書目

[1]  如何用Python，C#等語言去實現抓取靜態網頁+抓取動態網頁+模擬登錄網站