python-59: 基礎篇完

經歷了這漫長的時間,咱們的基礎篇終於講完了,來講幾個問題python

1. 基礎篇主要講了什麼
編程

基礎篇咱們主要是使用urllib,urllib2和cookielib這幾個庫來說解爬蟲的幾個實例,爲何要選擇這幾個庫呢?由於這是python自帶的庫函數,我在學習的時候以爲它不是很好用,一樣的功能,使用其餘的庫函數的話過程會簡單不少,可是,這個庫能讓咱們很好的理解爬蟲的一些過程,瞭解一些基本的原理,而這些知識在後面更深刻的學習中是很重要的,因此我選擇了這幾個庫來進行學習cookie

咱們的基礎篇從python的基礎知識開始,而後瞭解爬蟲的基本知識,學習最簡單的爬蟲程序,而後開始進入到四個實例的講解,首先是訪問網頁獲取一些咱們想要的信息,而後將喜歡的信息下載到本地,後來發現不少的網站是須要登陸才能進行爬取的,因此咱們又學習了怎麼模擬登陸,模擬登陸以後,又加上了對驗證碼機制的處理方法,整個過程是按部就班的,很慶幸最終能將它們寫完網絡

2. 學完基礎篇咱們能幹什麼函數

學完基礎篇以爲也不是很難,因此可能會有疑問,學完基礎篇咱們能幹什麼?工具

首先要明確一個概念,爬蟲能夠作什麼,你可能說爬蟲能夠爬取網頁,能夠幫咱們登陸網站,可是咱們作的這一切事情最終都是一個目的:獲取數據。數據這個概念是近幾年提出來並且也愈來愈火的一個概念,我雖然沒接觸過什麼大數據,可是我也有本身想獲得的數據,好比我喜歡看漫畫,可是我不能老是在網頁上看,生活中沒有網絡的狀況多得是,因此我但願能把這些漫畫下載到本地,既能夠很方便的看,也能夠拿來收藏存檔什麼的,我如今就可使用咱們前面學到的知識來實現這個想法,或者說,我喜歡玩LOL,我常常會看一些視頻來學習,可是我以爲官網上的佈局不是很合理,我想要從新弄一個本身用得順手的工具,我也可使用爬蟲從官網上下載這些視頻或者是網頁連接,而後我本身設計一個網頁或者是應用程序,來達到個人目的,或者對於男生來講,常常喜歡一些小圖片,小電影,爬蟲一樣可以讓你實現這些想法,固然,爬蟲能夠作的事情還不只僅是這些,我以爲不該改侷限或者拘泥於一些空間,世界那麼大,爲何不試着爬爬看佈局

說到這裏,我想起一個事情,絕大多數的人在學習完編程基礎以後都會問一個問題,我剛學完python基礎,我可以作什麼,或者說有沒有什麼比較簡單的項目來練手,我以前也是這樣的,可是,某天看到一句話徹底改變了個人想法,大意是這樣的,學習完基礎以後你能夠重複一些不少人作過的事情,好比寫個記事本,寫個播放器什麼的,可是,最好的狀況應該是,作一些方便本身也方便別人的工具,因此在我平時的工做生活中,我開始留意一些事情,好比,這個記事本怎麼這麼難用啊,這個操做爲何只能使用命令執行,好麻煩,而後,我就真的發現不少須要改變的地方,並且,我也開始試着使用編程去實現一些功能,讓本身的生活更方便,目前我只能作到一半,我尚未能力達到方便別人的地步,可是至少我能夠用本身所學的知識來幫助本身實現一些想法,這總比作數學題強多了
學習

3. 接下來咱們學習什麼大數據

python有不少的庫,或者說,模塊,咱們前面學習的只是很小很小的一部分,因此咱們接下來將會學習另外的一些庫,這些庫是爲了咱們更簡單更高效的實現某些功能而設計出來的,這些就是方便本身也方便別人的工具,至於要學習什麼庫,我將會在下一篇把python 爬蟲的一些有用的庫列舉出來,而後選擇感興趣的庫去學習,可是,前面的基礎篇爲了講解一些http的基礎知識或者是一些基本的概念,咱們花了太多時間,以至於關於python的一些知識,咱們都沒可以進行講解,因此在接下來的內容裏,我但願能把咱們的代碼弄得好看一些,由於python自己就是一門很優雅的語言,固然,其餘的知識咱們仍是會盡可能多的給你們講解網站

4. 寫到這裏的感想

這裏主要想講一些事情,姑且叫作學習方法吧

我前面看的是郝斌老師的一套視頻,是C語言的,他裏面有幾個學習的模式我很喜歡,這也體如今我前面的文章裏

  1. 問問題,起初我發現他講的內容頗有條理性,讓我聽着很舒服,後面我慢慢的意識到,他在講解每一個知識點的時候,都遵循着一個流程,叫什麼?是什麼?作什麼?怎麼用?,這是他的一個大體固定的流程,而後我試着把這個流程套用到個人工做中,我發現這能夠給我提升一些效率,固然,隨着事情的不一樣,問題也不盡相同,可是這種方式仍是很好的

  2. 驗證某個功能的時候流程儘可能簡單,你們看我前面寫的也能夠看出來,我在驗證某些問題的時候,會把全部不相關的東西去掉,而後單獨實現這個功能,驗證成功以後再把功能加進去,這是避免一些沒必要要的錯誤和麻煩的好方法,調試5行代碼總比調試50行代碼要簡單得多

  3. 使用已經學的知識去推理或者驗證某些東西,像前面的cookies的比較中,我使用到的所有都是已經學習的知識,不一樣只是把一些數據輸出出來而已,可是咱們仍是能夠驗證咱們的想法,同時,也鞏固了咱們前面的知識

相關文章
相關標籤/搜索