利用python的requests和BeautifulSoup庫爬取小說網站內容

1. 什麼是Requests？

　　Requests是用Python語言編寫的，基於urllib3來改寫的，採用Apache2 Licensed 來源協議的HTTP庫。

　　它比urllib更加方便，能夠節約咱們大量的工做，徹底知足HTTP測試需求。

　　一句話---Python實現的簡單易用的HTTP庫。

2. 什麼是Beausoup?

　Beautiful Soup提供一些簡單的、python式的函數用來處理導航、搜索、修改分析樹等功能。它是一個工具箱，經過解析文檔爲用戶提供須要抓取的數據，由於簡單，因此不須要多少代碼就能夠寫出一個完整的應用程序。

    Beautiful Soup自動將輸入文檔轉換爲Unicode編碼，輸出文檔轉換爲utf-8編碼。你不須要考慮編碼方式，除非文檔沒有指定一個編碼方式，這時，Beautiful Soup就不能自動識別編碼方式了。而後，你僅僅須要說明一下原始編碼方式就能夠了。

    Beautiful Soup已成爲和lxml、html6lib同樣出色的python解釋器，爲用戶靈活地提供不一樣的解析策略或強勁的速度。
3. 爬取17k網站小說內容。

首先，導入request庫和Beausoup庫

import requests from bs4 import BeautifulSoup

構建一個最簡單的GET請求，請求的連接爲https://www.17k.com/chapter/2932117/36683845.html,該網站會判斷若是客戶端發起的是GET 請求的話，他返回相應的請求信息：

import requests from bs4 import BeautifulSoup r=requests.get("https://www.17k.com/chapter/2932117/36683845.html")

將編碼方式強制轉換成utf-8，不然輸出的中文會出現亂碼

r.encoding='utf-8'

建立 beautifulsoup 對象

result=r.text soup=BeautifulSoup(result,'html.parser')

soup對象裏面存儲的是網站的html源碼，而後咱們須要分類選擇須要的數據和內容

name=soup.find_all('p') for i in name: print(i.string)

源代碼：

import requests from bs4 import BeautifulSoup r=requests.get("https://www.17k.com/chapter/2932117/36683845.html") r.encoding='utf-8' result=r.text soup=BeautifulSoup(result,'html.parser') name=soup.find_all('p') for i in name: print(i.string)

運行結果：

G:\Python\python.exe H:/PyCharm5.0/Projects/Draw/.idea/zhaopin.py
好多人都向我打聽過一個問題，爲何我那七十多歲被查出患了肝癌晚期的爺爺，竟然能活過85歲？
緣由說出來沒人信。
由於我家養了九條龍。
九龍聚氣，鎖陽歸一。爺爺曾經對我說，家裏鎮着九條龍，就是閻王爺也不敢上門鎖魂。
爺爺養的固然不是真龍，而是一種熱帶風水魚，叫龍魚。
89年，爺爺在縣城開辦了第一家觀賞魚店，這九條「魚爺」就是那時候進入我家的，爺爺花了半個月時間，在老家地窖打了一口魚池安置它們。
九十年代誰家都不富裕，爺爺養魚卻捨得下血本，供着幾條魚爺當寶貝，誰都不能靠近，也不許碰。
七歲那年，我正跟幾個小夥伴蹲在門口玩石子，遠遠看見逛完集市的爺爺揹着一簍河鮮回家，我饞得直流口水，問他是否是能改善伙食了？
爺爺讓我滾犢子。
一揹簍河鮮，爺爺本身不吃，也捨不得給我吃，全都喂那九條「魚爺」。同村幾個小夥伴都嘲笑我，說我不是爺爺親生的，家裏有好東西，寧願餵魚都不給我。
我爲這事嫉恨上了，當晚趁爺爺睡着以後偷了家裏的魚竿潛入地窖，用大鐵鉤子穿上魚餌，遠遠丟進魚池。
龍魚聞到腥味，在水池中攪動水浪，躥起半米多高，搶食的動做倒真有幾分「躍龍門」的氣勢，巨嘴一張，含着魚餌落水，又是一陣浪花翻騰。
我抓緊魚線一拽，繃緊的魚線帶出了血絲，龍魚吃痛，水中撲騰了幾下，攪動一片水花，咕嚕嚕冒着血沫泡泡。
可算出了口惡氣！
我正得意，誰知繃緊的魚線卻涌來一股怪力，這龍魚被我爺爺養的又壯又肥，我被反拽着往前一撲，腦門磕在臺階上，掙扎着爬起，一模額頭，全是血。
我磕痛了就坐在地上大哭，沒等乾嚎出幾聲，水池中「嘩啦啦」巨浪翻涌，九條「魚爺」全都拱起脖子，把腦殼探出水面瞪我。
那魚眼珠子，紅得滲血，比電燈泡子還要亮。
我分明感覺到它們眼神中傳遞的憤怒，彷彿在質問我。
這魚成精了！
我嚇傻了轉身就跑，一回頭卻撞在正趕來的爺爺身上，「你個兔崽子做什麼死？」
他一樣陰沉着臉看我，眼珠子和魚眼睛同樣，紅得嚇人，可以擠出血來。
我眼前一黑，嚇暈了。
醒來時，我已經躺在醫院。
我發了高燒，在醫院打了一成天吊瓶，不只高燒沒退，反而燒得更迷糊了。只要一閉眼睛，我就作惡夢，夢見本身被泡在大魚池裏，四周一片漆黑，幾雙血糊糊的眼睛在水下瞪着我，直到我嚇醒。
醒來時，我燒得更重了。感受腦門奇癢難耐，一摸額頭，又滑又腥，拿鏡子一照，腦門上竟然長出了一片片塊狀的魚鱗，魚鱗下長滿燎泡，一個個肉疙瘩爬滿整張臉。
治了幾天，我額頭上的魚鱗和肉疙瘩卻越長越多，高燒逼近42度，醫生下了病危通知書，通知家裏人早作準備。
住院第七天，家人已經不抱但願了，高燒下的我只能躺在病牀上等死，忍受不斷重複的怪夢煎熬。
可病危通知書下達的次日，爺爺卻出如今了病房。他二話沒說，用一張草蓆子卷着我，扛起來就往老家跑。二叔跟在後面追，說你抱着孩子跑什麼？他病得這麼重，不能離開醫院。
爺爺頭也沒回，「老子就是要帶他去治病！」
爺爺扛着我回了老家，剛進地窖，就把我狠狠摔在地上，不顧我哇哇大哭，指着水花沸騰魚池的魚池喊道，「跪下，磕頭！」
我不只被爺爺逼着給魚磕了頭，並且還焚香祭拜，認了那九條「魚爺」當乾爹，祭拜完「魚爺」，爺爺從水池中勺了一碗水給我喝。
說也奇怪，我喝完以後呼呼大睡，這怪病次日就行了。
十八歲那年，我高中畢業，光榮落榜，爺爺便將本身經營的觀賞魚店讓給了讓我，本身一我的鰥居在祖宅裏過活。
經營了幾年觀賞魚店，生意馬馬虎虎，這天我剛要收市關門，村長卻跑來告訴我，說我爺爺病倒了，讓我趕忙回家去看。
我住的地方在縣城，距離老家十幾裏地，趕忙聯繫了二叔三叔，披星戴月趕回老家。
爺爺的確病了，生命已到彌留之際，一我的孤零零地睡在老家地窖，身邊不遠就是他養魚的池子。
地窖裏沒有燈，點了幾根蠟燭，燭頭上的火苗跳躍，昏黃的火苗即將燃燒到尾聲。
發黃的被窩裏面有一個風燭殘年的老頭，頭髮是雪白的，皮膚鬆弛，一臉黑黃色的老人褐斑，兩眼無神。這就是我爺爺，一個接近死亡的老人。
「爺，你怎麼突然病成這樣？上星期不還好好的嗎？」我上前抓着爺爺的手，眼淚禁不住就留下來了。
我父母早亡，是爺爺把我帶大的，老爺子性情古板，卻和我最親。
二叔也急壞了，說老爺子病成這樣怎麼還睡地窖？溼氣這麼大，換誰受得了，趕忙的，老三你來幫忙，我們帶老爺子上醫院！
聽見二叔的話，爺爺睜開渾濁的眼珠，嗓子眼卡着一口痰，聲音嘶啞，「不用了，魚要死了，我也不能活。」
我看向水池裏那九條「魚爺」，全都挺着大白肚子，翻身浮在水面上，腦殼栽進水面，半天不見遊動，和我爺爺同樣，都走到了生命的最後關頭。
二叔直跺腳，「老爺子，魚是魚，人是人，不能由於魚死了，人就不治了啊！」
爺爺捂着胸口劇烈地喘着，幾分鐘後咳出一口濃痰，纔在小叔攙扶下坐起來，竟然氣順了好多，「個人命，我本身知道，十幾年前查出肝癌就該走了，是靠家裏這九條龍爺擡着我，才能不被閻王老子勾魂，如今，魚爺老了，擡不動我了，它們這一走，閻王老子就要上門啦。」
二叔道，「爸，你亂講啥？這些瘋言瘋語可不能讓別人聽到！」
爺爺虛弱地喘，說你在縣裏當官了，是怕別人說你有個搞封建迷信的老爹，扯你後腿是不？
二叔沒敢接茬。
爺爺沒看他，顫顫巍巍地伸手，拉着我說，「伢子，你從小體弱多病，這些年，都靠這九位‘乾爹’擡着你，才能安穩渡日啊，承了人家這麼大份人情，你也送它們一送？」
我說爺，魚先別管了，咱們送你去醫院好很差？
「不行！」風燭殘年的爺爺不知道從哪兒來這麼大力氣，突然站起來，硬按着我，要我給魚磕頭。
我犟不過，只能跪下，把頭磕了。
他蹲在魚池邊上，顫顫巍巍地把手伸到水下攪動，有條細得跟麻繩同樣的黑影躥起來，在爺爺手背上蹭了幾下，我定睛去看，發現是一條龍魚的幼崽，還不到五公分。
我說爺，這是九位「魚爺」留下來的幼崽？
爺爺滿臉的褶子肉皺成一堆，笑了笑，說是啊，我快走了，沒有精力照顧它，如今我把它留給你，能養成什麼樣就看你的造化了！
我含着淚，說好，這條魚給我照顧，我等它養大了再還給你。
爺爺掙扎着坐回病榻，「我不行了，這條魚，是我最後給你留下來的財產，你必定要好好……好好……」
他突然喘息得厲害，一口氣提不上來，倒回牀上，胸口一塊兒一伏，同時那九條「魚爺」也在水中撲騰了一下，大白肚子一翻，都飄了起來。
「大家把人守住，我去請醫生！」二叔撒腿就往外跑，我顧不上再看魚，趕忙和小叔把爺爺擡回牀上。
爺爺的呼吸漸漸微弱下去，小叔也哽咽了。
地窖裏靜悄悄的，只有爺爺微弱搗氣的聲音。三叔突然站起來，讓我好好守着爺爺，我問他幹嗎去？
小叔背對着我說，「你爺爺上個月已經託人打好了棺材，我……我去幫他佈置佈置。」
燭火微晃，回頭時，我發現爺爺的臉沒有血色了，淡淡地「嗯」了一聲。
三叔離開了，他走的匆忙，忘記把門帶上，冷風呼呼颳着，打着氣旋飄進地窖裏，蠟燭毫無徵兆地滅掉，視線一下陷入漆黑。
我趕忙衝過去摸打火機，火星子一閃，從新點亮蠟燭，牆上卻投射出一道被拉長的人影。
我回頭時，看見爺爺竟然站在門口。
他表情木訥地對我揮手，我趕忙說，「爺你怎麼起來了？快躺下啊你！」
爺爺沒說話，木然轉身，走出了地窖。
「爺，你別亂走！」我後腳跑出屋，沒看見爺爺去哪兒，正奇怪，二叔已經領着醫生走進了小院，老遠看見我，他跑過來問我怎麼不守好老爺子？
我指像爺爺離開的方向，說我爺剛走出去了。
二叔臉皮一抖，說你胡說八道什麼啊，人不還在牀上躺着嗎？
啊？
我回頭，果真看見爺爺還平躺在牀上，內心一突突。
那剛纔走出去的人影是……
「爹呀！」
二叔推開我，臉色發白地走到病榻前，一探鼻息，回頭對我喊道，「快叫你小叔，你爺沒了！」
我雙肩一抖，臉頓時就青了。
這麼說，我剛纔看見的，是爺爺離開的魂兒？
None
None
None
None
None
None
None
None
None
None
None
None
None
None
None
None
None
None
None
None
None
None
None
None
None
None
None
None
None
None
None
None

進程已結束,退出代碼0

原文出處：https://www.cnblogs.com/DrcProgrammingCool/p/11825369.html