爬蟲大做業

1.選一個本身感興趣的主題或網站。(全部同窗不能雷同)

import requests
from bs4 import BeautifulSoup as bs
import re


path = 'C:\\Users\\Jie\\Desktop\\'
url = "https://www.imooc.com/learn/982"
header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'}
html = requests.get(url,headers=header).content.decode('utf-8')
soup = bs(html, 'html.parser')
con = soup.select('.content')[0].get_text()
info = re.sub('\s+', '', con)
f = open(path + 'yanjie.txt' ,'a+', encoding='utf-8')
f.write(info)
f.close()

import jieba
import PIL
from wordcloud import WordCloud
import matplotlib.pyplot as p
import os


path = 'C:\\Users\\Jie\\Desktop\\'
info = open(path+'yanjie.txt','r',encoding='utf-8').read()
text = ''
text += ' '.join(jieba.lcut(info))
wc = WordCloud(font_path='C:\Windows\Fonts\STZHONGS.TTF',background_color='White',max_words=50)
wc.generate_from_text(text)
p.imshow(wc)
p.axis("off")
p.show()
wc.to_file(path+'xyj.jpg')

 

2.用python 編寫爬蟲程序，從網絡上爬取相關主題的數據。

3.對爬了的數據進行文本分析，生成詞雲。

4.對文本分析結果進行解釋說明。

5.寫一篇完整的博客，描述上述實現過程、遇到的問題及解決辦法、數據分析思想及結論。

6.最後提交爬取的所有數據、爬蟲及數據分析源代碼。

結果：

簡介：Golang做爲21世紀的C語言，憑藉其簡單和高效，現在已經被愈來愈多的人當成主力編程語言，併發是Golang最大的優點，本門課程將帶你一塊兒去探索Golang併發的奧祕，除此以外，你還能學到Golang的面向對象，最終實現一個可在生產環境使用的高性能的日誌監控系統。相信完成這門課程以後，你必定也會愛上Golang這門語言！1章課程介紹簡單演示了日誌監控程序的功能，而後介紹了一些關於併發編程的基礎知識，以及在Golang中併發編程的實現，爲後續課程作好知識儲備。1-1課程介紹(09:05)開始學習1-2常見併發模型講解(05:18)開始學習1-3併發拓展：併發與並行(07:17)開始學習1-4golang中的面向對象(03:29)開始學習2章日誌監控程序的實現本章節講解系統的架構設計和編碼實現，將複雜的業務邏輯拆分紅多個獨立執行的模塊，使用併發的思想來提高程序的執行效率，同時也涉及到各類新包的使用。課程中還講解了grafana和influxdb的配置使用。2-1日誌分析系統實戰(11:12)開始學習2-2代碼優化(10:45)開始學習2-3讀取模塊實現(09:35)開始學習2-4解析模塊的實現(19:57)開始學習2-5寫入模塊流程講解(05:52)開始學習2-6寫入模塊具體實現(11:37)開始學習2-7監控圖的繪製(05:28)開始學習2-8運行情況監控(14:09)開始學習3章課程總結總結整個課程所涉及到的編程知識點，主要包括goroutine和channel的使用。串講了整個日誌監控程序實現的關鍵點，以及併發程序的設計思路。3-1細節優化及課程總結(04:51)開始學習