pycharm爬取網頁數據

1 python環境的配置
1.1 安裝python文件包，放到能夠找到的位置
1.2 右鍵計算機->屬性->高級環境設置->系統變量->Path->編輯->複製python路徑位置
1.3 管理員身份打開cmd,輸入python，測試環境是否安裝成功

2 安裝pycharm
2.1 安裝pycharm文件包，放到能夠找到的位置
2.2 新建文件夾，須要設置環境
2.3 File->Setting->project ...->add->找到python.exe
2.4 爬蟲須要的安裝包
2.4.1 打開cmd(管理員身份)
2.4.2 python -m pip install requests
2.4.3 python -m pip install lxml
2.4.4 python -m pip install bs4
2.5爬取數據
2.5.1 打開cmd 輸入scrapy startproject Demo(能夠先進入存放文件的目錄)
2.5.2 打開pycharm打開文件Demo,新建python文件
2.5.3 新建python文件begin.py輸入如下命令，運行begin能夠實現爬取數據
from scrapy import cmdline
cmdline.execute("scrapy crawl uestc".split())
2.5.4 打開settings.py設置輸出文件格式和文件位置以及User_agent
FEED_URI = u'file:///C:/scrapy/test.csv'//輸出目錄
FEED_FORMAT='CSV'
FEED_EXPORT_ENCODING="gb18030"
3 如下爲部分圖片