python爬蟲學習 day001

python3 + pip安裝

Anaconda

Anaconda就是能夠便捷獲取包且對包可以進行管理，同時對環境能夠統一管理的發行版本。Anaconda包含了conda、Python在內的超過180個科學包及其依賴項。

特色

• 開源
• 安裝簡單
• 高性能使用python和R
• 免費社區
• conda包
• 環境管理器
• 1000 +開源

mongodb安裝

用來存儲爬蟲爬取的結果，以便進行處理爬取的數據存儲。mondodb安裝能夠自行百度進行安裝，安裝過程比較簡單。集羣環境以及keyfile之類的後續會有專門的博客進行介紹。

Redis安裝

內存數據庫，能夠用來緩存數據，提升運行效率。

mac下使用：

• brew services start redis
• redis-cli
• redis.conf在/usr/local/etc/目錄下
• auth password 登陸密碼校驗

MySql

關係型數據庫，用來存儲數據。目前在大部分互聯網公司中，使用的很是普遍。具體的安裝過程，直接google。

pgsql

開源，也有不少大型互聯網公司使用。性能不錯。

sqlite3

輕量級的本地數據庫。若是要支持網絡數據庫，須要添加網絡模塊。另外若是要支持集羣，須要額外的模塊進行支持。

py2和py3同時支持

將python3安裝目錄下的python可執行文件名字該python3.windows操做系統下會有exe後綴。另外須要將python2和python3所在的目錄加入到環境變量path下，便可在命令行下同時使用python2和python3.另外pip2和pip3是一樣的。