Python的虛擬機安裝已經如何配置Scrapy for Mac

 

時間：2018年2月21日

由於時間問題，如下筆記就粗略記錄。僅做爲我的筆記爲用

安裝virtualenv和virtualenvwrapper

如何安裝的細節下面這篇也有介紹，包括如何使用切換虛擬機也有介紹

http://blog.csdn.net/xshalk/article/details/47301339

 

其中如何找 .bash_profile文件

　　在Finder用快捷鍵command+shift+G輸入打開目錄~/
　　再快捷鍵：shift+comman+. 顯示隱藏文件便可找到這個文件
　　修改保存以後，再在終端命令行運行 source ~/.bash_profile，就會執行這個文件

 

後來在安裝過程遇到一些問題，再通過百度，下面這篇能夠解決python路徑的問題

https://www.jianshu.com/p/2999e258cbf9

 

另外，建立不須要任何包的虛擬環境 mkvirtualenv --no-site-packages venv

 

接着步驟就是：workon虛擬環境，pip3 install 一系列包，

而後cd進入到須要建立項目的目錄下建立項目，

再cd進入項目根目錄建立一個爬蟲的py文件，

注意，這裏下面截圖有個小錯誤：scrapy genspider name url，這裏的url不須要「http://」:

而後就是用pycharm來open這個項目，而且要記得從新選擇虛擬環境配置，直接就選前面workon選中的虛擬環境。

 

 

而後是調試技巧，在scrapy.cfg同級目錄下新建main.py文件

而後代碼以下：

 1 # 經過這個文件來調試，能夠提升開發效率
 2 
 3 from scrapy.cmdline import execute
 4 
 5 import sys
 6 import os
 7 
 8 '''
 9 設置工程的目錄
10 os.path.abspath(__file__) 獲取當前文件的目錄
11 
12 os.path.dirname(file的全路徑) 獲取當前file的父目錄 
13 
14 打印測試
15 print(os.path.abspath(__file__))
16 print(os.path.dirname(os.path.abspath(__file__)))
17 
18 '''
19 
20 # print(os.path.abspath(__file__))
21 # print(os.path.dirname(os.path.abspath(__file__)))
22 sys.path.append(os.path.dirname(os.path.abspath(__file__)))
23 
24 
25 # path = os.path.dirname(os.path.abspath(__file__))+"/ArticleSpider"
26 # sys.path.append(path)
27 # print(sys.path)
28 
29 '''執行命令的方法 —— 查詢股票名字代碼列表'''
30 # execute("scrapy crawl quote_eastmoney_com".split())
31 
32 '''執行命令的方法 —— 查詢股票名字代碼列表'''
33 execute("scrapy crawl data_eastmoney_com_hsgtcg".split())