羣輝6.1.7安裝scrapy框架執行爬蟲

只針對會linux命令，會python的夥伴，

使用環境爲：

羣輝ds3615xs 6.1.7

python3.5

最近使用scrapy開發了一個小爬蟲，由於很窮沒有服務器可已部署。

因此打起了我那臺千辛萬苦攢出來的羣輝的主意。之前折騰的時候發現羣輝6.1.7基於linux64位系統實現的。

既然是linux系統就應該能夠裝python。開始個人折騰之路。

剛開始直接ssh遠程上去後想apt-get install 方法安裝python的，結果發現根本就沒有apt-get命令。

後來又試過官網下載pthon3.6源碼進行安裝，發現沒有編譯環境。

不過羣輝的好處就是第三方套件不少。

如下命令的路徑都是基於本人真實路徑，請根據實際狀況修改

1.添加第三方套件源 http://packages.synocommunity.com/

安裝第三方的python3（官方也提供了一個python3，可是我沒用，也不知道是爲何，爲何呢，爲何呢，問了本身八百遍。建議不太懂的參考個人）

安裝以下python3就好

安裝完成後，進入設置開啓ssh，putty遠程鏈接上羣輝。

 

記得查看一下python3安裝在哪一個位置，在下圖中能夠獲得位置，個人是在volume2下

2.羣輝官方安裝的python3默認是沒有pip的，我廢了老大勁裝上了，而後pip3 install scrapy裝不上。

固然若是裝上了這個教程就到此結束了，結果廢了半天勁最後沒用上pip。

pip安裝scrapy 期間處理各類錯誤，奈何本人技術有限沒法成功，只能另闢蹊徑用非正常方法了。

本人開發環境是虛擬機下的deepin系統(底層也是linux)，已經裝好了scrapy框架，一樣是python3.5。

進入deppin虛擬機的套件安裝目錄，本人的路徑是/home/libing/.local/lib/python3.5/site-packages，別的系統自行查找

複製出來如下文件夾待用 pydispatch，pyOpenSSL-18.0.0.dist-info，scrapy，twisted，Twisted-18.7.0.dist-info，

複製出來scrapy文件，命令行下 type scrapy 能夠查看路徑。

上傳複製出來的文件到羣輝。我上傳到了 /volume2/docker 目錄下

文件夾名稱可能版本不一樣有所差別，可能有漏的，由於我安裝了pip複製完成後又執行了pip install scrapy 進行了安裝會把某些漏網之魚裝上。

 

 

3.putty鏈接上羣輝 執行sudo su -  命令輸入當前用戶的密碼進入超級管理員（注意su和-有一個空格）

cd 到 /volume2/@appstore/python3/lib/python3 目錄

volume2就是剛纔羣輝安裝套件的位置

python3.5根據安裝版本不一樣可能不一樣。

執行cp命令複製剛纔上傳的文件到當前目錄

cp -r /volume2/docker/python3/剛纔上傳的文件夾名/ ./

全部的都有所有複製過去

而後把scrapy文件複製到/usr/local/bin/就好

cp /volume2/docker/python3/scrapy /usr/local/bin/scrapy /usr/local/bin/

還要爲python3建立一個軟鏈接，否則會提示沒有python3命令根據個人路徑是以下命令

ln -s /volume2/docker/python3/scrapy /usr/local/bin/python3 /bin/

也能夠這樣給pip3添加軟鏈接。

建議再進行pip3 install scrapy安裝一次，防止有漏的文件夾和文件。

 

 

完成後若是執行scrapy命令不報錯，那麼恭喜你成功了。