python2.7編譯安裝升級python3並安裝Scrapy

一.安裝python3

1.wget https://www.python.org/ftp/python/3.5.1/Python-3.5.1.tgz

2.編譯安裝,在編譯安裝前須要構建編譯環境,安裝gcc

yum -y install gcc

3.安裝完成以後,咱們輸入python,這個時候任然是python2版本,須要從新定義軟鏈接,從新創建指向 find / -name python3

mv /usr/bin/python /usr/bin/python27
ln -s /usr/python/bin/python3 /usr/bin/python

 

python3.5安裝報錯
python3.5: error while loading shared libraries: libpython3.5m.so.1.0: cannot open shared object file: No such file or directory
緣由是由於python運行時沒有加載到libpython3.5m.so.1.0 這個庫文件將其複製到響應目錄OK

解決方法:
[root@www Python-3.5.0]# cd /root/test/Python-3.5.0     進入解壓後的編譯目錄
[root@www Python-3.5.0]#  cp libpython3.5m.so.1.0 /usr/local/lib64/
[root@www Python-3.5.0]#  cp libpython3.5m.so.1.0 /usr/lib/ 
[root@www Python-3.5.0]#  cp libpython3.5m.so.1.0 /usr/lib64/

 

4.這個時候,咱們的yum命令就是沒法使用了,由於默認的yum是隻支持python2版本,咱們能夠簡單設置一下便可,以下:

修改yum配置文件(vi /usr/bin/yum)。
把文件頭部的#!/usr/bin/python改爲#!/usr/bin/python27保存退出便可

二.安裝python包管理工具pip

在第一步,咱們安裝好了pyhton3的環境,接下來,咱們就基於python3版原本安裝相應的pip工具，pip默認是依賴於setuptools的

1. wget --no-check-certificate  https://pypi.python.org/packages/source/s/setuptools/setuptools-19.6.tar.gz#md5=c607dd118eae682c44ed146367a17e26

解壓安裝
tar -zxf setuptools-19.6.tar.gz
cd pip-9.0.1
python setup.py install

2.wget https://pypi.python.org/packages/11/b6/abcb525026a4be042b486df43905d6893fb04f05aac21c32c638e939e447/pip-9.0.1.tar.gz

解壓安裝
tar -zxf pip-9.0.1.tar.gz 
cd pip-9.0.1
python setup.py install
創建軟鏈接 ln -sv /usr/python/bin/pip /usr/bin/pip    -->find / -name pip

三.安裝Scrapy爬蟲環境

能夠直接使用pip工具來進行包的安裝

1.測試一：安裝requests 

[root@liuge ~]# pip install -i https://pypi.douban.com/simple/ requests

看是否安裝其餘依賴 yum -y install openssl openssl-devel

2.測試安裝scrapy環境

[root@liuge python35]# pip install -i https://pypi.douban.com/simple/ scrapy

發現,找不到Twisted 
咱們須要手動安裝Twisted 

[root@liuge ~]# wget https://pypi.python.org/packages/source/T/Twisted/Twisted-15.2.1.tar.bz2

[root@liuge ~]# bzip2 -d Twisted-15.2.1.tar.bz2 
[root@liuge ~]# tar xf Twisted-15.2.1.tar 
[root@liuge ~]# cd Twisted-15.2.1/
[root@liuge Twisted-15.2.1]# python setup.py install

若報錯

Downloading packages:
  File "/usr/libexec/urlgrabber-ext-down", line 28
    except OSError, e:
                  ^
SyntaxError: invalid syntax
則 vim /usr/libexec/urlgrabber-ext-down 將原來的 /usr/bin/python 改爲  /usr/bin/python2.7 就行 

再從新安裝

pip install -i https://pypi.douban.com/simple/ scrapy

    python -m pip install --upgrade pip  升級pip

    sudo pip install twisted --upgrade   升級twisted

創建軟鏈接 ln -s /usr/python/bin/scrapy   /usr/bin/scrapy    -->find / -name scrapy

若pip insatall twisted 安裝的版本低 不能支持python3.5 去官網下載一個高版本 wget https://twistedmatrix.com/Releases/Twisted/17.9/Twisted-17.9.0.tar.bz2 

從新編譯安裝

scrapy -V  

到此安裝完成

推薦python豆瓣鏡像源:

pip install -i https://pypi.douban.com/simple/

找擴展依賴包地址:

www.lfd.uci.edu/~gohlke/pythonlibs/

有時候,須要這樣替換

pip install requests -i http://pypi.douban.com/simple/ –trusted-host pypi.douban.com