模塊與包

一 模塊

 模塊的搜索路徑

a.查找模塊，優先查找內存裏面

b.內存沒有，查找內建

c.內建沒有查找sys.path

1 什麼是模塊？

    一個模塊就是一個包含了python定義和聲明的文件，文件名就是模塊名字加上.py的後綴。

2 爲什麼要使用模塊？

    若是你退出python解釋器而後從新進入，那麼你以前定義的函數或者變量都將丟失，所以咱們一般將程序寫到文件中以便永久保存下來，須要時就經過python test.py方式去執行，此時test.py被稱爲腳本script。

    隨着程序的發展，功能愈來愈多，爲了方便管理，咱們一般將程序分紅一個個的文件，這樣作程序的結構更清晰，方便管理。這時咱們不只僅能夠把這些文件當作腳本去執行，還能夠把他們當作模塊來導入到其餘的模塊中，實現了功能的重複利用，

3.如何使用模塊？

回到頂部

3.1 import

示例文件：spam.py，文件名spam.py,模塊名spam

 1 #spam.py
 2 print('from the spam.py')
 3 
 4 money=1000
 5 
 6 def read1():
 7     print('spam->read1->money',1000)
 8 
 9 def read2():
10     print('spam->read2 calling read')
11     read1()
12 
13 def change():
14     global money
15     money=0

 

3.1.1 模塊能夠包含可執行的語句和函數的定義，這些語句的目的是初始化模塊，它們只在模塊名第一次遇到導入import語句時才執行（import語句是能夠在程序中的任意位置使用的,且針對同一個模塊很import屢次,爲了防止你重複導入，python的優化手段是：第一次導入後就將模塊名加載到內存了，後續的import語句僅是對已經加載大內存中的模塊對象增長了一次引用，不會從新執行模塊內的語句），以下 

 1 #test.py
 2 import spam #只在第一次導入時才執行spam.py內代碼,此處的顯式效果是隻打印一次'from the spam.py',固然其餘的頂級代碼也都被執行了,只不過沒有顯示效果.
 3 import spam
 4 import spam
 5 import spam
 6 
 7 '''
 8 執行結果：
 9 from the spam.py
10 '''

咱們能夠從sys.module中找到當前已經加載的模塊，sys.module是一個字典，內部包含模塊名與模塊對象的映射，該字典決定了導入模塊時是否須要從新導入。

 

3.1.2 每一個模塊都是一個獨立的名稱空間，定義在這個模塊中的函數，把這個模塊的名稱空間當作全局名稱空間，這樣咱們在編寫本身的模塊時，就不用擔憂咱們定義在本身模塊中全局變量會在被導入時，與使用者的全局變量衝突

 1 #測試一:money與spam.money不衝突
 2 #test.py
 3 import spam 
 4 money=10
 5 print(spam.money)
 6 
 7 '''
 8 執行結果：
 9 from the spam.py
10 1000
11 '''

 1 #測試二：read1與spam.read1不衝突
 2 #test.py
 3 import spam
 4 def read1():
 5     print('========')
 6 spam.read1()
 7 
 8 '''
 9 執行結果:
10 from the spam.py
11 spam->read1->money 1000
12 '''

 1 #測試三：執行spam.change()操做的全局變量money仍然是spam中的
 2 #test.py
 3 import spam
 4 money=1
 5 spam.change()
 6 print(money)
 7 
 8 '''
 9 執行結果：
10 from the spam.py
11 1
12 '''

 

3.1.3 總結：首次導入模塊spam時會作三件事：

1.爲源文件(spam模塊)建立新的名稱空間，在spam中定義的函數和方法如果使用到了global時訪問的就是這個名稱空間。

2.在新建立的命名空間中執行模塊中包含的代碼，見初始導入import spam

1 提示:導入模塊時到底執行了什麼？
2 
3 In fact function definitions are also ‘statements’ that are ‘executed’; the execution of a module-level function definition enters the function name in the module’s global symbol table.
4 事實上函數定義也是「被執行」的語句，模塊級別函數定義的執行將函數名放入模塊全局名稱空間表，用globals()能夠查看

3.建立名字spam來引用該命名空間

1 這個名字和變量名沒什麼區別，都是‘第一類的’，且使用spam.名字的方式能夠訪問spam.py文件中定義的名字，spam.名字與test.py中的名字來自兩個徹底不一樣的地方。

 

 3.1.4 爲模塊名起別名，至關於m1=1;m2=m1 

1 import spam as sm
2 print(sm.money)

    爲已經導入的模塊起別名的方式對編寫可擴展的代碼頗有用，假設有兩個模塊xmlreader.py和csvreader.py，它們都定義了函數read_data(filename):用來從文件中讀取一些數據，但採用不一樣的輸入格式。能夠編寫代碼來選擇性地挑選讀取模塊，例如

1 if file_format == 'xml':
2     import xmlreader as reader
3 elif file_format == 'csv':
4     import csvreader as reader
5 data=reader.read_date(filename)

 

3.1.5 在一行導入多個模塊

1 import sys,os,re

 

回到頂部

3.2 from ... import...

3.2.1 對比import spam，會將源文件的名稱空間'spam'帶到當前名稱空間中，使用時必須是spam.名字的方式

而from 語句至關於import，也會建立新的名稱空間，可是將spam中的名字直接導入到當前的名稱空間中，在當前名稱空間中，直接使用名字就能夠了、

 1 from spam import read1,read2

這樣在當前位置直接使用read1和read2就行了，執行時，仍然以spam.py文件全局名稱空間

  View Code

若是當前有重名read1或者read2，那麼會有覆蓋效果。

  View Code

須要特別強調的一點是：python中的變量賦值不是一種存儲操做，而只是一種綁定關係，以下：

 1 from spam import money,read1
 2 money=100 #將當前位置的名字money綁定到了100
 3 print(money) #打印當前的名字
 4 read1() #讀取spam.py中的名字money,仍然爲1000
 5 
 6 '''
 7 from the spam.py
 8 100
 9 spam->read1->money 1000
10 '''

 

3.2.2 也支持as

1 from spam import read1 as read

 

3.2.3 也支持導入多行

1 from spam import (read1,
2                   read2,
3                   money)

 

3.2.4 from spam import * 把spam中全部的不是如下劃線(_)開頭的名字都導入到當前位置，大部分狀況下咱們的python程序不該該使用這種導入方式，由於*你不知道你導入什麼名字，頗有可能會覆蓋掉你以前已經定義的名字。並且可讀性極其的差，在交互式環境中導入時沒有問題。

 1 from spam import * #將模塊spam中全部的名字都導入到當前名稱空間
 2 print(money)
 3 print(read1)
 4 print(read2)
 5 print(change)
 6 
 7 '''
 8 執行結果:
 9 from the spam.py
10 1000
11 <function read1 at 0x1012e8158>
12 <function read2 at 0x1012e81e0>
13 <function change at 0x1012e8268>
14 '''

可使用__all__來控制*（用來發布新版本）

在spam.py中新增一行

__all__=['money','read1'] #這樣在另一個文件中用from spam import *就這能導入列表中規定的兩個名字

 

3.2.5 考慮到性能的緣由，每一個模塊只被導入一次,放入字典sys.module中，若是你改變了模塊的內容，你必須重啓程序，python不支持從新加載或卸載以前導入的模塊，

有的同窗可能會想到直接從sys.module中刪除一個模塊不就能夠卸載了嗎，注意了，你刪了sys.module中的模塊對象仍然可能被其餘程序的組件所引用，於是不會被清楚。

特別的對於咱們引用了這個模塊中的一個類，用這個類產生了不少對象，於是這些對象都有關於這個模塊的引用。

若是隻是你想交互測試的一個模塊，使用 importlib.reload(), e.g. import importlib; importlib.reload(modulename)，這隻能用於測試環境。

  aa.py的初始內容

  執行test.py

在20秒的等待時間裏，修改aa.py中func1的內容，等待test.py的結果。

打開importlib註釋，從新測試

 

回到頂部

3.3 把模塊當作腳本執行 

咱們能夠經過模塊的全局變量__name__來查看模塊名：
當作腳本運行：
__name__ 等於'__main__'

當作模塊導入：
__name__=

做用：用來控制.py文件在不一樣的應用場景下執行不一樣的邏輯
if __name__ == '__main__':

  View Code 

執行

1 #python fib.py <arguments>
2 python fib.py 50 #在命令行

 

回到頂部

3.4 模塊搜索路徑

python解釋器在啓動時會自動加載一些模塊，可使用sys.modules查看

在第一次導入某個模塊時（好比spam），會先檢查該模塊是否已經被加載到內存中（當前執行文件的名稱空間對應的內存），若是有則直接引用

若是沒有，解釋器則會查找同名的內建模塊，若是尚未找到就從sys.path給出的目錄列表中依次尋找spam.py文件。

因此總結模塊的查找順序是：內存中已經加載的模塊->內置模塊->sys.path路徑中包含的模塊

sys.path的初始化的值來自於：

The directory containing the input script (or the current directory when no file is specified).
PYTHONPATH (a list of directory names, with the same syntax as the shell variable PATH).
The installation-dependent default.

須要特別注意的是：咱們自定義的模塊名不該該與系統內置模塊重名。雖然每次都說，可是仍然會有人不停的犯錯。 

在初始化後，python程序能夠修改sys.path,路徑放到前面的優先於標準庫被加載。

1 >>> import sys
2 >>> sys.path.append('/a/b/c/d')
3 >>> sys.path.insert(0,'/x/y/z') #排在前的目錄，優先被搜索

注意：搜索時按照sys.path中從左到右的順序查找，位於前的優先被查找，sys.path中還可能包含.zip歸檔文件和.egg文件，python會把.zip歸檔文件當成一個目錄去處理，

1 #首先製做歸檔文件：zip module.zip foo.py bar.py
2 
3 import sys
4 sys.path.append('module.zip')
5 import foo,bar
6 
7 #也可使用zip中目錄結構的具體位置
8 sys.path.append('module.zip/lib/python')

 

至於.egg文件是由setuptools建立的包，這是按照第三方python庫和擴展時使用的一種常見格式，.egg文件實際上只是添加了額外元數據(如版本號，依賴項等)的.zip文件。

須要強調的一點是：只能從.zip文件中導入.py，.pyc等文件。使用C編寫的共享庫和擴展塊沒法直接從.zip文件中加載（此時setuptools等打包系統有時能提供一種規避方法），且從.zip中加載文件不會建立.pyc或者.pyo文件，所以必定要事先建立他們，來避免加載模塊是性能降低。

 

回到頂部

3.5 編譯python文件

爲了提升模塊的加載速度，Python緩存編譯的版本，每一個模塊在__pycache__目錄的以module.version.pyc的形式命名，一般包含了python的版本號，如在CPython版本3.3，關於spam.py的編譯版本將被緩存成__pycache__/spam.cpython-33.pyc，這種命名約定容許不一樣的版本，不一樣版本的Python編寫模塊共存。

Python檢查源文件的修改時間與編譯的版本進行對比，若是過時就須要從新編譯。這是徹底自動的過程。而且編譯的模塊是平臺獨立的，因此相同的庫能夠在不一樣的架構的系統之間共享，即pyc使一種跨平臺的字節碼，相似於JAVA火.NET,是由python虛擬機來執行的，可是pyc的內容跟python的版本相關，不一樣的版本編譯後的pyc文件不一樣，2.5編譯的pyc文件不能到3.5上執行，而且pyc文件是能夠反編譯的，於是它的出現僅僅是用來提高模塊的加載速度的。

 

提示：

1.模塊名區分大小寫，foo.py與FOO.py表明的是兩個模塊

2.你可使用-O或者-OO轉換python命令來減小編譯模塊的大小

1 -O轉換會幫你去掉assert語句
2 -OO轉換會幫你去掉assert語句和__doc__文檔字符串
3 因爲一些程序可能依賴於assert語句或文檔字符串，你應該在在確認須要的狀況下使用這些選項。

3.在速度上從.pyc文件中讀指令來執行不會比從.py文件中讀指令執行更快，只有在模塊被加載時，.pyc文件纔是更快的

4.只有使用import語句是纔將文件自動編譯爲.pyc文件，在命令行或標準輸入中指定運行腳本則不會生成這類文件，於是咱們可使用compieall模塊爲一個目錄中的全部模塊建立.pyc文件

1 模塊能夠做爲一個腳本（使用python -m compileall）編譯Python源
2  
3 python -m compileall /module_directory 遞歸着編譯
4 若是使用python -O -m compileall /module_directory -l則只一層
5  
6 命令行裏使用compile()函數時，自動使用python -O -m compileall
7  
8 詳見：https://docs.python.org/3/library/compileall.html#module-compileall

 

回到頂部

3.6  標準模塊

python提供了一個標準模塊庫，一些模塊被內置到解釋器中，這些提供了不屬於語言核心部分的操做的訪問，但它們是內置的，不管是爲了效率仍是提供對操做系統原語的訪問。這些模塊集合是依賴於底層平臺的配置項，如winreg模塊只能用於windows系統。特別須要注意的是，sys模塊內建在每個python解釋器

sys.ps1
sys.ps2
這倆只在命令行有效，得出的結果，標識瞭解釋器是在交互式模式下。

變量sys.path是一個決定了模塊搜索路徑的字符串列表，它從環境變量PYTHONOATH中初始化默認路徑，若是PYTHONPATH沒有設置則從內建中初始化值，咱們能夠修改它
sys.path.append

import os
os.path.normpath(path)  #規範化路徑，轉換path的大小寫和斜槓

a='/Users/jieli/test1/\\\a1/\\\\aa.py/../..'
print(os.path.normpath(a))
'''
打印結果：
\Users\jieli\test1
'''


#具體應用
import os,sys
possible_topdir = os.path.normpath(os.path.join(
    os.path.abspath(__file__),
    os.pardir, #上一級
    os.pardir,
    os.pardir
))
sys.path.insert(0,possible_topdir)

 

回到頂部

3.7  dir()函數

內建函數dir是用來查找模塊中定義的名字，返回一個有序字符串列表
import spam
dir(spam)

若是沒有參數,dir()列舉出當前定義的名字

dir()不會列舉出內建函數或者變量的名字，它們都被定義到了標準模塊builtin中，能夠列舉出它們，
import builtins
dir(builtins)

回到頂部

二 包

Packages are a way of structuring Python’s module namespace by using 「dotted module names」
包是一種經過使用‘.模塊名’來組織python模塊名稱空間的方式。

不管是import形式仍是from...import形式，凡是在導入語句中（而不是在使用時）遇到帶點的，都要第一時間提升警覺：這是關於包纔有的導入語法

包的本質就是一個包含__init__.py文件的目錄。
包A和包B下有同名模塊也不會衝突，如A.a與B.a來自倆個命名空間

glance/                   #Top-level package

├── __init__.py      #Initialize the glance package

├── api                  #Subpackage for api

│   ├── __init__.py

│   ├── policy.py

│   └── versions.py

├── cmd                #Subpackage for cmd

│   ├── __init__.py

│   └── manage.py

└── db                  #Subpackage for db

    ├── __init__.py

    └── models.py

 

 1 #文件內容
 2 
 3 #policy.py
 4 def get():
 5     print('from policy.py')
 6 
 7 #versions.py
 8 def create_resource(conf):
 9     print('from version.py: ',conf)
10 
11 #manage.py
12 def main():
13     print('from manage.py')
14 
15 #models.py
16 def register_models(engine):
17     print('from models.py: ',engine) 

2.1 注意事項
1.關於包相關的導入語句也分爲import和from ... import ...兩種，可是不管哪一種，不管在什麼位置，在導入時都必須遵循一個原則：凡是在導入時帶點的，點的左邊都必須是一個包，不然非法。能夠帶有一連串的點，如item.subitem.subsubitem,但都必須遵循這個原則。

2.對於導入後，在使用時就沒有這種限制了，點的左邊能夠是包,模塊，函數，類(它們均可以用點的方式調用本身的屬性)。

3.對比import item 和from item import name的應用場景：
若是咱們想直接使用name那必須使用後者。

回到頂部

2.2 import 

咱們在與包glance同級別的文件中測試

1 import glance.db.models
2 glance.db.models.register_models('mysql') 

回到頂部

2.3 from ... import ...

須要注意的是from後import導入的模塊，必須是明確的一個不能帶點，不然會有語法錯誤，如：from a import b.c是錯誤語法

咱們在與包glance同級別的文件中測試 

1 from glance.db import models
2 models.register_models('mysql')
3 
4 from glance.db.models import register_models
5 register_models('mysql')

回到頂部

2.4 __init__.py文件

不論是哪一種方式，只要是第一次導入包或者是包的任何其餘部分，都會依次執行包下的__init__.py文件(咱們能夠在每一個包的文件內都打印一行內容來驗證一下)，這個文件能夠爲空，可是也能夠存放一些初始化包的代碼。

回到頂部

2.5  from glance.api import *

在講模塊時，咱們已經討論過了從一個模塊內導入全部*，此處咱們研究從一個包導入全部*。

此處是想從包api中導入全部，實際上該語句只會導入包api下__init__.py文件中定義的名字，咱們能夠在這個文件中定義__all___:

1 #在__init__.py中定義
2 x=10
3 
4 def func():
5     print('from api.__init.py')
6 
7 __all__=['x','func','policy']

此時咱們在於glance同級的文件中執行from glance.api import *就導入__all__中的內容（versions仍然不能導入）。

回到頂部

2.6 絕對導入和相對導入

咱們的最頂級包glance是寫給別人用的，而後在glance包內部也會有彼此之間互相導入的需求，這時候就有絕對導入和相對導入兩種方式：

絕對導入：以glance做爲起始

相對導入：用.或者..的方式最爲起始（只能在一個包中使用，不能用於不一樣目錄內）

例如：咱們在glance/api/version.py中想要導入glance/cmd/manage.py

1 在glance/api/version.py
2 
3 #絕對導入
4 from glance.cmd import manage
5 manage.main()
6 
7 #相對導入
8 from ..cmd import manage
9 manage.main()

測試結果：注意必定要在於glance同級的文件中測試

1 from glance.api import versions 

注意：在使用pycharm時，有的狀況會爲你多作一些事情，這是軟件相關的東西，會影響你對模塊導入的理解，於是在測試時，必定要回到命令行去執行，模擬咱們生產環境，你總不能拿着pycharm去上線代碼吧！！！

 

特別須要注意的是：能夠用import導入內置或者第三方模塊，可是要絕對避免使用import來導入自定義包的子模塊，應該使用from... import ...的絕對或者相對導入,且包的相對導入只能用from的形式。

好比咱們想在glance/api/versions.py中導入glance/api/policy.py，有的同窗一抽這倆模塊是在同一個目錄下，十分開心的就去作了，它直接這麼作

1 #在version.py中
2 
3 import policy
4 policy.get()

 

沒錯，咱們單獨運行version.py是一點問題沒有的，運行version.py的路徑搜索就是從當前路徑開始的，因而在導入policy時能在當前目錄下找到

可是你想啊，你子包中的模塊version.py極有多是被一個glance包同一級別的其餘文件導入，好比咱們在於glance同級下的一個test.py文件中導入version.py，以下

 1 from glance.api import versions
 2 
 3 '''
 4 執行結果:
 5 ImportError: No module named 'policy'
 6 '''
 7 
 8 '''
 9 分析:
10 此時咱們導入versions在versions.py中執行
11 import policy須要找從sys.path也就是從當前目錄找policy.py,
12 這必然是找不到的
13 '''

回到頂部

2.7 單獨導入包

單獨導入包名稱時不會導入包中全部包含的全部子模塊，如

#在與glance同級的test.py中
import glance
glance.cmd.manage.main()

'''
執行結果：
AttributeError: module 'glance' has no attribute 'cmd'

''' 

解決方法：

1 #glance/__init__.py
2 from . import cmd
3 
4 #glance/cmd/__init__.py
5 from . import manage

執行：

1 #在於glance同級的test.py中
2 import glance
3 glance.cmd.manage.main()

千萬別問：__all__不能解決嗎，__all__是用於控制from...import * ，fuck