數據科學家的Pytest

時間  2020-10-23
標籤 python linux git github 算法 bash session app 框架 機器學習 欄目 Python 简体版
原文   原文鏈接

做者|Khuyen Tran
編譯|VK
來源|Towards Datas Sciencepython

動機

應用不一樣的python代碼來處理notebook中的數據是頗有趣的，可是爲了使代碼具備可複製性，你須要將它們放入函數和類中。將代碼放入腳本時，代碼可能會因某些函數而中斷。那麼，如何檢查你的功能是否如你所指望的那樣工做呢？linux

例如，咱們使用TextBlob建立一個函數來提取文本的情感，TextBlob是一個用於處理文本數據的Python庫。咱們但願確保它像咱們預期的那樣工做：若是測試爲積極，函數返回一個大於0的值；若是文本爲消極，則返回一個小於0的值。git

from textblob import TextBlob

def extract_sentiment(text: str):
        '''使用textblob提取情緒。
        	在範圍[- 1,1]內'''

        text = TextBlob(text)

        return text.sentiment.polarity

要知道函數是否每次都會返回正確的值，最好的方法是將這些函數應用於不一樣的示例，看看它是否會產生咱們想要的結果。這就是測試的重要性。github

通常來講，你應該在數據科學項目中使用測試，由於它容許你：算法

  • 確保代碼按預期工做bash

  • 檢測邊緣狀況session

  • 有信心用改進的代碼交換現有代碼，而沒必要擔憂破壞整個管道app

有許多Python工具可用於測試，但最簡單的工具是Pytest。框架

Pytest入門

Pytest是一個框架，它使得用Python編寫小測試變得容易。我喜歡pytest，由於它能夠幫助我用最少的代碼編寫測試。若是你不熟悉測試，那麼pytest是一個很好的入門工具。機器學習

要安裝pytest，請運行

pip install -U pytest

要測試上面所示的函數，咱們能夠簡單地建立一個函數，該函數以test_開頭，後面跟着咱們要測試的函數的名稱，即extract_sentiment

#sentiment.py
def extract_sentiment(text: str):
        '''使用textblob提取情緒。
        	在範圍[- 1,1]內'''

        text = TextBlob(text)

        return text.sentiment.polarity

def test_extract_sentiment():

    text = "I think today will be a great day"

    sentiment = extract_sentiment(text)

    assert sentiment > 0

在測試函數中，咱們將函數extract_sentiment應用於示例文本：「I think today will be a great day」。咱們使用assert sentiment > 0來確保情緒是積極的。

就這樣！如今咱們準備好運行測試了。

若是咱們的腳本名是sentiment.py，咱們能夠運行

pytest sentiment.py

Pytest將遍歷咱們的腳本並運行以test開頭的函數。上面的測試輸出以下所示

========================================= test session starts ==========================================
platform linux -- Python 3.8.3, pytest-5.4.2, py-1.8.1, pluggy-0.13.1

collected 1 item
process.py .                                                                                     [100%]

========================================== 1 passed in 0.68s ===========================================

很酷！咱們不須要指定要測試哪一個函數。只要函數名以test開頭，pytest就會檢測並執行該函數！咱們甚至不須要導入pytest就能夠運行pytest

若是測試失敗，pytest會產生什麼輸出？

#sentiment.py

def test_extract_sentiment():

    text = "I think today will be a great day"

    sentiment = extract_sentiment(text)

    assert sentiment < 0
>>> pytest sentiment.py

========================================= test session starts ==========================================
platform linux -- Python 3.8.3, pytest-5.4.2, py-1.8.1, pluggy-0.13.1
collected 1 item

process.py F                                                                                     [100%]
=============================================== FAILURES ===============================================
________________________________________ test_extract_sentiment ________________________________________

def test_extract_sentiment():
    
        text = "I think today will be a great day"
    
        sentiment = extract_sentiment(text)
    
>       assert sentiment < 0
E       assert 0.8 < 0

process.py:17: AssertionError
======================================= short test summary info ========================================
FAILED process.py::test_extract_sentiment - assert 0.8 < 0
========================================== 1 failed in 0.84s ===========================================

從輸出能夠看出，測試失敗是由於函數的情感值爲0.8，而且不小於0！咱們不只能夠知道咱們的函數是否如預期的那樣工做，並且還能夠知道爲何它不起做用。從這個角度來看，咱們知道在哪裏修復咱們的函數，以實現咱們想要的功能。

同一函數的屢次測試

咱們能夠用其餘例子來測試咱們的函數。新測試函數的名稱是什麼？

第二個函數的名稱能夠是test_extract_sentiment_2，若是咱們想在帶有負面情緒的文本上測試函數，那麼它的名稱能夠是test_extract_sentiment_negative。任何函數名只要以test開頭就能夠工做

#sentiment.py

def test_extract_sentiment_positive():

    text = "I think today will be a great day"

    sentiment = extract_sentiment(text)

    assert sentiment > 0

def test_extract_sentiment_negative():

    text = "I do not think this will turn out well"

    sentiment = extract_sentiment(text)

    assert sentiment < 0
>>> pytest sentiment.py

========================================= test session starts ==========================================
platform linux -- Python 3.8.3, pytest-5.4.2, py-1.8.1, pluggy-0.13.1
collected 2 items

process.py .F                                                                                    [100%]
=============================================== FAILURES ===============================================
___________________________________ test_extract_sentiment_negative ____________________________________

def test_extract_sentiment_negative():
    
        text = "I do not think this will turn out well"
    
        sentiment = extract_sentiment(text)
    
>       assert sentiment < 0
E       assert 0.0 < 0

process.py:25: AssertionError
======================================= short test summary info ========================================
FAILED process.py::test_extract_sentiment_negative - assert 0.0 < 0
===================================== 1 failed, 1 passed in 0.80s ======================================

從輸出中，咱們知道一個測試經過，一個測試失敗，以及測試失敗的緣由。咱們但願「I do not think this will turn out well」這句話是消極的，但結果倒是0。

這有助於咱們理解，函數可能不會100%準確；所以，在使用此函數提取文本情感時，咱們應該謹慎。

參數化：組合測試

以上2個測試功能用於測試同一功能。有沒有辦法把兩個例子合併成一個測試函數？這時參數化就派上用場了

用樣本列表參數化

使用pytest.mark.parametrize()，經過在參數中提供示例列表，咱們可使用不一樣的示例執行測試。

# sentiment.py

from textblob import TextBlob
import pytest

def extract_sentiment(text: str):
        '''使用textblob提取情緒。
        	在範圍[- 1,1]內'''

        text = TextBlob(text)

        return text.sentiment.polarity

testdata = ["I think today will be a great day","I do not think this will turn out well"]

@pytest.mark.parametrize('sample', testdata)
def test_extract_sentiment(sample):

    sentiment = extract_sentiment(sample)

    assert sentiment > 0

在上面的代碼中，咱們將變量sample分配給一個示例列表，而後將該變量添加到測試函數的參數中。如今每一個例子將一次測試一次。

========================== test session starts ===========================
platform linux -- Python 3.8.3, pytest-5.4.2, py-1.8.1, pluggy-0.13.1
collected 2 items

sentiment.py .F                                                    [100%]

================================ FAILURES ================================
_____ test_extract_sentiment[I do not think this will turn out well] _____

sample = 'I do not think this will turn out well'

@pytest.mark.parametrize('sample', testdata)
    def test_extract_sentiment(sample):
    
        sentiment = extract_sentiment(sample)
    
>       assert sentiment > 0
E       assert 0.0 > 0

sentiment.py:19: AssertionError
======================== short test summary info =========================
FAILED sentiment.py::test_extract_sentiment[I do not think this will turn out well]
====================== 1 failed, 1 passed in 0.80s ===================

使用parametrize()，咱們能夠在once函數中測試兩個不一樣的示例！

使用示例列表和預期輸出進行參數化

若是咱們指望不一樣的例子有不一樣的輸出呢？Pytest還容許咱們向測試函數的參數添加示例和預期輸出！

例如，下面的函數檢查文本是否包含特定的單詞。

def text_contain_word(word: str, text: str):
    '''檢查文本是否包含特定的單詞'''
    
    return word in text

若是文本包含單詞，則返回True。

若是單詞是「duck」，而文本是「There is a duck in this text」，咱們指望返回True。

若是單詞是‘duck’，而文本是‘There is nothing here’，咱們指望返回False。

咱們將使用parametrize()而不使用元組列表。

# process.py
import pytest
def text_contain_word(word: str, text: str):
    '''查找文本是否包含特定的單詞'''
    
    return word in text

testdata = [
    ('There is a duck in this text',True),
    ('There is nothing here', False)
    ]

@pytest.mark.parametrize('sample, expected_output', testdata)
def test_text_contain_word(sample, expected_output):

    word = 'duck'

    assert text_contain_word(word, sample) == expected_output

函數的參數結構爲parametrize('sample，expected_out'，'testdata)，testdata=[( ， )，( ， ) 

>>> pytest process.py

========================================= test session starts ==========================================
platform linux -- Python 3.8.3, pytest-5.4.2, py-1.8.1, pluggy-0.13.1
plugins: hydra-core-1.0.0, Faker-4.1.1
collected 2 items

process.py ..                                                                                    [100%]

========================================== 2 passed in 0.04s ===========================================

咱們的兩個測試都經過了！

一次測試一個函數

當腳本中測試函數的數量愈來愈大時，你可能但願一次測試一個函數而不是多個函數。用pytest很容易，pytest file.py::function_name

testdata = ["I think today will be a great day","I do not think this will turn out well"]

@pytest.mark.parametrize('sample', testdata)
def test_extract_sentiment(sample):

    sentiment = extract_sentiment(sample)

    assert sentiment > 0


testdata = [
    ('There is a duck in this text',True),
    ('There is nothing here', False)
    ]

@pytest.mark.parametrize('sample, expected_output', testdata)
def test_text_contain_word(sample, expected_output):

    word = 'duck'

    assert text_contain_word(word, sample) == expected_output

例如，若是你只想運行test_text_contain_word，請運行

pytest process.py::test_text_contain_word

而pytest只執行咱們指定的一個測試！

fixture：使用相同的數據來測試不一樣的函數

若是咱們想用相同的數據來測試不一樣的函數呢？例如，咱們想測試「今Today I found a duck and I am happy」這句話是否包含「duck 」這個詞，它的情緒是不是積極的。這是fixture派上用場的時候。

pytest fixture是一種向不一樣的測試函數提供數據的方法

@pytest.fixture
def example_data():
    return 'Today I found a duck and I am happy'


def test_extract_sentiment(example_data):

    sentiment = extract_sentiment(example_data)

    assert sentiment > 0

def test_text_contain_word(example_data):

    word = 'duck'

    assert text_contain_word(word, example_data) == True

在上面的示例中，咱們使用decorator建立了一個示例數據@pytest.fixture在函數example_data的上方。這將把example_data轉換成一個值爲「Today I found a duck and I am happy」的變量

如今，咱們可使用示例數據做爲任何測試的參數！

組織你的項目

最後但並不是最不重要的是，當代碼變大時，咱們可能須要將數據科學函數和測試函數放在兩個不一樣的文件夾中。這將使咱們更容易找到每一個函數的位置。

用test_<name>.py或<name>_test.py命名咱們的測試函數. Pytest將搜索名稱以「test」結尾或以「test」開頭的文件，並在該文件中執行名稱以「test」開頭的函數。這很方便！

有不一樣的方法來組織你的文件。你能夠將咱們的數據科學文件和測試文件組織在同一個目錄中，也能夠在兩個不一樣的目錄中組織，一個用於源代碼，一個用於測試

方法1：

test_structure_example/
├── process.py
└── test_process.py

方法2：

test_structure_example/
├── src
│   └── process.py
└── tests
    └── test_process.py

因爲數據科學函數極可能有多個文件，測試函數有多個文件，因此你可能須要將它們放在不一樣的目錄中，如方法2。

這是2個文件的樣子

from textblob import TextBlob

def extract_sentiment(text: str):
        '''使用textblob提取情緒。
        	在範圍[- 1,1]內'''

        text = TextBlob(text)

        return text.sentiment.polarity
import sys
import os.path
sys.path.append(
    os.path.abspath(os.path.join(os.path.dirname(__file__), os.path.pardir)))
from src.process import extract_sentiment
import pytest


def test_extract_sentiment():

    text = 'Today I found a duck and I am happy'

    sentiment = extract_sentiment(text)

    assert sentiment > 0

簡單地說添加sys.path.append(os.path.abspath(os.path.join(os.path.dirname(__file__), os.path.pardir)))能夠從父目錄導入函數。

在根目錄(test_structure_example/)下，運行pytest tests/test_process.py或者運行在test_structure_example/tests目錄下的pytest test_process.py。

========================== test session starts ===========================
platform linux -- Python 3.8.3, pytest-5.4.2, py-1.8.1, pluggy-0.13.1
collected 1 item

tests/test_process.py .                                            [100%]

=========================== 1 passed in 0.69s ============================

很酷！

結論

你剛剛瞭解了pytest。我但願本文能很好地概述爲何測試很重要，以及如何將測試與pytest結合到數據科學項目中。經過測試，你不只能夠知道你的函數是否按預期工做，並且還能夠自信地使用不一樣的工具或不一樣的代碼結構來切換現有代碼。

本文的源代碼能夠在這裏找到：

https://github.com/khuyentran1401/Data-science/tree/master/data_science_tools/pytest

我喜歡寫一些基本的數據科學概念，玩不一樣的算法和數據科學工具。

原文連接：https://towardsdatascience.com/pytest-for-data-scientists-2990319e55e6

歡迎關注磐創AI博客站：
http://panchuang.net/

sklearn機器學習中文官方文檔：
http://sklearn123.com/

歡迎關注磐創博客資源彙總站：
http://docs.panchuang.net/

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程