許多開發人員使用 tox 作為 Python 中標準化和自動化測試的解決方案。然而,僅將該工具用于測試自動化嚴重限制了其功能和您可以實現的全部范圍。例如, tox 也是“它在我的機器上工作”問題的一個很好的解決方案。這有幾個原因,例如:
可以針對不同的 Python 依賴項版本運行測試
可以隔離環境變量
可以捕獲并運行設置命令
此外,最重要的是,上面列出的操作可以在 Windows 、 macOS 和 Linux OS 上執行。在本教程中,我將深入探討 tox 的工作原理以及如何使用它來節省寶貴的資源。我還將提供具體的代碼示例來演示如何利用 tox 。
什么是 Tox?
如果你讀了 tox documentation ,并從字面上理解它的意思,你可能會認為 tox 只是一個用來創建虛擬環境的工具,用來安裝測試 Python 包所需的必要依賴項。
該文檔指出,“ tox 旨在自動化和標準化 Python 中的測試。它是簡化 Python 軟件的打包、測試和發布過程的更大愿景的一部分。”該文檔后來指出,“ tox 是一個通用的virtualenv管理和測試命令行工具。”。同一文檔中的幾個示例演示了 tox 用于構建文檔和運行開發環境。
然而,最好將 tox 視為自動化某些工作流和管理虛擬環境的工具。 tox 文檔中提供的示例配置文件如下所示。
# content of: tox.ini , put in same dir as setup.py [tox] envlist = py27,py36 [testenv] # install pytest in the virtualenv where commands will be executed deps = pytest commands = # NOTE: you can run any command line tool here - not just tests pytest
請注意,該文件僅安裝并運行 Pytest ;然而,文檔指出,“您可以在這里運行任何命令行工具,而不僅僅是測試。”
tox 是如何工作的?
tox 文檔的 System Overview 部分提供了一個工作流圖(圖 1 )。該圖顯示了 tox 如何通過將工作流分解為一系列步驟來工作,概述如下。
使用tox.ini文件中定義的 Python 版本生成虛擬環境。
將tox.ini文件的deps設置下列出的依賴項安裝到虛擬環境中。如果創建了一個項目(可選),它還將安裝該項目的sdist。
在隔離的虛擬環境中運行命令;命令列在命令設置下。
將每個環境的結果返回給用戶。
圖 1 。 tox 的工作流程圖。信貸: tox documentation
這些步驟進一步表明, tox 是一個有效的開發工具,可以通過創建虛擬環境并在其中運行命令來自動化工作流。由于您可以傳遞給 tox 的命令不限于執行測試的命令,因此 tox 不僅僅是標準化和自動化測試的工具。
tox 的好處
本節重點介紹了使用 tox 管理虛擬環境和自動化工作流(包括測試)的一些好處。
簡化協作
每次我接到工作面試的帶回家任務時,我都會使用 tox 。為了訪問任務,招聘公司的開發人員只需要安裝并運行 tox 。與團隊合作時也是如此。團隊成員不需要復制環境或安裝依賴項。所有這些任務都在tox.ini文件中處理。
促進持續集成
如果沒有 tox ,您的持續集成( CI )腳本必須同時處理虛擬環境的創建和包依賴項的安裝。這意味著沒有 tox 構建的 CI 腳本更加復雜。下文將對此進行更詳細的探討。
降低依賴關系沖突的風險
對于每個任務, tox 都會創建一個新的虛擬環境。這減少了依賴沖突的機會。例如,運行應用程序和執行應用程序所需的依賴項可以分別安裝到兩個獨立的虛擬環境中。
Tox 學的一個主要弱點出現在當地發展過程中;也就是說,它無法跟蹤依賴關系的變化。因此,每次進行更改時,都必須重新創建毒性環境。這是通過在執行 tox 時傳遞-r標志來完成的(py -m tox -r)。
簡單的 tox 用例示例
為了掌握 tox ,我創建了一個簡單的示例,您可以從 kurtispykes/tox_example GitHub 存儲庫中克隆。跟隨學習如何使用 tox 。
├── __init__.py ├── .gitignore ├── LICENSE ├── README.md ├── string_reversal.py ├── test_string_reversal.py ├── tox.ini
tox 生態系統的中心是配置文件,它可能有以下三種風格之一:
tox.ini setup.cfg pyproject.toml
本例使用tox.ini配置 tox 。內容如下:
[tox] envlist = my_env skipsdist = true [testenv] deps = pytest commands = pytest
INI File Structure 指出,使用.ini擴展名的配置文件“由部分組成,每個部分由[section]標頭開頭,后跟由特定字符串分隔的鍵/值條目(默認情況下為=或:)?!?/p>
在 tox 中,節標題轉換為新的 tox 環境。但是,請注意本例中的[tox]標頭。標頭配置 tox 運行的全局設置。您可以告訴 tox 使用不同版本的 Python 來執行此標頭中的測試。
[tox]標題包含兩項:
envlist–通知 tox 從命令行運行py -m tox時要執行的環境。在本例中,envlist被命名為my_env。在最初的 tox 運行之后,其他運行將執行得更快,因為 tox 會跟蹤虛擬環境的詳細信息,不會重新創建或重新安裝依賴項。
skipsdist–當沒有setup.py或pyproject.toml時,將skipsdist標志設置為真。如果未設置,將導致錯誤。
請注意,您還可以通過添加要測試的版本( py27 , py37 ),根據不同版本的 Python 測試包。您必須在您的環境中安裝要測試包的 Python 版本,否則將引發錯誤。
[testenv]和[testenv:NAME]標頭用于定義 tox 的測試環境,其中NAME是特定環境的名稱。[testenv]中定義的設置(稱為頂層)將由各個環境自動繼承,除非您覆蓋這些設置。
本示例不定義單個環境,但設置了以下兩項:
deps–執行代碼所需的依賴項。
commands–作為當前測試環境的一部分要觸發的命令。
現在定義了配置,您可以創建并測試一個模塊來演示 tox 的作用。為本示例創建的模塊是string_reversal.py,其中包含用于反轉字符串的函數。
# The contents of string_reversal.py def reverse_string(text): reverse_text = text[::-1] return reverse_text
要測試模塊是否正常工作,請使用以下test_string_reversal.py腳本:
# The contents of test_string_reversal.py from string_reversal import reverse_string def test_calculate_age(): # Given text = "Hello World!" # When reversed = reverse_string(text) # Then assert reversed == "!dlroW olleH"
下一步是從存儲tox.ini文件的同一目錄運行 tox 。在命令行中,使用以下命令運行 tox :
py -m to
輸出應該類似于圖 2 所示。
圖 2 :成功的毒殺記錄
雖然本示例使用 Pytest ,但您可以使用任何其他庫來測試模塊。事實上,您可以執行任意命令。
創建機器學習包
您還可以將 tox 擴展到各種場景。例如, machine learning ( ML )模型基于交易數據進行訓練,以預測欺詐交易何時發生。請參閱 kurtispykes/fraud-detection-project GitHub repo 中的完整代碼。 ML 模型包的頂層結構如下所示:
├── fraud_detection_model # Contains the code required to build the model ├── requirements │ ├── requirements.txt │ ├── test_requirements.txt ├── tests # Contains the unit tests for the model ├── LICENSE ├── MANIFEST.in ├── mypy.ini ├── publish_model.sh ├── pyproject.toml ├── setup.py ├── tox.ini
構建這個 ML 模型包需要幾個依賴項。要更好地管理包依賴關系,請創建requirements.txt文件。
這個項目的 tox 配置文件包括幾個可以運行 tox 的環境。這些單獨的環境從獲取模型訓練所需的數據到將訓練后的模型發布到 Gemfury 存儲庫。這進一步表明, tox 可以是管理虛擬環境的有用工具。tox.ini文件中的一些配置如下所示。
# Part of the tox.ini file; click on the GitHub link to view the entire file [tox] envlist = test_package, typechecks, stylechecks, lint skipsdist = True [testenv] install_command = pip install {opts} {packages} passenv = KAGGLE_USERNAME KAGGLE_KEY GEMFURY_PUSH_URL [testenv:test_package] deps = -rrequirements/test_requirements.txt setenv = PYTHONPATH=. PYTHONHASHSEED=0 commands= python fraud_detection_model/train_pipeline.py pytest -s -vv {posargs:tests/} [testenv:train] envdir = {toxworkdir}/test_package deps = {[testenv:test_package]deps} setenv = {[testenv:test_package]setenv} commands= python fraud_detection_model/train_pipeline.py [testenv:fetch_data] envdir = {toxworkdir}/test_package setenv = {[testenv:test_package]setenv} commands = # fetch kaggle competitions download -c ieee-fraud-detection -p ./fraud_detection_model/data/interim # unzip unzip ./fraud_detection_model/data/interim/ieee-fraud-detection.zip -d ./fraud_detection_model/data/interim [testenv:publish_model] envdir = {toxworkdir}/test_package deps = {[testenv:test_package]deps} setenv = {[testenv:test_package]setenv} commands= python fraud_detection_model/train_pipeline.py ./publish_model.sh .
請注意,由于添加了setup.py文件,因此skipsdist參數可以從全局 tox 標頭中刪除。在這種情況下,它沒有被刪除,因為在打包模型之前, tox 仍然被用于管理虛擬環境。
您可能會注意到,全局envlist(在[tox]標頭中)調用test_package、typechecks、stylechecks、lint。當從命令行調用py -m tox時,將創建每個環境,并執行每個環境中的命令。
要選擇獨立運行的特定環境,請使用以下命令:框架的全部功能。相反,最好將 tox 視為自動化某些工作流和管理虛擬環境的工具。
py -m tox -e NAME
NAME是您希望 tox 創建的testenv的名稱。
生產中使用 tox 的注意事項
各種 CI 平臺與 tox 集成得非常好。 ML 模型示例使用 CircleCI 進行連續集成。 Circle CI 配置文件調用 tox ,而不是直接創建多個虛擬環境。
總結
這篇文章解釋了如何使用 tox 來實現 Python 中的標準化和自動化測試。僅將 tox 用于自動化測試嚴重未充分利用框架的全部功能。相反,最好將 tox 視為自動化某些工作流和管理虛擬環境的工具。
-
NVIDIA
+關注
關注
14文章
5076瀏覽量
103718 -
自動化
+關注
關注
29文章
5622瀏覽量
79660 -
標準化
+關注
關注
1文章
30瀏覽量
8068
發布評論請先 登錄
相關推薦
評論