cover agent

Codiumai Cover Agent旨在通過自動生成合格的測試來增強現有的測試套件，以幫助有效增加代碼覆蓋範圍

目錄

• 新聞和更新
• 概述
• 安裝和用法
• 發展
• 路線圖

新聞和更新

2024-11-05：

新模式 - 掃描整個存儲庫，自動識別測試文件，自動收集每個測試文件的上下文，並使用新測試擴展測試套件。在此處查看更多詳細信息。

封面

歡迎來到封面。這個重點的項目利用生成的AI來自動化和增強測試的生成（目前主要是單位測試），以簡化開發工作流程。 Cover-Agent可以通過終端運行，併計劃將其集成到流行的CI平台中。

我們邀請社區協作並幫助擴展封面代理的能力，繼續作為自動化單元測試生成域中的尖端解決方案的發展。我們還希望激發研究人員利用這種開源工具來探索新的測試生成技術。

概述

該工具是一套更廣泛的公用事業套件的一部分，旨在自動化軟件項目的單元測試。利用先進的生成AI模型，它旨在簡化和加快測試過程，以確保高質量的軟件開發。該系統包括幾個組件：

1. 測試跑步者：執行命令或腳本以運行測試套件並生成代碼覆蓋範圍報告。
2. 覆蓋範圍解析器：驗證代碼覆蓋範圍隨著測試的添加而增加，以確保新的測試有助於整體測試效果。
3. 提示構建器：從代碼庫中收集必要的數據，並構建將提示傳遞到大語言模型（LLM）的提示。
4. AI呼叫者：與LLM進行交互以根據所提供的提示生成測試。

安裝和用法

要求

在開始之前，請確保您有以下內容：

• OPENAI_API_KEY在您的環境變量中設置，這是調用OpenAI API所需的。
• 代碼覆蓋工具：Cobertura XML代碼覆蓋範圍報告才能正確運行。
  • 例如，在Python中可以使用pytest-cov 。運行pytest時，添加--cov-report=xml選項。
  • 注意：我們正在積極地添加更多的覆蓋範圍類型，但請隨時打開PR並為cover_agent/CoverageProcessor.py做出貢獻

如果直接從存儲庫運行，您也需要：

• Python安裝在您的系統上。
• 安裝了用於管理Python軟件包依賴項的詩歌。可以在https://python-poetry.org/docs/上找到詩歌的安裝說明。

獨立運行時

封面代理可以作為python pip軟件包安裝，也可以作為獨立可執行文件運行。

Python Pip

要通過github運行以下命令直接安裝Python Pip軟件包：

pip install git+https://github.com/Codium-ai/cover-agent.git

二進制

可以在系統上安裝任何python環境（例如在不包含python的碼頭容器中）運行二進制。您可以通過導航到項目的發行頁來下載系統的版本。

存儲庫設置

運行以下命令以安裝所有依賴關係並從源運行項目：

poetry install

運行代碼

下載可執行文件或安裝PIP軟件包後，您可以運行封面代理以生成和驗證單元測試。使用以下命令從命令行執行它：

cover-agent 
  --source-file-path " <path_to_source_file> " 
  --test-file-path " <path_to_test_file> " 
  --project-root " <path_to_project_root> " 
  --code-coverage-report-path " <path_to_coverage_report> " 
  --test-command " <test_command_to_run> " 
  --test-command-dir " <directory_to_run_test_command> " 
  --coverage-type " <type_of_coverage_report> " 
  --desired-coverage < desired_coverage_between_0_and_ 100> 
  --max-iterations < max_number_of_llm_iterations > 
  --included-files " <optional_list_of_files_to_include> "

您可以使用下面的示例代碼嘗試封面代理。 （請注意，usage_examples文件提供了更多有關如何使用封面代理的詳細示例）

Python

請按照templated_tests/python_fastapi/ Directory中的readme.md文件中的步驟設置環境，然後返回存儲庫的根，然後運行以下命令將測試添加到Python Fastapi示例：

cover-agent 
  --source-file-path " templated_tests/python_fastapi/app.py " 
  --test-file-path " templated_tests/python_fastapi/test_app.py " 
  --project-root " templated_tests/python_fastapi " 
  --code-coverage-report-path " templated_tests/python_fastapi/coverage.xml " 
  --test-command " pytest --cov=. --cov-report=xml --cov-report=term " 
  --test-command-dir " templated_tests/python_fastapi " 
  --coverage-type " cobertura " 
  --desired-coverage 70 
  --max-iterations 10

去

如果將GO cd用於templated_tests/go_webservice中的示例，請按照README.md設置項目。要處理覆蓋範圍報告，您需要安裝gocov和gocov-xml 。運行以下命令安裝以下工具：

go install github.com/axw/gocov/[email protected]
go install github.com/AlekSi/[email protected]

然後運行以下命令：

cover-agent 
  --source-file-path " app.go " 
  --test-file-path " app_test.go " 
  --code-coverage-report-path " coverage.xml " 
  --test-command " go test -coverprofile=coverage.out && gocov convert coverage.out | gocov-xml > coverage.xml " 
  --test-command-dir $( pwd ) 
  --coverage-type " cobertura " 
  --desired-coverage 70 
  --max-iterations 1

爪哇

有關將Java cd在templated_tests/java_gradle中使用的示例，請在readme.md之後設置項目。要使用Jacoco覆蓋範圍報告，請遵循readme.md要求部分：然後運行以下命令：

cover-agent 
  --source-file-path= " src/main/java/com/davidparry/cover/SimpleMathOperations.java " 
  --test-file-path= " src/test/groovy/com/davidparry/cover/SimpleMathOperationsSpec.groovy " 
  --code-coverage-report-path= " build/reports/jacoco/test/jacocoTestReport.csv " 
  --test-command= " ./gradlew clean test jacocoTestReport " 
  --test-command-dir= $( pwd ) 
  --coverage-type= " jacoco " 
  --desired-coverage=70 
  --max-iterations=1

輸出

一些調試文件將在存儲庫中本地輸出（這是.gitignore的一部分）

• run.log ：倒在stdout記錄器的副本
• test_results.html ：一個結果表，其中包含每個生成的測試的以下內容：
  • 測試狀態
  • 故障原因（如果適用）
  • 退出代碼，
  • stderr
  • stdout
  • 生成的測試

額外的記錄

如果設置環境變量WANDB_API_KEY ，則提示，響應和其他信息將記錄在權重和偏見中。

使用其他LLM

該項目使用LITELLM與OpenAI和其他託管LLMS進行通信（迄今為止支持100多個LLMS）。要使用除OpenAI默認值以外的其他模型：

1. 按照LITELLM說明，導出支持的LLM所需的任何環境變量。
2. 調用封面代理時，使用--model選項調用模型的名稱。

例如（如Litellm快速啟動指南中發現）：

 export VERTEX_PROJECT= " hardy-project "
export VERTEX_LOCATION= " us-west "

cover-agent 
  ...
  --model " vertex_ai/gemini-pro " 

OpenAI兼容端點

 export OPENAI_API_KEY= " <your api key> " # If <your-api-base> requires an API KEY, set this value.

cover-agent 
  ...
  --model " openai/<your model name> " 
  --api-base " <your-api-base> " 

Azure Openai兼容端點

 export AZURE_API_BASE= " <your api base> " # azure api base
export AZURE_API_VERSION= " <your api version> " # azure api version (optional)
export AZURE_API_KEY= " <your api key> " # azure api key

cover-agent 
  ...
  --model " azure/<your deployment name> " 

發展

有關如何為該項目做出貢獻的更多信息，請參見開發。

路線圖

以下是計劃特徵的路線圖，具有當前的實施狀態：

• 自動為您的軟件項目生成單元測試，並利用先進的AI模型來確保全​​面的測試覆蓋範圍和質量保證。 （類似於元）
  • 能夠為不同的編程語言生成測試
  • 能夠處理各種測試方案
  • 為正在測試的代碼生成行為分析，並相應地生成測試
  • 檢查測試片狀，例如，按照testgen-llm的建議運行5次
• 涵蓋更多的測試疼痛
  • 生成專注於PR更改的新測試
  • 運行整個存儲庫/代碼庫，並嘗試增強所有現有的測試套件
• 提高可用性
  • GitHub動作，Jenkins，Circleci，Travis CI等連接器
  • 集成到數據庫，API，OpenTelemetry和其他數據源，以提取測試生成的相關I/O
  • 添加設置文件

Qodoai

Qodoai的使命是使忙碌的開發團隊能夠提高並保持其代碼完整性。我們提供各種工具，包括我們的開源工具的“ PRO”版本，這些工具旨在處理企業級代碼複雜性並符合多重代碼庫。

嘗試封面代理的Pro版本Qodo Cover！