cover agent

Codiumaiカバーエージェントは、既存のテストスイートを強化するために資格のあるテストを自動的に生成することにより、コードカバレッジを効率的に増やすのに役立つことを目指しています

目次

• ニュースと更新
• 概要
• インストールと使用
• 発達
• ロードマップ

ニュースと更新

2024-11-05：

新しいモード - リポジトリ全体をスキャンし、自動テストファイルを識別し、各テストファイルのコンテキストを自動収集し、新しいテストでテストスイートを拡張します。詳細については、こちらをご覧ください。

カバーエージェント

Cover-Agentへようこそ。この焦点プロジェクトは、生成AIを利用して、開発ワークフローの合理化を目的としたテストの生成（現在は主に単体テスト）を自動化および強化します。 Cover-Agentはターミナルを介して実行でき、一般的なCIプラットフォームに統合される予定です。

私たちは、コミュニティを協力してカバーエージェントの機能を拡大するよう招待し、自動化されたユニットテスト生成ドメインの最先端のソリューションとしての開発を継続します。また、研究者にこのオープンソースツールを活用して、新しいテスト生成技術を探索するよう促したいと考えています。

概要

このツールは、ソフトウェアプロジェクトのユニットテストの作成を自動化するために設計された、より広範なユーティリティスイートの一部です。高度な生成AIモデルを利用して、テストプロセスを簡素化および促進し、高品質のソフトウェア開発を確保することを目的としています。システムはいくつかのコンポーネントで構成されています。

1. テストランナー：コマンドまたはスクリプトを実行して、テストスイートを実行し、コードカバレッジレポートを生成します。
2. カバレッジパーサー：テストが追加されるとコードカバレッジが増加することを検証し、新しいテストが全体的なテストの有効性に寄与するようにします。
3. プロンプトビルダー：コードベースから必要なデータを収集し、大規模な言語モデル（LLM）に渡すプロンプトを構築します。
4. AI Caller： LLMと対話して、提供されたプロンプトに基づいてテストを生成します。

インストールと使用

要件

始める前に、次のことを確認してください。

• OPENAI_API_KEY OpenAI APIを呼び出すために必要な環境変数に設定されています。
• コードカバレッジツール：ツールが正しく機能するには、Cobertura XMLコードカバレッジレポートが必要です。
  • たとえば、Pythonでは、 pytest-cov使用できます。 Pytestを実行するときに--cov-report=xmlオプションを追加します。
  • 注：カバレッジタイプの追加に積極的に取り組んでいますが、PRを開いてcover_agent/CoverageProcessor.pyに貢献してください。

リポジトリから直接実行する場合は、次のことも必要です。

• Pythonはシステムにインストールされています。
• Pythonパッケージの依存関係を管理するためにインストールされた詩。詩のインストール手順は、https：//python-poetry.org/docs/にあります。

スタンドアロンランタイム

カバーエージェントは、Python PIPパッケージとしてインストールするか、スタンドアロン実行可能ファイルとして実行できます。

Python Pip

GitHubを介してPython PIPパッケージを直接インストールするには、次のコマンドを実行します。

pip install git+https://github.com/Codium-ai/cover-agent.git

バイナリ

バイナリは、システムにPython環境をインストールせずに実行できます（たとえば、Pythonを含まないDockerコンテナ内）。プロジェクトのリリースページに移動して、システムのリリースをダウンロードできます。

リポジトリのセットアップ

次のコマンドを実行して、すべての依存関係をインストールし、ソースからプロジェクトを実行します。

poetry install

コードを実行します

実行可能ファイルをダウンロードした後、またはPIPパッケージをインストールした後、カバーエージェントを実行してユニットテストを生成および検証できます。次のコマンドを使用して、コマンドラインからそれを実行します。

cover-agent 
  --source-file-path " <path_to_source_file> " 
  --test-file-path " <path_to_test_file> " 
  --project-root " <path_to_project_root> " 
  --code-coverage-report-path " <path_to_coverage_report> " 
  --test-command " <test_command_to_run> " 
  --test-command-dir " <directory_to_run_test_command> " 
  --coverage-type " <type_of_coverage_report> " 
  --desired-coverage < desired_coverage_between_0_and_ 100> 
  --max-iterations < max_number_of_llm_iterations > 
  --included-files " <optional_list_of_files_to_include> "

以下のサンプルコードを使用して、カバーエージェントを試してみることができます。 （usage_examplesファイルは、カバーエージェントの使用方法のより詳細な例を提供していることに注意してください）

Python

templated_tests/python_fastapi/ directoryにあるreadme.mdファイルの手順に従って環境をセットアップし、リポジトリのルートに戻り、次のコマンドを実行してPython fastapiの例にテストを追加します。

cover-agent 
  --source-file-path " templated_tests/python_fastapi/app.py " 
  --test-file-path " templated_tests/python_fastapi/test_app.py " 
  --project-root " templated_tests/python_fastapi " 
  --code-coverage-report-path " templated_tests/python_fastapi/coverage.xml " 
  --test-command " pytest --cov=. --cov-report=xml --cov-report=term " 
  --test-command-dir " templated_tests/python_fastapi " 
  --coverage-type " cobertura " 
  --desired-coverage 70 
  --max-iterations 10

行く

go cd templated_tests/go_webserviceに使用する例については、 README.mdに続いてプロジェクトを設定します。カバレッジレポートを使用するには、 gocovとgocov-xmlをインストールする必要があります。これらのツールをインストールするには、次のコマンドを実行します。

go install github.com/axw/gocov/[email protected]
go install github.com/AlekSi/[email protected]

次に、次のコマンドを実行します。

cover-agent 
  --source-file-path " app.go " 
  --test-file-path " app_test.go " 
  --code-coverage-report-path " coverage.xml " 
  --test-command " go test -coverprofile=coverage.out && gocov convert coverage.out | gocov-xml > coverage.xml " 
  --test-command-dir $( pwd ) 
  --coverage-type " cobertura " 
  --desired-coverage 70 
  --max-iterations 1

Java

Java cd templated_tests/java_gradleに使用する例については、readme.mdに続いてプロジェクトを設定します。 Jacocoカバレッジレポートを使用するには、readme.md要件セクションに従ってください。次のコマンドを実行します。

cover-agent 
  --source-file-path= " src/main/java/com/davidparry/cover/SimpleMathOperations.java " 
  --test-file-path= " src/test/groovy/com/davidparry/cover/SimpleMathOperationsSpec.groovy " 
  --code-coverage-report-path= " build/reports/jacoco/test/jacocoTestReport.csv " 
  --test-command= " ./gradlew clean test jacocoTestReport " 
  --test-command-dir= $( pwd ) 
  --coverage-type= " jacoco " 
  --desired-coverage=70 
  --max-iterations=1

出力

いくつかのデバッグファイルは、リポジトリ内にローカルに出力されます（ .gitignoreの一部です）

• run.log ： stdoutに投棄されるロガーのコピー
• test_results.html ：生成されたテストごとに以下を含む結果テーブル：
  • テストステータス
  • 障害理由（該当する場合）
  • exitコード、
  • stderr
  • stdout
  • 生成されたテスト

追加のロギング

環境変数WANDB_API_KEYを設定すると、プロンプト、応答、および追加情報が重みとバイアスに記録されます。

他のLLMを使用します

このプロジェクトでは、Litellmを使用して、Openaiおよびその他のホストLLMと通信します（これまでに100以上のLLMをサポートします）。 OpenAIデフォルト以外の異なるモデルを使用するには、次のことが必要です。

1. LITELLM命令に従って、サポートされているLLMが必要とする環境変数をエクスポートします。
2. カバーエージェントを呼び出すときに、 --modelオプションを使用してモデルの名前を呼び出します。

たとえば（Litellm Quick Start Guideにあるように）：

 export VERTEX_PROJECT= " hardy-project "
export VERTEX_LOCATION= " us-west "

cover-agent 
  ...
  --model " vertex_ai/gemini-pro " 

OpenAI互換性のあるエンドポイント

 export OPENAI_API_KEY= " <your api key> " # If <your-api-base> requires an API KEY, set this value.

cover-agent 
  ...
  --model " openai/<your model name> " 
  --api-base " <your-api-base> " 

Azure Openai互換性のあるエンドポイント

 export AZURE_API_BASE= " <your api base> " # azure api base
export AZURE_API_VERSION= " <your api version> " # azure api version (optional)
export AZURE_API_KEY= " <your api key> " # azure api key

cover-agent 
  ...
  --model " azure/<your deployment name> " 

発達

このプロジェクトに貢献する方法の詳細については、開発を参照してください。

ロードマップ

以下は、計画された機能のロードマップであり、現在の実装ステータスがあります。

• 高度なAIモデルを利用して、包括的なテストカバレッジと品質保証を確保するために、ソフトウェアプロジェクトのユニットテストを自動的に生成します。 （メタに似ています）
  • さまざまなプログラミング言語のテストを生成できる
  • 多種多様なテストシナリオに対処できること
  • テスト中のコードの動作分析を生成し、それに応じてテストを生成します
  • Testgen-llmが提案したように5回実行することにより、テストの薄暗さを確認してください
• より多くのテスト生成の痛みをカバーします
  • PRの変更に焦点を当てた新しいテストを生成します
  • レポ/コードベース全体を実行し、既存のすべてのテストスイートを強化しようとする
• 使いやすさを向上させます
  • Githubアクション、Jenkins、Circleci、Travis CIなどのコネクタ
  • データベース、API、Opentelemetry、およびその他のデータソースに統合して、テスト生成に関連するI/Oを抽出します
  • 設定ファイルを追加します

Qodoai

Qodoaiの使命は、忙しい開発チームがコードの整合性を高め、維持できるようにすることです。エンタープライズレベルのコードの複雑さを処理するためのオープンソースツールの「Pro」バージョンなど、さまざまなツールを提供しています。

カバーエージェントのプロバージョン、Qodoカバーをお試しください！