ソフトウェアエンジニアリングの分野では、課題が進化し続けるにつれて、従来のベンチマーク方法は悪意がないようです。フリーランスのソフトウェアエンジニアリング作業は複雑で多様であり、単なる孤立したコーディングタスク以上のものです。フリーランサーのエンジニアは、コードベース全体を処理し、複数のシステムを統合し、複雑な顧客のニーズを満たす必要があります。従来の評価方法は通常、単体試験に焦点を当てており、フルスタックのパフォーマンスとソリューションの実際の経済的影響を完全に反映することはできません。したがって、より現実的な評価方法を開発することが特に重要です。
この目的のために、Openaiは、実際のフリーソフトウェアエンジニアリングの取り組みのためのモデルパフォーマンス評価のベンチマークであるSWE-Lancerを立ち上げました。ベンチマークは、アップワークとExpensifyリポジトリの1,400を超えるフリーランスタスクに基づいており、合計で100万ドルの支払いがあります。これらのタスクは、小さなバグの修正から大規模な関数の実装まで、すべてに見られます。 SWE-Lancerは、個々のコードパッチを評価し、意思決定を管理することを目指しており、モデルに複数のオプションから最適な提案を選択する必要があります。このアプローチは、実際のエンジニアリングチームの二重の役割をよりよく反映しています。
SWE-Lancerの大きな利点の1つは、サイロ化された単位テストではなく、エンドツーエンドのテストの使用です。これらのテストは、プロフェッショナルソフトウェアエンジニアによって慎重に設計および検証されており、問題の識別、デバッグ、パッチ検証までのユーザーワークフロー全体をシミュレートしています。評価のために統一されたDocker画像を使用することにより、ベンチマークは、各モデルが同じ制御条件下でテストされることを保証します。この厳密なテストフレームワークは、モデルソリューションが実際の展開に十分に堅牢であるかどうかを明らかにするのに役立ちます。
Swe-Lancerの技術的な詳細は、フリーランスの実際の状況を真に反映するように巧妙に設計されています。タスクには、複数のファイルの変更と、モバイルプラットフォームとWebプラットフォームが含まれるAPIとの統合が必要です。コードパッチの生成に加えて、モデルは競争提案を確認して選択する必要があります。テクノロジーと管理のスキルにこの二重の焦点は、ソフトウェアエンジニアの真の責任を反映しています。同時に、含まれているユーザーツールは、実際のユーザーの相互作用をシミュレートし、評価をさらに強化し、反復的なデバッグと調整を促進します。
SWE-Lancerの結果を通じて、研究者はソフトウェアエンジニアリングの分野における現在の言語モデルの機能を深く理解しています。個々の貢献タスクでは、GPT-4OやClaude3.5Sonnetなどのモデルの合格率は、それぞれ8.0％と26.2％でした。管理タスクでは、最高のパフォーマンスモデルは44.9％の合格率を達成しました。これらのデータは、最先端のモデルが有望なソリューションを提供できるが、改善の余地がまだたくさんあることを示唆しています。
論文：https：//arxiv.org/abs/2502.12115
キーポイント：
**革新的な評価方法**：SWE-LANCERベンチマークは、実際のフリーランスタスクを通じて、より本物のモデルパフォーマンス評価を提供します。
**多次元テスト**：単体テストの代わりにエンドツーエンドのテストを使用して、実際の作業におけるソフトウェアエンジニアの複雑さをよりよく反映します。
**可能性の向上**：既存のモデルはうまく機能しますが、より多くの実験とコンピューティングリソースを通じて改善の余地があります。