deepmark
1.0.0
Deepmark AIは、大規模な言語モデル（LLM）を選択する際に、情報に基づいた意思決定を行うことができ、独自のデータでさまざまなLLMのシームレスな評価を可能にするため、AIアプリケーションが予測可能で信頼性の高いパフォーマンスを提供します。
PWCによる最近の調査によると、人工知能（AI）は2030年までに世界経済に約15.7兆ドルを寄付すると予想されています。 AIがさまざまなドメインで重要な役割を果たし続けているため、生成AIおよび大規模な言語モデル（LLM）は、膨大なビジネス価値を生成できるAI駆動のアプリケーションを作成する上で強力な構成要素として浮上し、生成AIはこれらの種類のアプリケーションの重要な要素です。
AIは過去10年間に革命を起こし、現在MIT（https://horizon.mit.edu/about-us）のAI主題の専門家は、生成AIがコード開発、チャットボット、オーディオ/ビデオなどのいくつかのドメインをさらに変換すると考えています。 Openaiなどの生成AI企業とChatGptなどの製品の進歩により、Gen AIには法的、倫理的、信頼の問題があります。これらの課題は、技術全体を駆動するこれらのさまざまなモデルを改善またはランク付けすることを目的とするメトリックを含む製品の適切な評価の必要性を請います。これは、今日のいくつかの企業でのGenaiを適応させるための障害でもあります。
最近のHBRレポートによると、生成AIはセットアンドフォーゲットベースで動作することはできません。ツールには絶え間ない監視が必要です。
評価メトリックは明確に定義されており、LLMモデルがリリースされると、通常、本質的なメトリックがほぼ即座に評価されますが、開発者が独自のデータに関するタスク固有の（本質的な）評価をシームレスに作成できるようにする利用可能なツール（オープンソースまたは独自）はありません。それに近い唯一の解決策は、まだ閉じたベータ版であり、採用に不可欠な包括的な外因性メトリックを提供するほど成熟していないLangchain Langsmithです。
要約すると、組織は独自のデータでLLMモデルを評価して、正確性、精度、リコールのバランスをとる検証可能な結果（特定のデータセット内で肯定的なケースを正しく識別するモデルの能力）、および信頼性を提供する必要があります。
この信頼性の課題に対処するために、我々（Ingestai Labs）は、Deepmark AIを開発しました。これは、独自のデータでさまざまな外的（タスク固有の）メトリックで大規模な言語モデル（LLM）の評価を可能にするベンチマークツールです。 GPT-4、Anthropic、GPT-3.5 Turbo、Cohere、AI21などの主要な生成AI APIと事前に構築された統合があります。
現在のgenai（LLM）評価メトリック
LLMSのパフォーマンスの評価に関しては、使用できるメトリックには2つの主要なタイプがあります。本質的および外因性です。
本質的な指標の例は含まれますが、それらはに限定されません
外因性メトリック、またはタスク固有のメトリックとも呼ばれる場合は、以下を含めることができます。
これらの評価メトリックは網羅的ではなく、特定のアプリケーションには、コンテキストと要件に応じて追加または代替メトリックがある場合がありますが、レイテンシ、精度、コストなどのタスク固有のメトリックの一部は、最も一般的に使用されるものと見なすことができます。
Deepmark AIは、言語モデル（LLM）のユニークなテスト環境を可能にし、Genai開発者が数秒で不正確さやパフォーマンスの問題を簡単に診断できるようにします。 Deepmark AIを使用することにより、生成AIアプリケーション開発者は、特定のタスク（質問回答、感情分析、NERなど）を数百または数千の反復で複数のLLMモデルを実行し、数秒で正確な評価結果を取得できます。
Deepmark AIは、生成AIビルダー向けに特別に設計されたツールです。このソリューションは、特定のユースケースのユニークなニーズに基づいて、最も予測可能で信頼性が高く、費用対効果の高い生成AIモデルを特定するために、外因性（タスク固有の）メトリックの反復評価に焦点を当てています。 Deepmark AIは、次のようなさまざまな重要なGenaiパフォーマンスメトリックの包括的な評価の機能を提供します。
Deepmark AIは、開発者と組織が、大規模な言語モデルの最も重要なパフォーマンスメトリックをナビゲートする際に、情報に基づいた決定を下すことができます。
ユーザーの採用：
2023年2月に発売されて以来、Ingestai Labs Plantorm（Playground、AI Aggregator、App Builder）は、さまざまなAIユースケースの迅速な調査、実験、および迅速なプロトタイピングのためのコミュニティ主導のプラットフォームとしてすぐに人気を博しています。
プラットフォームは、業界の重要な認識を獲得しました。
1年も経たないうちに、Ingestaiは40,000人を超える個人の印象的なユーザーベースを蓄積し、15,000人近くのアクティブユーザーが毎月、顧客の間でNASDAQを獲得した企業はほとんど、パイプラインにいます。このレベルのトラクションは、ユーザーを引き付けて関与させ、ビジネス価値を生み出すプラットフォームの能力を物語っています。
信頼性は、生成AIモデルの有効性を判断する上で重要な要素です。 DeepMark.ai.aiは、さまざまな条件下でモデルのパフォーマンスを評価し、潜在的な障害ポイントを獲得することにより、包括的な信頼性評価を提供します。これにより、開発者は改善の領域を特定し、AIアプリケーションの全体的な信頼性を高めることができます。
生成AIモデルの精度を確保することは、高品質の出力を生成するために不可欠です。 DeepMark.ai.aiは、開発者に、広範なテストと検証手順を通じてモデルの精度を厳密に評価するツールを提供します。高度な統計的手法と比較方法論を活用することにより、開発者は生成AIアプリケーションの精度に関する意味のある洞察を導き出すことができます。
生成的AIモデルを展開する前にコストの影響を理解することは、リソースの割り当てを最適化し、投資収益率を最大化するために不可欠です。 DeepMark.aiにはコスト分析が組み込まれているため、開発者はさまざまなGenaiモデルでAIアプリケーションを実行することに関連する財務要件を正確に推定できます。コスト予測を提供することにより、DeepMark.AIは、開発者が費用対効果の高いソリューションを達成するために情報に基づいた決定を下すのを支援します。
生成された出力の関連性を確保することは、特に特定のユースケースに対処するために生成AIが採用されているアプリケーションで重要です。 DeepMark.ai.aiは、生成された出力を目的の基準と比較するツールを開発者に提供することにより、関連性評価を促進します。これにより、開発者はモデルを微調整し、生成されたコンテンツが意図した目標と要件と一致するようにします。
生成AIモデルのAPIでの遅延の評価は、高品質で効率的なAI搭載アプリケーションを提供するために非常に重要です。レイテンシは、リクエストが行われた後に応答を取得するのにかかった時間を示し、パフォーマンスの潜在的な指標です。遅延を評価することにより、AI開発者は非効率性を特定し、AIアプリケーションが最適な速度で実行されることを確認できます。これは、全体的なユーザーの満足度に貢献し、AIアプリケーションの信頼性と信頼性に影響を与えます。
数百または数千のリクエストでの故障率の評価と監視は、生成AIアプリケーションの堅牢性の評価の重要な側面です。 DeepMark.AIは、故障率評価機能を提供し、開発者が毎秒数百から数千のリクエストからさまざまなスケールで故障率をシームレスに追跡できるようにします。潜在的な障害パターンに関する洞察を提供することにより、DeepMark.AIにより、開発者は問題に積極的に対処し、最適なパフォーマンスを維持できます。
AI開発内でインゲスタイラボによって開発されたdeepmark.aiテクノロジーを組み込むことは、以下を含む多くの利点をもたらすことができます。
DeepMark.AIは、開発者に信頼できる評価メトリック、コストの見積もり、および最適化の推奨事項を提供することにより、予測可能性と費用対効果を優先します。これにより、開発者は情報に基づいた意思決定を行うことができ、生成AIアプリケーションの設計と展開に関連するリスクを減らします。
データと厳密さを活用することにより、DeepMark.AIを使用すると、組織は生成AIモデルを評価する際に直感に依存することから離れることができます。このデータ駆動型のアプローチは、意思決定プロセスに自信を与え、AIアプリケーション開発の精度と精度を高めることができます。
DeepMark.AIが信頼性、精度、関連性、および費用効率を包括的に評価する能力は、AIアプリケーションの全体的な品質の向上に貢献します。継続的な監視または定期的な評価を通じて、開発者はモデルのパフォーマンスを繰り返し向上させ（メタプロムや微調整を改善することにより）、最適なパフォーマンスとユーザーの満足度を確保できます。
Ingestaiは、7,550万以上のさまざまなリクエストと異なる大手言語モデルのさまざまなリクエストと応答で構成される独自の比較データセットに基づいて、独自のバイアス検出モデルの構築に取り組んでいます。 Deepmark AIは、AIアプリケーション開発者向けの独自のMLモデルの上に構築されたツールであり、予測可能性、精度、費用効率、およびその他のベンチマークメトリックの信頼できる評価を提供します。 Deepmark AIは、安全性、真実性、予測可能性、および費用対効果を優先しながら、高品質の信頼できる生成AI搭載アプリケーションを構築できるようになります。包括的な機能と利点により、Deepmark AIは、生成AIの真の可能性を活用しようとする組織に新しい可能性を開きます。
Docker画像：https：//hub.docker.com/r/embedditor/deepmark
Docker Webページで詳細な手順を見つけることができます。
Laravelをインストールします
PHP職人ストレージ：リンク
PHP職人のキュー：テーブル
PHPの職人が移行します
.envでbearer_tokenを設定します
p.5からのトークンをHTTPヘッダー「X-Bearer-Token」として使用します
フロントエンドをインストールします
npm inpm run devを実行するか、生産バージョン用のnpm run build必要があります
