Wingman

独自のデータを使用して機械学習モデル（LLM）を取得してください
自動埋め込みジェネレーターとモデルのQ＆Aインターフェイスが付属しています
デモの表示バグのレポート・リクエスト機能

目次

1. プロジェクトについて
   • デモアニメーション
   • で構築されています
2. はじめる
   • 前提条件
   • インストール
3. 使用法
4. ロードマップ
5. 貢献
6. ライセンス
7. 接触
8. 謝辞

プロジェクトについて

機械学習モデル（LLM）を自動的に前処理します。

• PDFファイル
• Githubリポジトリ
• ローカルフォルダー内のHTMLファイルをスクレイプしました

このツールは、GitHub Repo URL、PDFファイル、またはローカルHTMLファイルフォルダーの形式で入力を受け入れ、次のアクションを実行します。

 generate_embedding_github/pdf.py
• Break apart your input data into manageable chunks
• Send chunked data to Ray Serve Cluster
• Use Ray Cluster to create an embedding from our input chunks

serve run serve:deployment
• Use Ray Cluster to download a Foundational Model
• Load Foundation Model with our Embedding on top
• Start a WebServer and make the Model available via api

query.py "what is the api endpoint to get a list of agents"
• Allow you to interface with the model through the API

このツールは、特定の知識源でLLMを簡単な方法で訓練したい人のためのものであり、すべての重い持ち上げが舞台裏で抽象化されています

Wingmanは、レイクラスターの上に構築されているため、スケーラブルで分布するか、1つのマシンでのみ実行できます。

---

デモアニメーション

⬆⬆️

で構築されています

このプロジェクト（および他の多くのプロジェクト）は、以下なしでは不可能です。

リンク	名前	開発者	説明
リンク	ファイス	Facebookの調査	高密度ベクトルの効率的な類似性検索とクラスタリングのためのライブラリ。
リンク	ラングチェーン	ラングチェーン	Langchainは、言語モデルを搭載したアプリケーションを開発するためのフレームワークです。
リンク	レイ	レイプロジェクト	Rayは、AIおよびPythonアプリケーションをスケーリングするための統一されたフレームワークです。 Rayは、コア分散ランタイムと、MLワークロードを加速するためのAIライブラリのセットで構成されています。
リンク	Python	Python Software Foundation	Pythonは、高レベルの汎用プログラミング言語です。その設計哲学は、重要なインデンテーションを使用してコードの読みやすさを強調しています。
リンク	Pytorch	Linux Foundation	強力なGPU加速を備えたPythonのテンソルと動的ニューラルネットワーク。
リンク	美しいスープ	レナード・リチャードソン	Beautiful Soupは、HTMLおよびXMLファイルからデータを引き出すためのPythonライブラリです。お気に入りのパーサーと連携して、解析ツリーをナビゲート、検索、変更する慣用的な方法を提供します。
リンク	typing_inspect	Ivan Levkivskyi	typing_inspectモジュールは、Python標準タイピングモジュールで定義されたタイプのランタイム検査の実験的APIを定義します。

⬆⬆️

はじめる

地元のコピーを稼働させるには、これらの簡単な手順に従ってください。

前提条件

• VRAMの16+GB（24GB推奨）
• LinuxまたはWSL
• あなたが望むPython仮想環境が何であれ
  （私たちはミニコンダが好きです）

インストール

プロジェクトフォルダーに入って、venv/conda環境をロードしたら、以下を実行してください。

1. PIPインストール-R要件。txt
2. python generate_embedding_pdf.py ./pathto/local.pdf
3. （オプション）あなたのユースケースに合わせて30行目の30行目のserv.pyのプロンプトを変更する
4. サーブランサーブ：展開
5. python query.py「指定されたエージェントのデータ収集を無効にするためのAPIエンドポイントは何ですか」

暫定ランチャーとUIの追加は、このオープンソースエディションの現在のロードマップにあります。

⬆⬆️

使用法

 python query.py "what is the api endpoint to disable data collection for a specified agent"
/api/sn_agent/agents/{agent_id}/data/off.

python query.py "what is the api endpoint for the ActivitySubscriptions API"
The API endpoint for the ActivitySubscriptions API is /now/actsub/activities.

python query.py "what is the api endpoint to get a list of agents"
The API endpoint to get a list of agents is "/api/sn_agent/agents/list.

python query.py "what is the api endpoint of the Agent Client Collector API"
The API endpoint of the Agent Client Collector API is "https://<sn_agent-host>:<sn_agent-port>/api/agent-client-collector/admin".

⬆⬆️

ロードマップ

ページ番号の引用、追加のプログラミング言語のコンプリティ、マルチLLMパイプライン（より良いコンテキスト利用のために関連するパッセージを要約する）、ムリモダルモデルサポート（画像のデータに基づいて知識の埋め込みを訓練）、3Dベクターデータベース（ベクタークラウド）サポートを介した精度の向上、エージェントサポート（事実のユーザーのサポートに基づいた事実のサポートに基づいたエージェントサポート、エージェントサポート、エージェントのサポート）などの追加機能についてはエンタープライズソフトウェアスイート。

• readmeを作成します
• CREATE RECUMESSION.TXT
• 要件を絞り込みます。txt
• 基本的なランチャースクリプト
• スクリーンショット
• ユーザーインターフェイス
• 埋め込みライブラリ
• 量子化されたモデルサポート
• Kwargs経由のTrust_Remote_Code
• Advanced Device_Mapサポート
• 多言語サポート
  • 中国語
  • スペイン語
  • ロシア

提案された機能（および既知の問題）の完全なリストについては、オープンな問題を参照してください。

⬆⬆️

貢献

貢献は、オープンソースコミュニティを学び、インスピレーションを与え、創造するのに驚くべき場所にするものです。あなたがする貢献はどんな貢献も大歓迎です。

これを改善する提案がある場合は、レポをフォークしてプルリクエストを作成してください。また、タグ「拡張機能」で問題を開くこともできます。プロジェクトにスターを与えることを忘れないでください！再度、感謝します！

1. プロジェクトをフォークします
2. 機能ブランチを作成します（ git checkout -b feature/AmazingFeature ）
3. あなたの変更をコミットします（ git commit -m 'Add some AmazingFeature' ）
4. ブランチへのプッシュ（ git push origin feature/AmazingFeature ）
5. プルリクエストを開きます

⬆⬆️

ライセンス

商業利用は禁止されています。

エンタープライズバージョンの商用ライセンスについては、お問い合わせください。

⬆⬆️

接触

クリスチャン・ミラ - リンケディン

プロジェクトリンク：https：//github.com/seemirra/wingman/

⬆⬆️

謝辞

TODO-このリストは現在不完全です

⬆⬆️