S.A.T.U.R.D.A.Y
1.0.0
デモを表示•開始•リクエスト機能•
プロジェクトサタデーは、ボーカルコンピューティングのツールボックスです。最新のLLMSにエレガントなボーカルインターフェイスを構築するためのツールを提供します。このプロジェクトの目標は、何十年もの間、SF映画で私たちが約束されてきたテクノロジーを生み出したいと思っているような心を持つ個人のコミュニティを育てることです。特定のAIモデルから切り離されたままでいる間、高度にモジュール式で柔軟性があることを目指しています。これにより、新しいAIテクノロジーがリリースされると、シームレスなアップグレードが可能になります。
プロジェクトサタデーはツールで構成されています。ツールは、ボーカルコンピューティングスタックの特定の部分をカプセル化する抽象化です。ツールを構成する2つの主要な構成要素があります。
エンジン- エンジンは、ツールのドメイン固有の機能をカプセル化します。このロジックは、使用された推論バックエンドに関係なく同じままでなければなりません。たとえば、STTツールの場合、エンジンには、いくつかのカスタムバッファリングロジックとともに音声アクティビティ検出アルゴリズムが含まれています。これにより、コードを書き直す必要なく、バックエンドを簡単に変更できます。
バックエンド- バックエンドは、実際にAI推論を実行するものです。これは通常、薄いラッパーですが、アップグレードの柔軟性と容易さを高めることができます。バックエンドは、HTTPサーバーとのインターフェイスに書き込まれ、簡単な言語間の操作を可能にすることもできます。
このプロジェクトには、3つの主要なツールが含まれています。 3つの主なツールは、STT、TTT、TTSです。
STTツールはシステムの耳であり、着信オーディオで音声からテキストへの推論を実行します。
TTTツールはシステムの脳であり、オーディオがテキストに変換されると、テキストからテキストへの推論を実行します。
TTSツールはシステムの口であり、TTTツールによって証明されたテキストでテキストからスピーチへの推論を実行します。
メインのデモが現在どのように機能するかの図を次に示します。
このリポジトリにあるデモは、あなた自身の個人的な自己ホストのジャービスのようなアシスタントです。
免責事項：M1 ProおよびMaxプロセッサでのみこれをテストしました。私たちは多くのローカル推論を行っているので、デモにはかなりの処理能力が必要です。あなたの走行距離は、さまざまなオペレーティングシステムとハードウェアで非常に非常に多くなります。問題が発生した場合は、問題を開いてください。
デモを実行するために、いくつかの前提条件があります。
デモを実行するには、Golang、Python、Make、Comprierが必要です。
デモのために実行する必要がある3つのプロセスがあります。
pkg-configとopusを使用するために必要な2つのシステムライブラリがあります。 MacOSでは、これらはbrewでインストールできます。 brew install opus pkg-configmecabとespeakに必要な2つのシステムライブラリがあります。 macosでは、brewで設置できます。 brew install mecab espeak注：今のところ、プロセスを開始する順序が重要です。クライアントを起動する前に、 RTCサーバーとTTSサーバーを起動する必要があります。
プロジェクトのルートからmake rtc実行します
make rtc初めてのセットアップ：TTSサーバーを初めて実行するときは、依存関係をインストールする必要があります。これに仮想環境を使用することを検討してください。
cd tts/servers/coqui-tts
pip install -r requirements.txtプロジェクトのルートからmake tts
クライアントはwhisper.cppとcgoの使用を必要としますが、Makeスクリプトはあなたのためにこれを処理する必要があります。
プロジェクトのルートから、実行するmake client
make client現在ロードマップの主なことは、llama.cppのようなものでローカルに実行するためにTTT推論を取得することです。これを公開している時点では、私は素晴らしいインターネットを持っていないため、これを機能させるために必要なモデルの重みをダウンロードすることはできません。
私のロードマップで2番目に大きいアイテムは、セットアップと構成プロセスを改善し続けることです。
私のロードマップの最後のことは、土曜日にアプリケーションを構築し続けることです。これがプロジェクトを改善し、追加する必要がある新しい機能を明らかにするための＃1の方法であるため、より多くの人々が私と一緒に構築されることを願っています。
不一致に参加して、最新の状態を保ちましょう！
このプロジェクトは、次のオープンソースパッケージで構築されています。
私は非常に完璧であり、インストールプロセスで見落としていたバグやものがあります。問題を追加して、何かが不明な場合は自由に連絡してください。また、不一致があります。
貢献は、オープンソースコミュニティを学び、インスピレーションを与え、創造するのに驚くべき場所にするものです。あなたがする貢献はどんな貢献も大歓迎です。
git checkout -b feature/AmazingFeaturegit commit -m 'Add some AmazingFeature'git push origin feature/AmazingFeaturemit
あなたがプロジェクトが好きで、財政的にサポートしたいなら、それは私にコーヒーを買ってください
github @grvydev・twitter @grvydev・メールgrvy @aer.industries
