faq llm
1.0.0
このリポジトリには、LORAテクニックを使用したパラメーター効率的な微調整を使用して、eコマースFAQチャットボットを構築するためのコードとリソースが含まれています。このプロジェクトの目的は、大規模な言語モデル（LLM）を活用し、Falcon-7Bモデルを使用して微調整アプローチを採用することにより、eコマースサイトのチャットボットを開発することを目的としています。微調整は、モデルのパフォーマンスを向上させるためのパラメーター効率の高い微調整（PEFT）とLORA（低ランク適応）技術で実行されます。
ペースの速いeコマースの世界では、顧客クエリを効率的に処理することが重要です。このプロジェクトでは、高度な言語モデルを活用するチャットボットソリューションを導入して、よくある質問に対する回答を自動化します。微調整されたモデルであるFalcon-7Bは、kaggleから抽出されたカスタムデータセットでトレーニングされ、eコマースドメインの共通ユーザークエリに対処します。
このプロジェクトは、OpenaiのGPTモデルやMetaのLlamaモデルなど、事前に訓練されたモデルに基づいています。また、IBMワトソンアシスタントやAda Healthcare Chatbotなどの既存のチャットボットも検討しています。 RAG（検索拡張生成）と微調整されたモデルの比較について説明します。
Kaggleから調達されたデータセットは、質問と対応する回答がある79のサンプルで構成されています。分割には、トレーニング用の67のサンプル（85％）とテスト用の12サンプル（15％）が含まれています。
Kaggleのデータセットへのリンク
方法論には、FALCON-7Bモデルの使用、PEFTおよびLORA技術での微調整、トランスやPEFTなどの主要なライブラリの顔を抱きしめることが含まれます。このプロセスには、データセット前処理、LORAアダプターの構成、モデルトレーニングが含まれます。
このモデルは、エポック全体の損失値の減少を示しており、肯定的なトレーニング傾向を示しています。評価に使用されるBLEUスコアは、予想される結果に合わせた応答を生成する際のモデルの習熟度を示しています。
このプロジェクトは、高度な言語モデルを通じてeコマースのカスタマーサポートの強化に貢献しています。達成された結果は有望ですが、より大きなデータセットと継続的なモデルの洗練を使用したさらなる実験が推奨されます。
謝辞は、Falcon-7Bモデルの開発者、抱き合っているフェイスコミュニティ、データセットをホストするためのKaggle、およびニューヘブン大学の教員に拡張されます。
ローカルで使用するための河川照明アプリケーションが開発されており、最適なパフォーマンスのために少なくとも16ギガバイトのビデオRAM（VRAM）を備えたGPUが必要です。このリポジトリのアプリ。 retrienlit-app dirのチェックアウト
自由に探索し、実験し、さらに改善に貢献してください。
