torchbot

AI Torchbot

電報機器人的代碼？專用於Pytorch LLM

？概述

該項目旨在模擬文本Mesagge聊天機器人來聊天pytorch

在這個簡化的體系結構中，聊天機器人歷史記錄是交互歷史的中心存儲庫，支持了歷史上下文的檢索和新互動的記錄，包括LLM的完整響應。聊天機器人UI，RETRIEVER，VECTOR數據庫，提示存儲和LLM都在流體對話循環中扮演角色，從而為用戶提供無縫的聊天體驗。

？特徵

• LLM用法：與大語言模型（LLM）集成到對話中
• Langchaing：它使用Lanchain框架與LLMS不同
• 電報聊天機器人API：由電報API接口提供動力
• 開源矢量數據庫：聊天機器人專業體驗使用矢量數據庫來增強答案的精度
• 開源嵌入：它使用開源模型的嵌入

？架構流 - 聊天機器人互動循環

？建築流的解釋：

1. 用戶輸入：用戶在聊天機器人UI中鍵入輸入消息。
2. 聊天機器人UI到聊天機器人歷史記錄：此消息發送到存儲的聊天機器人歷史記錄。
3. 聊天機器人的歷史記錄：相同的消息也發送給了回獵犬。
4. 檢索器：獵犬通過查詢向量數據庫來處理輸入消息並通過查詢信息來增加信息。
5. 增強消息：獵犬將此增強消息發送到提示存儲。
6. 提示存儲：提示存儲會接收增強消息，並添加所有LLM參數以查詢其確切的增強提示。
7. 增強提示到LLM ：然後將此增強提示發送到大語言模型（LLM）。
8. LLM請求歷史記錄：LLM生成響應後，將完整的響應主體發送到請求歷史記錄。
9. 請求聊天機器人歷史記錄：存儲完整的響應主體後，將響應內容髮送回聊天機器人歷史記錄。
10. 對UI的回复：然後，聊天機器人歷史記錄將LLM的答復發送給聊天機器人UI。
11. 向用戶顯示：聊天機器人UI向用戶顯示答案。

              
                                    +--------+--------+   (11)                                                                               
                                    |                 |                                             
                                    |  Chatbot UI   | 
                                    |                 |                                             
                                    +--------+--------+
                                             ^
                                             |                                         
                                    (2) input|(10) output
                                             v                                                        
                                    +--------+-----------+                                    
                                    |                    |          (9) response content         
                                    | Chatbot History  +<-------------------------------+                                    
                                    |                    |                                |  
                                    +--------+-----------+                                |                      
                                             |                                            |                      
                                             | (3) message                                |                                     
                                             v                                            ^                                     
   +-------------------+           +---------+------------+   (4)               +---------+-----------+
   |                   |           |                      |                     |                     |
   |Vector Database ? +---------->|     Retriever ?      |                     | requests History ?  |       
   |                   |           |                      |                     |                     |
   +-------------------+           +---------+------------+                     +---------+-----------+                                
                                             |                                            ^
                                             | (5) Augmented message                      |                                     
                                             v                                            |                                     
                                    +--------+---------+  (6)                             |                                     
                                    |                  |                                  |                                     
                                    |Prompt Storage  |                                  |
                                    |                  |                                  |
                                    +--------+---------+                                  |                                     
                                             |                                            |                                     
                                             | (7) Augmented prompt with LLM params       |                                     
                                             |                                            |                                     
                                             v                                            |                                     
                                    +--------+-----------+                                |                                     
                                    |                    |                                |                                     
                                    |        LLM ?      |   (8) Generated response       |                                     
                                    |  (Large Language   +--------------------------------+                                     
                                    |      Model)        |                                                                       
                                    |                    |                                                                       
                                    +--------------------+                                                                       
                                                                                                        

✍️先決條件

在開始之前，請確保您有以下先決條件：

• Python 3.9或更高版本
• Docker安裝了
• 不要忘記設置.env文件，在存儲庫上不忽略它

？入門

請按照以下步驟設置並運行項目：

1. 克隆存儲庫：

    git clone [email protected]:DLesmes/torchbot.git
   cd torchbot
   

2. 設置帶有要求的python虛擬環境.txt：

    python3 -m venv venv
   source venv/bin/activate
   python3 -m pip install -r requirements.txt
   

3. 運行服務器：

    python3 main.py
   

您也可以在您的首選IDE中進行調試。

？聊天機器人歷史文件

默認情況下，將創建一個歷史記錄文件，模擬一個可以為下一個版本開發的NOS-SQL數據庫，其思想是這樣：

 {
    "<user_id>": [
        {
            "full_chat": [
                {
                    "reply_id": srt, // reply id
                    "role": "system", // by default the first reply role is the "system"
                    "content": srt, // message content
                    "timestamp": int, // timestamp in milliseconds
                },
                {
                    "reply_id": str, // reply id
                    "role": "user", // by default the second reply role is the "user"
                    "content": srt, // message content
                    "timestamp": int, // timestamp in milliseconds
                },
                {
                    "reply_id": str, // reply id
                    "role": "assitant", // by default the third reply role is the "assistant"
                    "content": srt, // message content
                    "timestamp": int, // timestamp in milliseconds
                },
                {
                    "reply_id": str, // reply id
                    "role": str, // role of the user
                    "content": srt, // message content
                    "timestamp": int, // timestamp in milliseconds
                }
            ]
        }
    ]
}

？請求歷史記錄文件

默認情況下，將創建一個請求。

 {
    "<reply_id>": [
      {
          "user_id": srt, // reply id
          "prompt": srt, // message content
          "response": int, // timestamp in milliseconds
          "timestamp": int, // timestamp in milliseconds
      }
  ]
}

？貢獻

隨時貢獻並使此聊天機器人項目變得更好！我們歡迎社區的捐款！如果您想做出貢獻，請按照以下步驟：

• 叉這個存儲庫
• 創建一個新分支： git checkout -b feature/YourFeatureName
• 進行更改並提交它們： git commit -am 'Add some feature'
• 推入分支： git push origin feature/YourFeatureName
• 創建一個拉動請求，我們期待您的貢獻！

接觸

對於任何疑問或建議，請隨時在這里聯係是我的個人資料