dolly expert lite

標題	app_file	SDK	sdk_version
Dolly-Expert-構建器	app.py	Gradio	3.34.0

Dolly-Expert-Lite

輕量級的Dolly-V2助手，可以回答特定領域的問題並進行對話。它是LLM時代的專家系統。

提交給“因此您認為自己可以黑客”：開放源LLM（例如，開放式llms（例如OpenAssistant，MPT，Dolly等）DevPost Hackathon。

• 多莉專家建造者 @ huggingface空間
• 已發表的數據鏈條筆記本
• Jupyter筆記本 - github版本

靈感

專家系統

專家系統曾經在人工智能方面很大。他們模仿了特定領域的人類專家的決策能力，並且在許多用例中可以提供大量價值。老式專家系統的主要缺點是必須使用布爾語句或類似邏輯對其進行編程，以花費大量時間和資源。在許多情況下，這種方法擊敗了為手頭任務提供便利的專家的目的。

封閉源LLM

封閉源的LLM應用程序（例如ChatGpt3.5和Chatgpt-4）是巨大的型號，非常好的任務。他們確實有限制，例如幻覺，當他們不知道如何響應或答案在線何時並且無法訪問互聯網或文件時。有時，這些幻覺將以非常有說服力的方式講述，每當試圖實施它們時，它們都將是虛假或不正確的。這些模型具有巨大的上下文窗口，因此人們可以通過提供大量信息並實施及時的工程技術來幫助他們完成自己努力的任務。這使得只有封閉源代碼的大公司才能開發和部署LLM應用程序。

它做什麼

Dolly Expert Lite利用Dolly-V2-3B，Dolly-V2-12B的輕量級版本，Dolly-V2-12B，一種開源的大語言模型（LLM），可以使用定制矢量數據庫中的檢索來回答特定領域的問題。在此示例部署中，Dolly-Expert-Builder從安大略省（加拿大）建築法規檢索信息，以根據官方政府法規回答有關建築，管道，電氣接線和通風的特定問題。 Dolly-expert-Builder可以提供一致且實際上正確的信息，並可以作為適合商人的指導（水管工，電工，機械師，房屋建築商），工程師和建築師在執行工作時協助調節合規性。

通過遵循這種方法，個人和組織可以使用其本地數據使專家助理能夠回答特定領域的問題。可能的用例包括：

• 闡明監管/法律要求
• 登機和培訓支持
• 解釋質量系統
• 文獻評論
• 文檔搜索

我們如何構建它

• 型號：Dolly-V2-3B來體現輕量級開發和部署
• 框架：Langchain使問題回答鏈，並且由於它與Chromadb的整合
• 文本嵌入：通過弱監督的對比預訓練（E5-base-v2），文本嵌入。由於他們在檢索任務中的得分很高，根據MTEB英語排行榜
• 安大略省（加拿大）建築法規：以非理工學院工人從LLM應用程序中受益的示例。代碼頁面不容易導航，因為這些部分僅命名為“第1節”，“第2” ...，“第14節”。使用他們的網站解析並轉換為矢量商店。
• 矢量商店：Chromadb
• 部署：擁抱面和Gradio。在此處可用：Dolly Expert Builder

我們遇到的挑戰

由於工具是如此新，因此某些與標準用例的分歧會導致錯誤。例如：

• 在Langchain中的同一問題回答鏈中不使用記憶和來源。通過創建從內存類繼承的類來實現解決方法。
• 在Jupyter筆記本上使用站點地圖進行Web取消時，錯誤。可以規避使用NEST_ASYNCIO解決方法。
• 向量數據庫未加載。另一個早期開發的蘭鏈問題，當在Chromadb初始化中使用persists_directory時，它部分保存了，並且以後不會在單獨的實例中加載，因為.persists（）方法未調用。這必須重做並再次承諾，以使數據庫最終可用。
• Gradio應用程序不在Jupyter筆記本上啟動。以前的解決方法更改了Asyncio的本地安裝，這是一個級別的要求，使其在同一運行時無法使用。為了避免這種情況，矢量數據庫是在單獨的筆記本中製作的，並致力於存儲庫。
• CPU的推斷非常緩慢。由於沒有可用的官方量化多莉模型，因此使用CPU進行推斷具有很高的延遲。在提交之時，我還用完了Databricks免費試用。幸運的是，到那時，該代碼已經起作用了，我能夠在T4-Mall空間上在線部署和測試。

我們為之驕傲的成就

能夠使用諸如Dolly之類的開源模型製作LLM應用程序的功能輕巧原型，並將其部署為擁抱面空間。能夠證明LLM應用程序適用於每個人，並且開源生態系統與封閉式先驅者一樣有能力。

我們學到了什麼

就一般軟件開發知識而言，我學會了對彼此衝突的軟件包進行故障排除，從而了解python必鬚根據安裝的依賴項進行重新啟動，或者有時最好將任務劃分而不是一次嘗試執行所有操作。我還學習了Gradio的基礎知識，以便能夠製作該應用程序。最重要的是，我學會了更好地導航Github問題和堆疊式帖子，以找到解決我遇到的問題的解決方法。

就與LLM相關的知識而言，我了解了及時工程的重要性以及它如何顯著改善您的推理結果，我學會了更多的自然語言處理（NLP）術語，並且我了解了問題鏈記憶的類型。我還了解到，開源模型為有興趣的人提供了開發和部署LLM應用程序的可能性，並花了時間研究文檔，解決或解決方法當前問題。

Dolly Expert Lite的下一步

• 多語言：對於Dolly Expert Lite的下一次迭代，我想嘗試一下，看看我是否可以使用其他語言和多語言嵌入式的信息獲得良好的結果。這將能夠開發其他非共同應用程序，而在教程或流行指南中看不到。例如，法律助手可以幫助瀏覽《墨西哥工黨法案》，或者可以解釋加拿大法國人的法規合規性助手。
• 性能：為了提高推理速度，我想調查dolly，以回答問題，並調查是否有一種量化方法，我可以嘗試使用12B或7B模型，同時嘗試保持一致，相對較短的推理時間。我也對最佳庫感興趣，並希望為英特爾神經棒的用例工作，這可能是本地推斷的負擔得起的替代方法。
• 內存：至於新功能，我想嘗試使用知識圖存儲器將密鑰項目存儲在對話中，從而使工具用於更複雜的情況。例如，澄清是否已經滿足監管要求，如果沒有，則如何分解並描述其實施。