本文報道了第六屆北京智源大會上智源研究院院長王仲遠發布的2024智源研究院進度報告，重點介紹了智源大模型全家桶。報告展現了智源研究院在語言、多模態、具身、生物計算大模型領域的最新研究成果，以及其開源技術基座的升級與佈局。 Downcodes小編將詳細解讀報告內容，特別是關於智源大模型全家桶的組成及其核心技術。
6月14日，由智源研究院主辦的第六屆「北京智源大會」在中關村展示中心召開。在本次會議期間，智源研究院院長王仲遠做2024智源研究院進度報告，並重點介紹了智源大模型全家桶。
在2024智源研究院進展報告中，智源研究院分享了自身在語言、多模態、具身、生物計算大模型的前沿探索和研究進展及大模型全端開源技術基座的迭代升級與版圖佈局。在智源研究院看來，現階段語言大模型的發展已經具備了通用人工智慧非常核心的理解和推理能力，並且形成了一條以語言大模型為核心對齊和映射其他模態的技術路線，從而讓模型具備了初步的多模態理解與生成能力。但這不是讓人工智慧感知、理解物理世界的終極技術路線，而是應該採取統一模型的範式，實現多模態的輸入與輸出，讓模型具備原生的多模態擴展能力，向世界模型演進。
「未來，大模型將以數位智能體的形態與智慧硬體融合，以具身智慧的形態從數位世界進入物理世界，同時，大模型這項技術手段可為科學研究提供新的知識表達範式，加速人類對微觀物理世界規律的探索與研究突破，不斷趨近通用人工智慧的終極目標。
智源大模型全家桶是這次2024智源研究院進度報告的一大亮點。記者在會議現場了解到，智源大模型全家桶由大語言模型系列、多模態大模型系列、具身智能大模型和生物計算大模型4個大模型研究方向，共12項研究組成。以智源語言大模型系列為例，此方向包含了全球首個低碳單體稠密萬億語言模型Tele-FLM-1T與通用語言向量模型BGE（BAAIGeneralEmbedding）系列2項大模型研究。
「針對大模型訓練算力消耗高的問題，智源研究院和中國電信人工智慧研究院（TeleAI）基於模型生長和損失預測等關鍵技術，聯合研發並推出全球首個低碳單體稠密萬億語言模型Tele-FLM-1T。據悉，Tele-FLM系列模型實現了低碳生長，僅以業界普通訓練方案9%的算力資源，基於112台A800伺服器，用4個月完成3個模型總計2.3Ttokens的訓練，成功訓練出萬億稠密模型Tele-FLM-1T。 「模型訓練全程做到了零調整零重試，算力能效高且模型收斂性和穩定性好。目前，TeleFLM系列模型已經全面開源了52B版本，核心技術（生長技術、最優超參預測）、訓練細節（loss曲線、最優超參、資料配比和G radNorm等）均開源，期望技術開源可以對大模型社區產生有益促進。等問題。
智源研究院自主研發的通用語意向量模型BGE系列，基於檢索增強RAG技術，可實現資料之間精準的語意匹配，支援大模型呼叫外部知識的呼叫。 「自2023年8月起，BGE模型系列先後進行了3次迭代，分別在中英文檢索、多語言檢索、精細化檢索3個任務中取得了業界最佳的表現，綜合能力顯著優於OpenAI、 Google、Microsoft、Cohere等機構的同類模型。量位列國產AI模型首位，並被HuggingFace、Langchain、LlamaIndex等國際主流AI開發框架及騰訊、華為、阿里、字節、微軟、亞馬遜等主要雲服務提供商集成，對外提供商業化服務。語意向量模型BGE系列相關業務負責人告訴記者。
總而言之，智源研究院在推動大模型技術發展方面取得了顯著進展，其「大模型全家桶」和開源策略將進一步促進AI領域的創新和發展，值得持續關注。 Downcodes小編期待未來更多突破性成果的出現。