近日,清華大學高性能計算研究所的翟季冬教授團隊與清華系科創企業清程極智聯合發布了一個激動人心的消息—— 開源大模型推理引擎“赤兔Chitu”。這一創新性技術的推出,標誌著國內在AI 領域的又一重要突破,尤其是在推理引擎的開發上。
“赤兔Chitu” 引擎的核心亮點在於其能夠在非英偉達Hopper 架構的GPU 和各類國產芯片上,原生運行FP8精度模型。這意味著,無論是依賴於進口芯片還是國產芯片,開發者都能利用這一推理引擎實現高效的AI 模型推理。這一進展不僅推動了國產AI 芯片的廣泛應用,也為國內的AI 生態建設提供了強有力的技術支持。

清程極智的CEO 湯雄超在發布會上表示,當前國內在推理引擎這一核心環節仍然缺乏生產級的開源產品。而“赤兔Chitu” 的開源,正是為了解決這一痛點,助力國內AI 生態的建設。通過開放源代碼,開發者和研究人員可以自由地使用、修改和優化這一推理引擎,加速國內AI 技術的迭代和創新。
在全球AI 技術競爭日益激烈的背景下,清華團隊的這一舉措將為國內企業在AI 領域的發展提供新的機會。借助“赤兔Chitu” 推理引擎,企業能夠更快速地研發出符合市場需求的AI 產品,提升整體競爭力。此外,開源的方式也將吸引更多的開發者參與到AI 的研發中,共同推動技術的進步。
“赤兔Chitu” 的發布不僅是技術上的一次創新,更是推動國產AI 產業鏈完善的一步。未來,期待有更多的企業和開發者能夠借助這一工具,在AI 的海洋中乘風破浪,開創屬於中國的AI 新時代。