近期,清華大學高性能計算研究所傳來重大消息,翟季冬教授團隊攜手清華背景的科創先鋒清程極智,共同揭曉了一項開源大模型推理引擎——“赤兔Chitu”。這一創新成果為國產AI芯片的普及應用和生態建設鋪設了新的道路。
“赤兔Chitu”實現了在非英偉達Hopper架構GPU及多種國產芯片上直接運行FP8精度模型的歷史性突破,打破了此前FP8精度模型對英偉達Hopper架構(例如H100/H200)的硬件束縛,為行業帶來了更多選擇。
在A800集群的實際測試中,“赤兔”引擎展現了驚人的性能。在GPU使用量減半的情況下,推理速度卻提升了3.15倍,這一成果不僅大幅降低了企業的硬件投入成本,還顯著提升了運算效率。
“赤兔”引擎的智能優化技術具備強大的兼容性,能夠迅速適應不同的芯片架構。這意味著國產硬件廠商無需再投入大量資源進行軟件重復開發,可以將更多精力集中在硬件的升級與優化上。目前,清程極智已經與沐曦、燧原等領先廠商攜手,推出了即插即用的推理一體機,在金融、醫療等多個領域得到了廣泛應用。
清程極智的CEO湯雄超強調,目前國內在推理引擎這一關鍵環節上,仍然缺乏達到生產級標準的開源產品。“赤兔”引擎的開源,是推動國內AI生態建設的關鍵一步,它將為行業帶來更加高效、靈活的技術支撐,助力行業實現更快發展。