在科技界引發轟動的最新消息中,EXO Labs成功地在一臺擁有26年歷史的Windows 98系統上運行了大型語言模型(LLM)。這一壯舉不僅展示了技術的非凡能力,也彰顯了EXO團隊對于“民主化AI”理念的執著追求。
EXO Labs,這個由牛津大學研究人員和工程師組成的團隊,他們的使命是打破大型企業對AI技術的壟斷,讓更多人能夠接觸到前沿的AI技術。他們認為,AI技術應該被民主化,而不應被少數大型企業所掌控,這對于文化、真理和社會的其他基本方面都是不利的。
為了證明這一點,EXO團隊在Windows 98這臺老舊的電腦上進行了AI演示。他們詳細記錄了整個過程,從購買這臺Windows 98 PC作為項目基礎,到面臨數據傳輸、代碼編譯等一系列挑戰。尤其是數據傳輸,他們不得不使用古老的FTP方式,通過以太網端口進行文件傳輸,這無疑增加了項目的難度。
在Windows 98上運行的LLM,雖然受限于硬件條件,但表現依然不俗。使用260K LLM和Llama架構,他們實現了“35.9 tok/s”的速度。雖然升級到15M LLM后,生成速度略有下降,但仍然保持在1 tok/s左右。而Llama 3.2 1B的速度雖然較慢,但也達到了0.0093 tok/s。
EXO Labs的這一壯舉,不僅展示了AI技術的強大和靈活性,也讓我們看到了“民主化AI”理念的巨大潛力。他們相信,通過開放的基礎設施和前沿模型的訓練,任何人都能在任何地方運行AI技術,這將極大地推動AI技術的普及和發展。