國產開源大模型再添一員強將。1月15日，大模型獨角獸MiniMax發布并開源了MiniMax-01全新系列模型，包含基礎語言大模型和視覺多模態大模型兩個模型。

據MiniMax介紹，其基礎語言大模型MiniMax-Text-01在多數任務上，追平了GPT-4o、Claude 3.5 Sonnet這兩個海外公認最先進的閉源模型。在評估模型指令遵循能力的IFEval和C-SimpleQA中文評測集中，該基礎語言大模型的得分也超過了另一國產開源模型DeepSeek-V3。

與DeepSeek模型類似，MiniMax的新系列模型也對傳統的Transformer架構進行了創新。MiniMax稱，在模型中首次大規模實現了線性注意力機制，每8層中有7個是基于Lightning Attention的線性注意力，有一層是傳統的SoftMax注意力。

通俗來講，如果比喻成要在一群人中找到最重要的那個，傳統注意力需要每個人跟其他人都單獨聊一遍，逐一比較所有人的重要性。而線性注意力只用查看每個人手中的名片，快速統計出哪些人持有的信息是最重要的。因此，傳統注意力機制精準但計算繁重，適合短輸入或復雜任務，而線性注意力以其高效更適合超長輸入、需要快速處理的任務。

MiniMax在技術報告中提到，正在研究更高效的模型架構，希望能夠完全去除SoftMax注意機制，從而實現無限長的上下文窗口，而不會增加計算開銷。

幻方量化旗下AI公司DeepSeek在12月底發布了V3開源模型，采用的是創新的多頭潛在注意力機制和DeepSeekMoE混合專家架構。在節省內存占用和計算資源的同時，確保資源被高效利用。DeepSeek-V3以極低的訓練成本實現了對齊領軍閉源模型的性能，引發國內外科技社區熱議。不僅被前OpenAI聯創Andrej Karpathy贊為在資源受限的情況下對研究和工程的一次令人印象深刻的展示，也被OpenAI列作中國AI技術快速發展的范例。

圍繞線性注意力機制，MiniMax對模型的訓練和推理系統進行了重構。其模型包含4560億個參數，單次推理激活459億個。能夠高效處理最長400萬token的上下文，是GPT-4o的32倍，Claude 3.5 Sonnet的20倍。在長上下文的測評集上，MiniMax-Text-01的表現顯著領先于其他開閉源模型。

MiniMax表示，01系列模型將能夠支持未來一年內智能體應用的大幅增長需求，因為智能體系統越來越需要更長的上下文處理能力和持續的記憶。我們相信2025年會是Agent高速發展的一年。該公司稱，在這個模型中，我們走出了第一步，并希望使用這個架構持續建立復雜Agent所需的基礎能力。

智能體正成為國內外AI公司競相押注的賽道。OpenAI CEO Sam Altman本月初發文稱，到2025年，將可能看到第一批AI智能體加入勞動力隊伍，并實質性地改變公司的產出。谷歌在推出新一代Gemini 2.0大模型時也表示，這是為智能體時代構建的。該模型主打支持多模態輸入和輸出，以構建出更接近通用助手愿景的智能體。

MiniMax在闡述為何選擇將模型開源時提到，一是認為這有可能啟發更多長上下文的研究和應用，從而更快促進智能體時代的到來。二是通過開源促使其努力做更多創新，更高質量地開展后續的模型研發工作。

MiniMax成立于2021年12月，被普遍稱為國內大模型六小龍之一。旗下擁有AI陪伴應用星野，以及集成了對話、視頻、音樂功能的海螺AI等代表性產品，在海外市場積累了一定熱度。其最新披露的一輪融資還是在去年3月，由阿里領投的6億美元B輪融資，公司估值達25億美元。此前騰訊、米哈游、高瓴創投等機構也參投了MiniMax。

六小龍中，各公司的大模型開源進度不一。其中，百川智能、智譜AI、零一萬物開源了多款模型，涵蓋大語言模型、多模態模型等。而月之暗面、階躍星辰僅開源了部分技術，例如月之暗面聯合清華大學等機構開源的大模型推理架構Mooncake，以及階躍星辰專注提升光學字符識別技術的GOT-OCR2.0模型。