蘋果大模型MM1 終於加入戰局！

2024年3月17日

今年以來，蘋果顯然已經加大了對生成式人工智慧（GenAI）的重視和投入。之前在2024蘋果股東大會上，蘋果CEO提姆·庫克表示，今年將在GenAI領域實現重大進展。此外，蘋果宣佈放棄10年之久的造車專案之後，一部分造車團隊成員也開始轉向GenAI。
如此種種，蘋果向外界傳達了加注GenAI的決心。目前多模態領域的GenAI技術和產品非常火爆，尤以OpenAI的Sora為代表，蘋果當然也想要在該領域有所建樹。
3月17日，在一篇由多位作者署名的論文《MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training》中，蘋果正式公佈自家的多模態大模型研究成果：這是一個具有高達30B參數的多模態LLM系列。
該團隊在論文中探討了不同架構元件和資料選擇的重要性。並且，透過對圖像編碼器、視覺語言連接器和各種預訓練資料的選擇，他們總結出了幾條關鍵的設計準則。具體來講，本文的貢獻主要體現在以下幾個方面。
首先，研究者在模型架構決策和預訓練資料選擇上進行小規模消融實驗，並發現了幾個有趣的趨勢。建模設計方面的重要性按以下順序排列：圖像解析度、視覺編碼器損失和容量以及視覺編碼器預訓練資料。
其次，研究者使用三種不同類型的預訓練資料：圖像字幕、交錯圖像文本和純文字資料。他們發現，當涉及少樣本和純文字性能時，交錯和純文字訓練資料非常重要，而對於零樣本性能，字幕資料最重要。這些趨勢在監督式微調是（Supervised Fine-Tuning：SFT）之後仍然存在，這表明預訓練期間呈現出的性能和建模決策在微調後得以保留。
最後，研究者構建了MM1，一個參數最高可達300億（其他為30億、70億）的多模態模型系列，它由密集模型和混合專家模型（MoE）變體組成，不僅在預訓練指標中實現SOTA，在一系列已有多模態基準上監督式微調後也能保持有競爭力的性能。
具體來講，預訓練模型MM1在少樣本設定下的字幕和問答任務上，要比Emu2、Flamingo、IDEFICS表現更好。監督式微調後的MM1也在12個多模態基準上的結果也頗有競爭力。
得益於大規模多模態預訓練，MM1在上下文預測、多圖像和思維鏈推理等方面具有不錯的表現。同樣，MM1在指令調優後展現出了強大的少樣本學習能力。

更多其他精彩話題內容：
https://www.notion.so/7023b7b2cd5d4f5082c4aa7fb0fdcd1a?v=d4926f105c56473cbc55a3abe991aeac&pvs=4
https://scalloped-capybara-acc.notion.site/Health-Today-718e21949e6245e9b2e4d0acc93ed0e4