就在剛剛，谷歌扔下“震撼彈”。
北京時間2月21日晚21點，美國科技巨頭谷歌（Google）宣佈推出全球效能最強大、輕量級的開源模型系列Gemma，分為2B（20億引數）和7B（70億）兩種尺寸版本，2B版本甚至可直接在膝上型電腦上執行。
谷歌表示，Gemma採用與 Gemini 模型相同的研究和技術，由Google DeepMind 和谷歌其他團隊開發，專為負責任的 AI開發而打造。谷歌聲稱，Gemma 模型18個語言理解、推理、數學等關鍵基準測試中，有11個測試分數超越了Meta Llama-2等更大引數的開源模型。
平均分數方面，Gemma -7B 的基準測試平均分高達56.4，遠超過Llama-13B（52.2）、Mistral-7B（54.0），成為目前全球最強大的開源模型。
請輸入圖說
谷歌和Alphabet公司CEO 桑達爾·皮查伊（Sundar Pichai）表示，Gemma展示了強大的效能，從今天開始，該模型將在全球範圍內提供，並可在膝上型電腦、工作站或谷歌雲上執行。
Google DeepMind CEO Demis Hassabis表示，輕量開源的Gemma是同類尺寸中效能最佳的模型。
如今，谷歌不僅將對手瞄向OpenAI，而且打算佔據一切，新模型將比扎克伯格的Llama-2“遙遙領先”。
效能超越Llama-2開源模型，谷歌Gemma為何那麼強？
自Gemini釋出至今，谷歌持續在 AI 方面“狂飆”。
2023年12月，谷歌推出全球最強大、最通用的多模態通用大模型：Gemini，中文稱“雙子座”，共包括三個不同尺寸版本：Ultra（超大杯）、Pro（大杯）和Nano（中杯），全面內建最新、最強大的自研 AI 超算晶片Cloud TPU v5p。
谷歌表示，在六項基準測試中，Gemini Pro效能表現優於GPT-3.5；而在30項效能基準測試中，Gemini Ultra超越了目前最強模型GPT-4，甚至在數學、物理、法律等57個領域測試中成為全球第一個超越人類專家水平的 AI 模型。
如此強大的 AI 技術，谷歌必然要持續推進。
所以，谷歌不僅統一了 AI 人才和算力資源，而且全力投資Gemini。今年1月，谷歌宣佈全球一項大模型基準測試中Gemini超越GPT-4；2月，谷歌宣佈對標ChatGPT的 AI 聊天機器人平臺Google Bard更名為Gemini，並推出安卓版本的獨立App，以及釋出史上效能和功能最強大的Gemini Ultra 1.0模型等。
然而，2月中旬Gemini 1.5釋出的同時，OpenAI全新影片生成模型Sora突然亮相，一經面世瞬間成為頂流，話題熱度只增不減。所有人都在討論Sora為行業帶來的改變，但這讓谷歌在 AI 領域的努力一下子“黯然失色”。
僅過了不到半個月，如今，谷歌捲土重來，正式推出全球最強大的開源模型Gemma。
相比ChaGPT和Gemini，Gemma可能更適合較小規模的任務，例如簡單的 AI 聊天或摘要。
谷歌表示，Gemma其靈感來自於此前谷歌釋出的Gemini大模型，名字在拉丁語中意為“寶石”。
具體來說，谷歌此次主要展示Gemma模型架構、效能表現、自研晶片、訓練基礎設施、軟體工具、碳減排、安全和評估、負責任等多個方面的努力。
其中，模型架構方面，Gemma基於谷歌Gemini模型以及Transformer自注意力機制的深度學習技術研發，Gemma 2B 和 7B 分別針對來自網路文件、數學和程式碼的 2T 和 6T 規模英文標註資料進行訓練。與Gemini 不同，這些模型不是多模式的，也沒有針對多語言任務的最先進效能進行訓練。
不僅如此，Gemma還使用了改進後的多頭注意力、RoPE嵌入、GeGLU啟用函式等新的技術，旨在文字領域實現通用能力，同時具備最先進的理解和推理技能。
效能表現方面，根據技術檔案，Gemma在MMLU、MBPP等18個基準測試中，有11個測試結果超越了Llama-13B或Mistral-7B等模型。
自研晶片方面，谷歌Gemma使用自研 AI 加速晶片TPUv5e進行訓練。其中7B模型在16個Pods上訓練，2B模型在2個Pods上訓練，每個 Pod 可佔用的 256 個晶片更少，v5e 經過最佳化，可以成為轉換器、文字到影象和卷積神經網路 (CNN) 訓練、微調和服務的最大價值產品。
而透過TPUv5e，Gemma模型可在文字領域實現強大的通用能力，同時具備最先進的理解和推理技能。
值得一提的是，谷歌今天還宣佈與英偉達（NVIDIA）展開合作。這意味著，Gemma不止使用TPUv5e晶片，而且使用NVIDIA GPU 來最佳化 Gemma 模型。
軟體工具層面，谷歌釋出了全新 AI 軟體工具包，名為Responsible Generative AI Toolkit，從而幫助開發者和研究人員優先構建安全和負責任的 AI 應用。此外，Gemma 提供 Keras 3.0、原生 PyTorch、JAX 和 Hugging Face Transformers 多個框架工具，並支援基於 Google Cloud 的最佳化，以及在膝上型電腦、桌上型電腦、物聯網、移動裝置和雲端等多個跨裝置中相容，從而讓Gemma實現推理和微調。
除了上述提及的層面，谷歌還在碳減排、安全和評估、負責任等方面有新的進展。其中，預訓練Gemma模型的碳排放量大大減少，約為131000噸二氧化碳；同時Gemma使用過濾後的預訓練資料集，以減少不安全內容的風險；以及透過監督式微調和基於人類反饋的強化學習（RLHF）進行微調。
谷歌表示，在人類偏好評估中，Gemma在遵循指令和基本安全協議方面的表現優於Mistral v0.2 7B Instruct模型。
另外，Google DeepMind採取結構化的方法來確保模型的負責任開發和部署，包括評估潛在的社會影響。
谷歌 DeepMind 產品管理總監 Tris Warkentin 表示，由於擔心開放模型存在部分風險，該公司“對 Gemma 進行了更廣泛的紅隊（專家、開發者等內部對抗性測試的外部團隊）”，從而提前挖掘出了更多 AI 系統存在的缺陷和風險。
署名研究人員高達57人，其中31人來自亞洲
技術論文顯示，此次參與谷歌Gemma開源模型的研發人員數量高達57位。
其中包括核心貢獻者（Core Contributors）14人，參與者（Contributors）達35人，產品管理（Product Management）2人，專案管理（Program Management）1人，執行贊助人（Executive Sponsors）5人。此外，谷歌還對內部其他多個團隊進行感謝。
據鈦媒體AGI透過Kimi Chat提供的資訊、研發者名字進行梳理和猜測，此次參與Gemma模型研發的57人中，可能有大約一半以上（31人）的開發者來自亞洲，或與華人或具有華人血統的個人有關。
例如，谷歌Gemma團隊當中的Le Hou（侯樂）博士，曾是谷歌FLAN-T5技術的作者。
在加入谷歌之前，侯樂在紐約州立大學石溪分校獲得了博士學位。博士在讀期間，他專注於分析高解析度影象，如衛星和醫學影象。
侯樂在谷歌的研究主要集中於NLP方面，包括高效的語言模型訓練、指令微調和提示工程等，核心能力是透過更好的微調和提示工程來提高最先進語言模型的推理能力。
而谷歌Gemma團隊另一位華人Geng Yan，也是 AI 領域大神級人物。他畢業於浙江大學計算機科學系，隨後在美國美國卡內基梅隆大學完成計算機視覺專業的碩士學位。
Geng Yan曾在商湯、亞馬遜等公司任職過，主要研究 AI 機器演算法技術，曾在谷歌參與研發Google Facemesh追蹤面部的 AI 模型，在谷歌相機自拍、手機支付等多個場景中發揮更大作用。
事實上，據The Information報道稱，目前谷歌公佈的最新論文中，Gemini的研發團隊超過800人。因此，參與Gemma研發人員佔比可能只有Gemini團隊的7.1%。
人員少，但Gemma效能毫不遜色。
然而，谷歌在技術報告中也坦言，儘管Gemma模型在效能、安全性和負責任開發方面實現了突飛猛進的進展，但谷歌承認“此釋出是不可逆轉的“，並且開放模型造成的危害尚未明確定義。谷歌仍需要進一步研究來建立可靠、按預期執行的穩健、安全的模型。
“因此我們將繼續採取與這些模型的潛在風險相稱的評估和安全緩解措施。”谷歌表示，Gemma在6個安全基準以及人類並行評估方面均優於競爭對手。
Warkentin 表示，Gemma模型目前先適配了英語這一廣泛語言，但他也指出，未來谷歌團隊也“希望能夠與社群共同努力，滿足英語任務之外的市場需求。”
目前，開發者可以在 Kaggle 中免費使用 Gemma，首次使用 Google Cloud 的使用者將獲得 300 美元的積分，並可申請高達 50 萬美元的Google Cloud積分來使用這些模型。具體可透過ai.google.dev/gemma進行查詢。
另外，谷歌方面今晨還宣佈，Google One AI Premium正在將Gemini整合到谷歌Gmail、Docs、Sheets、Slides和Meet當中，提供書寫、校對和生成影象等 AI 增強功能。而作為賬戶付費產品，前兩個月免費使用，之後每月19.99美元。
小結：谷歌拼命“卷”，只想成為王者
三個月釋出三款大模型系列，谷歌 AI 技術產品的更新迭代之快，讓人始料未及。
OpenAI CEO奧爾特曼（Sam Altman）曾私下表示，與谷歌相比，OpenAI在算力上處於劣勢。
在 AI 三要素中，谷歌在算力、演算法、資料方面都具有很明顯的技術領先優勢。那麼如今，谷歌連續釋出Gemini、Gemma模型，覆蓋開源和閉源方向，希望成為“AI 行業王者”的野心暴露無遺。
我們預計，接下來Gemma將成為開源社群的關注焦點。
谷歌開發者 X 副總裁兼總經理、谷歌開發者關係主管 Jeanine Banks 認為，Gemma 模型“感覺像是谷歌從TensorFlow 等工具開源 AI 開發技術的歷史的延續”的最新 AI 系統，從PaLM2、AlphaFold到Gemini，最後形成了Gemma。
“我們認為，如果谷歌能夠成為 API 和開放模型的唯一提供商，為社群提供最廣泛的功能集，那就完美了。”Jeanine Banks表示。
接下來，我們就看“剛剛跌落神壇”的開源模型Meta Llama如何再接招了。
（本文首發鈦媒體App，作者｜林志佳）
