谷歌昨晚發(fā)布了全新開源大模型系列Gemma 2，包括Gemma 2 9B和Gemma 2 27B兩款型號，旨在滿足研究和開發(fā)人員的廣泛需求。Gemma 2系列憑借其參數(shù)小但性能卓越的特點，受到了業(yè)界的廣泛關(guān)注。特別是27B模型，可在單張谷歌云TPU、英偉達A100 80GB GPU或英偉達H100 GPU上，以全精度高效運行推理，大幅降低了成本。
Gemma 2在設(shè)計上進行了多項創(chuàng)新，包括局部滑動窗口和全局注意力、Logit軟上限、RMSNorm歸一化以及分組查詢注意力等技術(shù)，使得模型在保持高性能的同時，也能在各種硬件上快速推理。此外，Gemma 2還采用了知識蒸餾技術(shù)，通過向大模型學習，實現(xiàn)了用較少訓練數(shù)據(jù)達到更好效果的目標。
Gemma 2的實用性也得到了充分體現(xiàn)。它輕量級且開源，兼容多種主流人工智能框架，包括Keras 3.0、vLLM、Gemma.cpp等。此外，Gemma 2還提供了廣泛的示例和教程，方便用戶探索新功能并構(gòu)建自己的應用程序。從下個月開始，Google Cloud客戶還將在Vertex AI上輕松部署和管理Gemma 2。
在安全性方面，谷歌為Gemma 2提供了「負責任的生成式AI工具包」，確保用戶在使用模型時能夠遵循最佳實踐，降低潛在風險。