Gemma-AI训练模型-戴号AI

Gemma简介

Gemma是由谷歌DeepMind及其他谷歌团队联合开发的一系列轻量级、先进的开放AI模型。该模型基于与Gemini相同的技术构建，旨在协助开发者和研究人员打造负责任的AI应用。Gemma系列包含Gemma 2B与Gemma 7B两种权重规模，并提供预训练版本和指令微调版本。它支持JAX、PyTorch和TensorFlow等多种框架，以便在不同设备上高效运行。此外，第二代模型Gemma 2已于6月28日正式发布。

官方资源与入口

官网主页：https://ai.google.dev/gemma?hl=zh-cn
Hugging Face模型库：https://huggingface.co/models?search=google/gemma
Kaggle模型地址：https://www.kaggle.com/models/google/gemma/code/
技术报告：https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf
官方PyTorch实现GitHub代码库：https://github.com/google/gemma_pytorch
Google Colab运行地址：https://colab.research.google.com/github/google/generative-ai-docs/blob/main/site/en/gemma/docs/lora_tuning.ipynb

核心特性

轻量级与跨平台兼容：模型设计轻量，具备出色的跨平台兼容性，可在笔记本电脑、台式机、物联网设备、云端以及工作站等多种计算环境中运行，支持广泛的AI功能。
开放性与可访问性：模型权重开放，以开源形式发布，提供预训练和微调后的检查点及推理部署代码库。用户在遵守许可协议的前提下可进行商业使用和分发。
多框架支持：支持JAX、PyTorch和TensorFlow等主流AI框架，并通过Keras 3.0提供工具链，简化了推理和监督微调（SFT）过程。
预训练与指令微调：提供预训练模型及指令微调版本，后者通过人类反馈强化学习（RLHF）确保模型行为的负责任性。
性能优化：针对NVIDIA GPU和Google Cloud TPUs等硬件平台进行了专门优化，确保在不同设备上均能实现高性能表现。
安全性与可靠性：遵循Google的AI原则，使用自动化技术过滤训练数据中的敏感信息，并进行了红队测试和对抗性测试等一系列安全评估。
社区支持：Google提供Kaggle、Colab等平台的免费资源以及Google Cloud积分，鼓励开发者利用Gemma进行创新研究。
负责任的AI工具包：发布了Responsible Generative AI Toolkit，包含安全分类器、调试工具和应用指南，助力构建安全负责任的AI应用。

技术架构与训练

模型架构

Gemma基于当前自然语言处理（NLP）领域先进的Transformer解码器构建。采用多头注意力机制，允许模型同时关注文本的多个部分；使用旋转位置嵌入（RoPE）代替绝对位置嵌入以减小模型体积并提升效率；采用GeGLU激活函数取代标准的ReLU非线性激活；并在每个Transformer子层的输入和输出进行归一化处理。

训练基础设施与数据

模型在专为机器学习设计的Google TPUv5e高性能计算平台上进行训练，通过在多个Pod（芯片集群）上进行模型分片和数据复制来高效利用分布式计算资源。

预训练使用了大量英语数据：2B模型约基于2万亿个token，7B模型约基于6万亿个token。数据主要源自网络文档、数学和代码，经过过滤以减少不安全内容并确保数据的多样性与质量。

微调策略与安全责任

微调阶段结合了监督式微调（SFT）和基于人类反馈的强化学习（RLHF），使用了合成文本对、人类生成的提示响应对，以及基于人类偏好数据训练的奖励模型。设计过程中充分考虑了安全性和责任，通过预训练数据过滤降低敏感信息和有害内容风险，并辅以自动化基准测试和人类评估保障实际应用安全。

性能评估

Gemma在问答、常识推理、数学与科学问题解答及编码任务等多个领域进行了广泛评估。在MMLU、MBPP等18个基准测试中，有11个测试结果超越了Llama-13B或Mistral-7B等同等或更大规模的开放模型。

常见问题解答

Gemma一词的含义是什么？

Gemma在拉丁语中的意思是“宝石”。

Gemma是开源的吗？

Gemma是开源开放的大模型，用户可在Hugging Face查看和下载其模型。

Gemma模型的参数量是多少？

Gemma目前提供20亿和70亿参数量的模型，后续还会推出新的变体。