PaLM 2

PaLM 2：谷歌的下一代大语言模型

PaLM（Pathways Language Model）是谷歌于2022年4月首次推出的大型语言模型（LLM），拥有超过5400亿个训练参数。作为一种灵活的系统，它能够执行各类文本生成与编辑任务，例如将其训练为对话式聊天机器人，或者用于总结文本乃至编写代码。在2023年的谷歌I/O大会上，谷歌CEO皮查伊宣布推出了对标GPT-4的PaLM 2大模型，并正式发布了预览版本。相较于前代，PaLM 2在数学、代码、推理、多语言翻译和自然语言生成能力上均实现了显著改进。

模型版本与设备适配

为了满足不同场景的需求，PaLM 2 提供了四种不同大小的版本，从小到大依次为：Gecko、Otter、Bison 和 Unicorn。其中，Gecko 版本非常轻巧，能够在移动设备上高效工作，即使在离线状态下也能以足够快的速度运行出色的交互式应用程序。这种多功能性意味着 PaLM 2 可以通过微调，以更多样化的方式支持整个类别的产品，从而帮助更广泛的用户群体。

PaLM 2 的核心特性

作为谷歌的下一代大语言模型，PaLM 2 在多语言处理、逻辑推理和编码能力上进行了重点升级。

• 多语言性：PaLM 2 在多语言文本方面接受了更多的训练，涵盖超过100种语言。这大幅提升了它在多种语言中理解、生成和翻译细微差别文本（包括成语、诗歌和谜语等难点）的能力。此外，PaLM 2 还通过了“精通”级别的高级语言能力考试。
• 推理能力：PaLM 2 的训练集包含了广泛的科学论文和带有数学表达式的网页。因此，它在逻辑、常识推理以及数学方面展示出了改进的能力。
• 编程能力：PaLM 2 在大量公开可用的源代码数据集上进行了预训练。这使得它不仅擅长 Python 和 JavaScript 等主流编程语言，还能够生成 Prolog、Fortran 和 Verilog 等语言的专用代码。