PaLM 2 型号

PaLM 2 是一系列语言模型,针对关键开发者使用场景进行了优化。PaLM 系列模型包括针对文本和聊天生成以及文本嵌入训练的变体。本指南介绍了每种变体,以帮助您确定哪个变体最适合您的用例。

模型尺寸

模型尺寸以动物名称描述。下表显示了可用尺寸及其相互之间的相对关系。

模型大小 说明 服务
Bison(野牛) 性能最强的 PaLM 2 模型大小。
  • PLAIN_TAXT;
  • 聊天
Gecko(壁虎) 最小、最高效的 PaLM 2 模型大小。
  • 嵌入

模型变体

有多种 PaLM 模型可供选择,并已针对特定用例进行了优化。下表介绍了每种类型的属性。

变体 属性 说明
Bison 文本 模型上次更新时间 2023 年 5 月
型号代码 text-bison-001
模型功能
  • 输入:文字
  • 输出:文本
  • 针对语言任务进行了优化,例如:
    • 代码生成
    • 文本生成
    • 文本编辑
    • 解决问题
    • 生成建议
    • 信息提取
    • 数据提取或生成
    • AI 代理
  • 可以处理零样本、一样本和少样本任务。
模型安全 针对开发者可针对 6 个损害维度调整的安全设置。 如需了解详情,请参阅安全设置主题。
速率限制 每分钟 90 个请求
Bison Chat 模型上次更新时间 2023 年 5 月
型号代码 chat-bison-001
模型功能
  • 输入:文字
  • 输出:文本
  • 以对话格式生成文本。
  • 针对对话语言任务(例如聊天机器人或 AI 代理的实现)进行了优化。
  • 可以处理零样本、一样本和少样本任务。
模型安全 没有可调整的安全设置。
速率限制 每分钟 90 个请求
Gecko 嵌入 模型上次更新时间 2023 年 5 月
型号代码 embedding-gecko-001
模型功能
  • 输入:文字
  • 输出:文本
  • 为输入文本生成文本嵌入。
  • 针对最多 1024 个词元的文本创建嵌入进行了优化。
模型安全 没有可调整的安全设置。
速率限制 每分钟 1500 个请求

模型元数据

使用 ModelService API 可获取有关最新模型的其他元数据,例如输入和输出令牌限制。下表显示了 text-bison-001 模型变体的元数据。

属性
显示名称 文本 Bison
型号代码 models/text-bison-001
说明 适合文本生成的模型
输入令牌限制 8196
输出令牌限制 1024
支持的生成方法 generateText
温度 0.7
top_p 0.95
top_k 40

模型属性

下表介绍了所有模型变体通用的 PaLM 2 属性。

属性 说明
训练数据 PaLM 2 的知识截止时间为 2021 年年中。并且无法了解该时间之后发生的事件。
支持的语言 英语
可配置的模型参数
  • 前 p
  • 前 k 个
  • 温度
  • 停止序列
  • 最大输出长度
  • 候选回复数量

如需了解每个参数,请参阅“LLM 简介”指南的模型参数部分。