PaLM(Pathways Language Model)是一款大型语言模型(LLM),其性质类似于OpenAI开发的GPT系列或Meta推出的LLaMA系列。谷歌于2022年4月首次公开PaLM,该模型拥有超过5400亿个训练参数。与其他LLM相似,PaLM是一个灵活的系统,能够执行多种文本生成和编辑任务。例如,您可以将PaLM训练成类似ChatGPT的对话式聊天机器人,或者利用它进行文本摘要甚至代码编写等任务。(这与谷歌近期为其Workspace应用套件,如Google Docs和Gmail,所宣布的功能类似。)

在2023年谷歌I/O开发者大会上,谷歌CEO桑达尔·皮查伊正式发布了旨在对标GPT-4的大模型PaLM 2,并推出了预览版。新版模型在数学运算、代码编写、逻辑推理、多语言翻译以及自然语言生成等方面均实现了显著改进。
谷歌为PaLM 2提供了四种不同规模的版本,按从小到大依次为:Gecko、Otter、Bison和Unicorn。其中,Gecko版本极为轻量,专为移动设备设计,运行速度快,甚至支持在离线状态下于本地设备流畅运行交互式应用。这种高度的灵活性使得PaLM 2能够通过微调以更多样化的方式赋能各类产品,从而惠及更广泛的用户群体。
PaLM 2的核心特性
作为谷歌新一代大型语言模型,PaLM 2在多语言能力、逻辑推理及编码技能方面进行了全面优化。
- 多语言能力: PaLM 2接受了涵盖100多种语言的广泛文本训练。这极大地提升了其在多种语言环境中理解、生成及翻译细微语境文本(包括成语、诗歌和谜语等高难度内容)的能力。此外,PaLM 2还通过了高级语言能力考试,达到了“精通”水平。
- 推理能力: PaLM 2的训练数据集包含了大量科学论文及带有数学表达式的网页内容。因此,它在逻辑思维、常识推理以及数学解题方面展现出了更强的能力。
- 编程能力: PaLM 2基于海量公开源代码数据集进行了预训练。这不仅使其熟练掌握Python和JavaScript等主流编程语言,还能生成Prolog、Fortran和Verilog等专业领域的代码。
Java CompletableFuture 超时后怎么取消底层任务
Java CompletableFuture 超时并不会自动停止底层任务。本文用可取消的 Future
Python logging QueueHandler 怎么把日志写入后台线程
用 Python 标准库的 QueueHandler、queue.Queue 和 QueueListen
Go testing.T.TempDir 怎么隔离文件测试的临时目录
用 Go testing.T.TempDir 为文件测试建立独立临时目录,理解自动清理、并行子测试隔离、
PHP DateTimeImmutable 怎么生成月末且不被时区影响
用 DateTimeImmutable 和明确的 IANA 时区计算月末,避开直接加月份的月底溢出,并封
Go vendor 模式下新增依赖为什么没有被编译器采用
Go 项目新增依赖后,go.mod 已经变化但 -mod=vendor 仍然找不到包,通常是 vendo
OpenAI 关于代理工作方式的研究给工程团队哪些可执行观察
OpenAI 近期公开的代理工作研究显示,工程团队正在从短对话转向长任务、并行代理和人工监督。真正值得借

