滑铁卢大学团队在Nature子刊讨论量子计算机和大语言模型的现状和未来

模拟当今量子计算设备的关键挑战之一是学习和编码量子比特之间复杂关联的能力。新兴技术基于机器学习语言模型已展现出学习量子态的独特能力。

近期，滑铁卢大学的研究人员在《Nature Computational Science》发表了一篇名为《Language models for quantum simulation》的透视文章，强调了语言模型在构建量子计算机方面的重要贡献，并探讨了它们在未来量子优势竞争中的潜在作用。这篇文章突出了语言模型在量子计算领域的独特价值，指出它们可以用来解决量子系统的复杂性和精确性问题。研究人员认为，通过使用语言模型，可以更好地理解和优化量子算法的性能，并为量子计算机的开发提供新的思路。文章还强调了语言模型在量子优势竞争中的潜在作用，认为它们可以帮助加速量子计算机的发展，并有望在解决实际问题方面取得

论文链接：https://www.nature.com/articles/s43588-023-00578-0

量子计算机已经开始成熟，最近许多设备都声称具有量子优势。经典计算能力的持续发展，例如机器学习技术的快速崛起，引发了许多围绕量子和经典策略之间相互作用的令人兴奋的场景。随着机器学习继续与量子计算堆栈快速集成，提出了一个问题：它是否可以在未来以强大的方式改变量子技术？

当前量子计算机面临的主要挑战之一是学习量子态。最近出现的生成模型提供了两种常用策略来解决学习量子态的问题。

图示：自然语言及其他领域的生成模型。（来源：论文）

首先，通过使用代表量子计算机输出的数据集进行数据驱动学习，可以采用传统的最大似然方法。其次，我们可以利用物理学方法来处理量子态，这种方法利用了量子比特之间相互作用的知识，从而定义了替代损失函数。

无论哪种情况，量子比特数量 N 的增加都会导致量子态空间（希尔伯特空间）的大小以指数方式增长，这被称为维数灾难。因此，在扩展模型中表示量子态所需的参数数量以及寻找最佳参数值的计算效率都面临着巨大的挑战。为了克服这一问题，人工神经网络生成模型是一种非常合适的解决方案。

语言模型是一种特别有前途的生成模型，它已成为解决高复杂性语言问题的强大架构。由于其可扩展性，也适用于量子计算中的问题。如今，随着工业语言模型进入数万亿个参数的范围，人们很自然地想知道类似的大型模型在物理学中可以实现什么，无论是在扩展量子计算等应用中，还是在量子物质、材料和设备的基础理论理解中。

图示：量子物理问题及其变分公式。（来源：论文）

量子计算的自回归模型

语言模型是旨在从自然语言数据推断概率分布的生成模型。

生成模型的任务是学习语料库中出现的单词之间的概率关系，允许每次生成一个标记的新短语。主要困难在于对单词之间所有复杂的依赖关系进行建模。

类似的挑战也适用于量子计算机，其中纠缠等非局部相关性会导致量子比特之间高度不平凡的依赖性。因此，一个有趣的问题是，工业界开发的强大自回归架构是否也可以应用于解决强相关量子系统中的问题。

图示：文本和量子比特序列的自回归策略。（来源：论文）

RNN 波函数

RNN 是任何包含循环连接的神经网络，因此 RNN 单元的输出取决于先前的输出。自 2018 年以来，RNN 的使用迅速扩大，涵盖了理解量子系统中各种最具挑战性的任务。

RNN 适合这些任务的一个关键优势是它们能够学习和编码量子比特之间高度重要的相关性，包括本质上非局域的量子纠缠。

图示：用于量子比特序列的 RNN。（来源：论文）

物理学家已将 RNN 用于与量子计算相关的各种创新用途。RNN 已用于根据量子比特测量重建量子态的任务。RNN 还可以用于模拟量子系统的动态特性，这被认为是量子计算最有前途的应用之一，因此也是定义量子优势的一项关键任务。RNN 已被用作构建神经纠错解码器的策略，这是容错量子计算机开发的关键要素。此外，RNN 能够利用数据驱动和物理启发的优化，从而在量子模拟中实现越来越多的创新用途。

物理学家社区继续积极开发 RNN，希望利用它们来完成量子优势时代遇到的日益复杂的计算任务。RNN 在许多量子任务中与张量网络的计算竞争力，加上它们利用量子比特测量数据的价值的天然能力，表明 RNN 将继续在未来模拟量子计算机的复杂任务中发挥重要作用。

Transformer 量子态

多年来，虽然 RNN 在自然语言任务中取得了巨大成功，但最近它们在工业中因 Transformer 的自注意力机制而黯然失色，而 Transformer 是当今大型语言模型 (LLM) 编码器-解码器架构的关键组成部分。

缩放（scaling ） Transformer 的成功，以及它们在语言任务中所展示的非平凡涌现现象所引发的重要问题，一直吸引着物理学家，对他们来说，实现缩放是量子计算研究的主要目标。

从本质上讲，Transformer 就是简单的自回归模型。然而，与 RNN 不同的是，RNN 是通过隐藏向量进行相关性的隐式编码，Transformer 模型输出的条件分布明确依赖于序列中有关自回归特性的所有其他变量。这是通过因果屏蔽的自注意力机制来完成的。

图示：注意文本和量子比特序列。（来源：论文）

与语言数据一样，在量子系统中，注意力是通过获取量子比特测量值并通过一系列参数化函数进行转换来计算的。通过训练一堆这样的参数化函数，Transformer 可以学习量子比特之间的依赖关系。有了注意力机制，就不需要将传递隐藏状态的几何结构（就像在 RNN 中一样）与量子比特的物理排列相关联。

通过利用这种架构，可以训练具有数十亿或数万亿参数的 Transformer。

对于当前一代量子计算机来说，结合数据驱动和物理启发学习的混合两步优化非常重要，已经证明了 Transformer 能够减轻当今不完美的输出数据中出现的错误，并可能形成强大的纠错协议的基础，以支持未来真正容错硬件的开发。

随着涉及量子物理 Transformer 的研究范围不断迅速扩大，一系列有趣的问题仍然存在。

量子计算语言模型的未来

尽管物理学家对它们的探索时间很短，但语言模型在应用于量子计算领域的广泛挑战时已经取得了显著的成功。这些成果预示着未来许多有前途的研究方向。

量子物理学中语言模型的另一个关键用例来自于它们的优化能力，不是通过数据，而是通过哈密顿量或 Lindbladian 的基本量子比特相互作用的知识。

最后，语言模型通过数据驱动和变分驱动优化的结合，开辟了混合训练的新领域。这些新兴的策略为减少错误提供了新的途径，并显示出对变分模拟的强大改进。由于生成模型最近已被改编为量子纠错解码器，混合训练可能为未来实现容错量子计算机的圣杯迈出了重要一步。这表明，量子计算机和在其输出中训练的语言模型之间即将出现良性循环。

图示：语言模型通过良性循环实现量子计算的扩展。（来源：论文）

展望未来，将语言模型领域与量子计算联系起来的最令人兴奋的机会在于它们展示规模和涌现的能力。

如今，随着 LLM 涌现特性的展示，一个新的领域已经被突破，提出了许多引人注目的问题。如果有足够的训练数据，LLM 是否能够学习量子计算机的数字副本？控制堆栈中包含语言模型，将如何影响量子计算机的表征和设计？如果尺度足够大，LLM 能否显示超导等宏观量子现象的出现？

当理论学家思考这些问题时，实验和计算物理学家已经开始认真地将语言模型应用于当今量子计算机的设计、表征和控制中。当我们跨越量子优势的门槛时，我们也进入了扩展语言模型的新领域。虽然很难预测量子计算机和 LLM 的碰撞将如何展开，但显而易见的是，这些技术相互作用所带来的根本性转变已经开始。