思维链？思维树？华为诺亚：现在到了思维森林时刻！

最近发现不少小伙伴都对科技周边很感兴趣，所以今天继续给大家介绍科技周边相关的知识，本文《思维链？思维树？华为诺亚：现在到了思维森林时刻！》主要内容涉及到等等知识点，希望能帮到你！当然如果阅读本文时存在不同想法，可以在评论中表达，但是请勿使用过激的措辞~

AIxiv 专栏持续报道全球顶尖AI研究成果，已收录2000余篇来自高校和企业实验室的优质内容，致力于推动学术交流与技术传播。欢迎投稿或联系报道！投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

OpenAI 的o1和o3模型发布，标志着大模型高阶推理能力的显著提升。然而，预训练的扩展定律（Scaling law）已显现瓶颈，探索新的扩展定律成为研究焦点。高阶推理能力有望开启大模型发展的新篇章。华为诺亚方舟实验室近日提出了一种名为“思维森林”（Forest-of-Thought，FoT）的全新高阶推理框架，通过扩展推理过程中的计算规模，大幅提升了大型语言模型（LLM）的高阶推理能力。

• 论文链接：https://arxiv.org/abs/2412.09078
• 项目链接：https://github.com/iamhankai/Forest-of-Thought

LLM 推理的挑战

LLM 在多种语言任务中表现出色，但在复杂推理方面仍面临挑战。例如，在解决数学问题时，LLM 容易忽略关键细节或在中间步骤出错，导致最终答案错误；且通常只探索单一推理路径，缺乏对结果的重新评估机制。 而人类则善于从多个角度思考并验证答案。

思维森林 FoT 框架详解

图1展示了 FoT 框架，它整合多个推理树，利用集体决策来解决复杂逻辑推理问题。FoT 采用稀疏激活策略，选择最相关的推理路径，提升效率和准确性；并引入动态自校正策略，实时识别和纠正错误，并从错误中学习；同时，共识引导决策策略优化了正确率和计算资源利用。^{图 1 思维森林 FoT}

核心策略

• 稀疏激活策略: FoT 只选择最相关的推理树和节点进行计算，提高效率和准确性。
• 动态自校正策略: 该策略评估每个推理步骤的正确性，低于阈值则触发校正机制，从历史错误中学习，避免重复犯错。^{图 2 动态自校正策略}
• 共识引导决策策略: 多个推理树生成候选答案，投票选出支持度最高的答案；若无共识，则由“专家”评估并选择最终答案。

实验结果与分析

研究人员在 24 点游戏、GSM8K 和 MATH 数据集上，使用 Llama3-8B、Mistral-7B 和 GLM-4-9B 等开源 LLM 模型评估了 FoT。

• 24 点游戏: 增加推理树数量显著提升准确率，多树策略优于单树复杂化策略。^{表 1 24 点游戏实验结果}
• GSM8K: 不同基模型上，树数量越多，准确率提升越显著。^{图 3 FoT 在不同基模型上的性能}
• MATH: FoT 在不同难度级别上都展现出显著的性能提升。^{表 2 FoT 在 MATH 数据集上的性能}

FoT 的应用前景

FoT 框架具有广泛的应用前景，可用于需要复杂推理的领域，例如金融风险评估、医疗诊断、法律推理等。 FoT 也能与现有 LLM 结合，提升其在各个领域的应用效果。

总结

思维森林 (FoT) 框架为提升 LLM 推理能力提供了一种新方法，通过多路径探索和动态激活，有效克服了现有 LLM 推理方法的局限性，推动大模型向更智能、高效的方向发展。

好了，本文到此结束，带大家了解了《思维链？思维树？华为诺亚：现在到了思维森林时刻！》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多科技周边知识！