字节与复旦联合推出CAR自适应推理框架

字节跳动与复旦大学联合推出的CAR（Certainty-guided Adaptive Reasoning）自适应推理框架，旨在提升大型语言模型（LLM）及多模态大型语言模型（MLLM）的推理速度与精确性。CAR通过根据模型对答案的信任程度，灵活调整短答案与长篇幅推理之间的转换策略，优化了计算资源的使用和响应时间。在视觉问答、关键信息抽取和数学逻辑推理等领域，CAR展现了卓越的性能和广泛的适用性。

CAR是什么

CAR（Certainty-guided Adaptive Reasoning）是由字节跳动携手复旦大学共同研发的一种自适应推理框架，旨在增强大型语言模型（LLM）及多模态大型语言模型（MLLM）在各种任务中的推理速度与精确性。此框架通过灵活调整短答案与长篇幅推理之间的转换策略来实现这一目标，依据模型对答案的信任程度（利用困惑度PPL衡量）判断是否需要进一步深入分析。当模型对短答案的信任度不高时，CAR将启动长篇幅推理以提高答案质量；而当信任度足够高时，则直接返回简短答案，从而节约计算资源并缩短响应时间。CAR在视觉问答（VQA）、关键信息抽取（KIE）等领域表现出色，并且在处理数学这类复杂逻辑推理任务时也展现了优异的表现。

CAR的核心特点

• 智能化推理模式切换：CAR能够自动判断何时采用简短回应何时执行全面推理。面对易于解答的问题，它会迅速提供简洁回复以加快进程；而对于棘手难题，则展开详尽推理保证最终结果无误。
• 优化运行效率：通过大幅削减生成令牌的数量，CAR有效降低了运算开销以及响应延迟，使模型更加适合实际部署环境下的需求。
• 保障结果精准度：在必要情况下启用深度推理机制，使得模型无论是在简单还是复杂的场景下都能维持高水平的正确性。
• 广泛适用性：无论是视觉问答、关键信息挖掘，还是数学逻辑推导、日常知识问答等多样化应用场景，CAR都能够游刃有余地应对，展现其强大的通用能力。

CAR的工作机制

• 模型调教：利用包含简略版与扩展型解答样本的数据集对LLM或MLLM进行针对性训练。在此过程中，模型需学会根据不同情境生成恰当长度的答案。训练的目标是最小化预测序列概率分布与实际观测值之间的差异，以此来改进模型性能。
• 评估短答置信水平：基于训练集内的短答部分计算每个候选答案的困惑度（PPL）。PPL数值越低意味着模型对此答案的信心越大。
• 构建双峰分布模型：假定正确与错误短答的PPL分数分别符合正态分布规律。通过对训练数据进行统计分析，确定这两个分布的具体参数，包括平均值和标准差，进而建立对应的数学模型。
• 实时决策流程：针对新输入请求，先快速生成初步短答并测算其PPL值。随后参照上述构建好的双峰分布模型估算该PPL值对应的正确可能性大小。

CAR的相关链接

• arXiv学术报告：http://arxiv.org/pdf/2505.15154

CAR的实际运用

• 视觉问答（VQA）：在基础类型的问题面前，CAR可以即时给出答案以提高互动体验；而在难度较高的场合下，则会深入探讨直至得出确切结论。
• 关键信息捕捉（KIE）：依据当前情况灵活选择合适的推理途径，既能大幅度减少不必要的运算步骤又能保证信息提取的精确性。
• 数学解题：针对基础算术运算可以直接给出答案；而对于复杂的数学问题，则会经过详细的论证过程来保证结果可靠。
• 常识推断：对于常见的生活常识类问题，系统会迅速作出反应；而对于涉及抽象概念或者特殊领域的疑问，则会展开系统化的分析工作。
• 跨媒介作业：整合文字描述与图像特征信息，依据具体状况挑选最优推理路径，全面提升多源数据融合后的处理效能。

今天带大家了解了的相关知识，希望对你有所帮助；关于科技周边的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~