ICML 2024 | 大语言模型预训练新前沿：「最佳适配打包」重塑文档处理标准

学习知识要善于思考，思考，再思考！今天golang学习网小编就给大家带来《ICML 2024 | 大语言模型预训练新前沿：「最佳适配打包」重塑文档处理标准》，以下内容主要包含等知识点，如果你正在学习或准备学习科技周边，就都不要错过本文啦~让我们一起来看看吧，能帮助到你就更好了！

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

• 图2（a）：在Python编程中，原始代码虽然正确，但将变量定义与使用分割到不同的训练序列中会引入语法错误，导致某些变量在后续训练序列中未定义，从而使得模型学习到错误的模式，并可能在下游任务中产生幻觉。例如，在程序合成任务中，模型可能会在没有定义的情况下直接使用变量。
• 图2（b）：截断同样损害了信息的完整性。例如，摘要中的“Monday morning”无法与训练序列中的任何上下文匹配，导致内容失实。这种信息不完整性会显著降低模型对上下文信息的敏感度，导致生成的内容与实际情况不符，即所谓的不忠实生成 （unfaithful generation）。
• 图2（c）：截断还会阻碍训练期间的知识获取，因为知识在文本中的表现形式通常依赖完整的句子或段落。例如，模型无法学习到ICML会议的地点，因为会议名称和地点分布在不同的训练序列中。

^{图2. 文档截断导致幻觉或知识丧失的例子。 (a) 变量定义（蓝色部分）被截断，随后的使用调用导致未定义名称（红色部分）。 (b) 关键上下文信息被截断（蓝色部分），使得摘要不准确于原文（红色部分）。 (c) 由于截断，模型不知道ICML 2024的举办地点。}