TOMG-Bench：大语言模型开放域分子生成新基准

今日不肯埋头，明日何以抬头！每日一句努力自己的话哈哈~哈喽，今天我将给大家带来一篇《TOMG-Bench：大语言模型开放域分子生成新基准》，主要内容是讲解等等，感兴趣的朋友可以收藏或者有更好的建议在评论提出，我都会认真看的！大家一起进步，一起学习！

TOMG-Bench：评估大语言模型开放域分子生成能力的新基准

科学家们开发了一个新的基准测试——TOMG-Bench，用于评估大型语言模型 (LLM) 在分子领域的开放域生成能力。该基准测试旨在弥补现有分子-文本数据集的不足，更准确地评估 LLM 在实际分子设计中的应用潜力。

项目资源：

• 项目主页：https://phenixace.github.io/tomgbench/
• 数据集和测试脚本：https://github.com/phenixace/TOMG-Bench
• 预印本：https://arxiv.org/abs/2412.14642
• Huggingface 数据集：https://huggingface.co/datasets/Duke-de-Artois/TOMG-Bench
• PaperWithCode：https://paperswithcode.com/dataset/tomg-bench

挑战与机遇：

传统的分子发现方法效率低且成本高。虽然图神经网络 (GNN) 等 AI 工具展现出潜力，但其泛化能力和生成特定性质分子结构的能力有限。LLM 强大的语言理解和生成能力为分子发现带来了新的机遇，但分子与文本数据的对齐仍然是一个挑战。现有数据集通常是目标导向的，无法满足化学家在实际工作中对模糊需求的多种解决方案的生成。

TOMG-Bench 的设计：

TOMG-Bench 旨在评估 LLM 在开放域分子生成中的能力，更贴近实际应用场景。它包含三个主要任务，每个任务又细分为三个子任务：

1. 分子编辑 (MolEdit): 添加、删除或替换分子中的官能团。
2. 分子优化 (MolOpt): 优化分子的 LogP、MR 或 QED 值。
3. 定制分子生成 (MolCustom): 根据原子数量、键数量或官能团生成分子。

每个子任务包含 5000 个测试样本，提供全面的性能评估。

数据生成和评估指标：

TOMG-Bench 使用 Zinc250K 数据库和随机生成的方法创建测试用例。评估指标包括成功率、相似性、有效性以及新颖性（针对 MolCustom 任务）。为了综合评估，引入了平均加权成功率指标。

OpenMolIns 指令微调数据集：

为了提升 LLM 的性能，研究人员还开发了 OpenMolIns 指令微调数据集，包含不同规模的数据，涵盖所有九个子任务。

实验结果与发现：

实验结果表明，开放域分子生成任务具有挑战性，即使是先进的 LLM 也存在局限性。开源模型的性能正在快速提升，模型能力与性能正相关，数据规模也对性能有显著影响。TOMG-Bench 揭示了 LLM 在分子领域的优势和不足，为未来的研究提供了方向。

排行榜 (Leaderboard):

TOMG-Bench 提供了模型性能排行榜，方便比较不同 LLM 的表现。

总结：

TOMG-Bench 为评估 LLM 在开放域分子生成能力方面提供了一个重要的基准，推动了 LLM 在分子发现领域的应用和发展。其开源的数据集和测试脚本为研究人员提供了宝贵的资源。

以上就是《TOMG-Bench：大语言模型开放域分子生成新基准》的详细内容，更多关于LLM,产业的资料请关注golang学习网公众号！