保险政策：通过混合自然语言处理进行文档聚类

在IT行业这个发展更新速度很快的行业，只有不停止的学习，才不会被行业所淘汰。如果你是科技周边学习者，那么本文《保险政策：通过混合自然语言处理进行文档聚类》就很适合你！本篇内容主要包括##content_title##，希望对大家的知识积累有所帮助，助力实战开发！

译者 | 李睿

审校 | 孙淑娟

保险行业的自然语言处理（NLP）可以从混合机器学习/符号方法中受益，以提高可扩展性，同时利用高级符号推理。  

保险文件和保单：复杂的用例  

众所周知，高达87%的数据科学项目未能从概念验证到生产；保险领域的自然语言处理（NLP）项目也不例外。他们必须克服不可避免地与这个空间及其错综复杂相关的一些困难。  

最主要的困难来自：  

• 保险相关文件的复杂布局。
• 缺乏带有相关注释的大量语料库。

布局的复杂性是如此之大，以至于相同的语言概念可以根据其在文档中的存放位置而极大地改变其含义和价值。  

以下看一个简单的例子：如果尝试构建一个引擎来识别政策中是否存在“恐怖主义”覆盖范围，将不得不分配一个不同的值，无论它被放置在：  

（1）申报页面的分限额部分。  

（2）政策的“排除”章节。  

（3）增加一个或多个保险的背书。  

（4）为该承保范围添加特定内容的背书。  

缺乏高质量、大小合适的带注释的保险文件语料库，这与注释此类复杂文件的固有难度以及注释数万份保单所需的工作量直接相关。  

而这只是冰山一角。除此之外，还必须考虑保险概念正常化的必要性。  

语言规范化：保险语言中一种无形但强大的力量  

在处理数据库时，概念的规范化是一个很好理解的过程。因为它是应用推理和提高注释过程速度的关键，它对于保险领域的NLP也是至关重要的。  

规范化概念意味着在相同的标签语言元素下分组，这可能看起来非常不同。虽然有很多例子，但最重要的例子来自针对自然灾害的保险单。  

在这种情况下，不同的子限制将应用于不同的洪水区。洪水风险最高的地区通常被称为“高风险洪水区”。这个概念可以表示为：  

（1）一级洪水区  

（2）洪水风险区(SFHA)

（3）洪水区A  

等等

实际上，任何保险承保范围都可以有许多术语，这些术语可以组合在一起，根据特定的地理区域及其固有风险，最重要的自然灾害承保范围甚至有两层或三层的区别（I、II和III）。

将其乘以能找到的所有可能的元素，变体的数量很快就会变得非常大。这导致机器学习注释器和自然语言处理（NLP）引擎在尝试检索、推断甚至标记正确信息时都陷入困境。  

新型的语言聚类：混合方法  

解决复杂自然语言处理（NLP）任务的更好方法是基于混合（机器学习/符号）技术，该技术通过基于机器学习的微语言聚类改进保险工作流程的结果和生命周期，然后由符号引擎继承。  

虽然在无监督学习方法中使用传统的文本聚类来推断语义模式，并将具有相似主题的文档、具有相似含义的句子等组合在一起，但混合方法有很大的不同。使用预定义的规范化值，通过在标记数据上训练的机器学习算法在粒度级别上创建微语言聚类。一旦推断出微语言聚类，它就可以用于进一步的机器学习活动或用于基于符号层驱动推理逻辑的混合管道。  

这符合传统的编程黄金法则：“分解问题”。解决复杂用例（就像保险领域中的大多数用例一样）的第一步是将其分解成更小、更容易接受的块。  

混合语言聚类可以完成哪些任务，可扩展性如何？

符号引擎通常被标记为极其精确但不可扩展，因为在处理训练阶段未见的情况时，它们不具备机器学习的灵活性。  

然而，这种类型的语言聚类通过利用机器学习来识别概念，从而解决这个问题，这些概念随后被传递到管道中接下来的符号引擎的复杂和精确逻辑。  

可能性是无穷无尽的：例如，符号步骤可以根据概念所属的文档段改变机器学习识别的内在价值。  

下面是一个使用“分段”（将文本分割成相关区域）的符号过程来了解如何使用机器学习模块传递的标签的示例。  

想象一下，模型需要理解是否某些保险范围被排除在100页保单之外。

机器学习引擎将首先将“艺术”（Arts）覆盖范围的所有可能变体聚集在一起：  

• “精美艺术”（Fine Arts）
• “艺术作品”（Work of Arts）
• “艺术品”（Artistic Items）
• “珠宝”（Jewelry）
• 等等。

紧接着，管道的符号部分将检查“排除”部分是否提到了“艺术”（Arts）标签，从而了解该保险是否被排除在保单之外，或者是否被覆盖（作为次级限额清单的一部分）。

由于这一点，机器学习注释者不必担心根据“艺术”（Arts）变体在策略中的位置为所有“美术”变体指定不同的标签：他们只需要为其变体注释“艺术”（Arts）的规范化值，这将作为一个微语言集群。

复杂任务的另一个有用示例是数据聚合。如果混合引擎旨在提取特定覆盖范围的子限制，以及覆盖规范化问题，则需要处理额外的复杂层：用于聚合的语言项目的顺序。  

考虑一下，手头的任务不仅是提取特定覆盖范围的子限制，而且还提取其限定符（每次事件、聚合等）。这三个项目可以按几个不同的顺序排列：  

• Fine Arts $100,000 Per Item
• Fine Arts Per Item $100,000
• Per Item $100,000 Fine Arts
• $100,000 Fine Arts
• Fine Arts $100,000

在聚合数据的同时利用所有这些排列可以显著增加机器学习模型的复杂性。另一方面，混合方法将让机器学习模型识别归一化标签，然后让符号推理根据来自机器学习部分的输入数据识别正确的顺序。  

这只是两个例子，表明可以在可扩展的机器学习算法之上应用无限数量的复杂符号逻辑和推理，以识别规范化的概念。

更易于构建和维护的可扩展的工作流程  

除了可扩展性之外，符号推理还为整个项目工作流程带来了其他好处：  

• 无需为复杂任务实施不同的机器学习工作流，需要实施和维护不同的标签。此外，重新训练单个机器学习模型比重新训练多个模型更快，并且资源消耗更少。
• 由于业务逻辑的复杂部分是以符号方式处理的，因此对数据注释者来说，将人工注释添加到机器学习管道要容易得多。
• 由于上述相同的原因，测试人员也更容易直接为机器学习标准化过程提供反馈。此外，由于工作流的机器学习部分对语言元素进行了规范化，用户将有一个较小的标签列表来标记文档。
• 符号规则不需要经常更新：经常更新的是机器学习部分，它也可以从用户的反馈中受益。

结语  

• 保险领域复杂项目中的机器学习可能会受到影响，因为推理逻辑很难压缩为简单的标签；这也使注释者的生活更加困难。
• 文本位置和推论可以极大地改变具有相同语言形式的概念的实际含义。
• 在纯粹的机器学习工作流程中，逻辑越复杂，通常需要越多的训练文档来实现生产级准确度  。
• 出于这个原因，机器学习需要数千（甚至数万）个预先标记的文档来构建有效的模型。
• 采用混合方法可以降低复杂性：机器学习和用户的注释创建语言集群/标签，然后这些将用作符号引擎实现其目标的起点或构建块。
• 用户的反馈一旦得到验证，就可用于重新训练模型，而无需更改最精细的部分（可由工作流的符号部分进行处理）。

原文标题：​​Insurance Policies: Document Clustering Through Hybrid NLP​​，作者：Stefano Reitano

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于科技周边的相关知识，也可关注golang学习网公众号。