优化方式中所有可能组合的字符串相似度

大家好，我们又见面了啊~本文《优化方式中所有可能组合的字符串相似度》的内容中将会涉及到等等。如果你正在学习Golang相关知识，欢迎关注我，以后会给大家带来更多Golang相关文章，希望我们能一起进步！下面就开始本文的正式内容~

我在查找字符串相似度时遇到问题。

场景：由以下字段组成的字符串 名字、中间名和姓氏

我所做的就是找到 A 和 B 之间的字符串相似性（两者都有相同的字段），但确保考虑所有可能性。

案例1： 假设字符串 A 的名字是：Rahul 中间名是：库马尔 姓氏是：“”

字符串 B 的名字是：Kumar 中间名字： ” ” 姓：拉胡尔

通过观察我们可以说这两个名字可能是相同的。但当前的相似度算法给出的相似度约为 71%。

案例2：

假设，字符串 B 的名字是：Rahul 中间名字： ” ” 姓氏：K。

在这种情况下，相似性百分比年龄下降，但名称可能相同。

我应该如何处理相似性，并以优化的方式考虑名字、中间名和姓氏的所有可能组合？

例如 Rahul Rakesh Kumar 可以写成 拉胡尔·库马尔 拉胡尔 拉胡尔·K. 库马尔·拉胡尔 库马尔·拉凯什·拉胡尔。 拉胡尔·R·库马尔等

我尝试过使用 Jaccard、Cosine、Jaro-Wrinklr 相似度算法，但结果并不令人满意。

注意：我必须根据名称查找重复数据删除，这就是为什么我必须考虑所有可能的名称。

正确答案

对于这种字符串相似性，我最近实现了一种非常适合我的用例的算法，该算法与您的非常相似。这是博文：http://www.catalysoft.com/articles/strikeamatch.html

比较两个字符串：

1. Make a list of overlapping letter-pairs. "kumar" gives us pairs: "ku", "um", "ma", "ar".
2. Say the second string is "maria". Pairs: "ma", "ar", "ri", "ia".
3. Count how many pairs are the same: "ma" and "ar".
4. The similarity is computed as: 2 * same_pairs / (pairs_1 + pairs_2) = 2*2/(4+4) = 0.5

这个算法的伟大之处在于它通过使用有序的字母对来考虑字符串的排序。另一方面，它不考虑排序，因为所有对都可以按任何顺序混合。这使得它非常适合我的特定用例，与您的情况类似，我想将“abc def”视为与“def abc”完全匹配。

您还可以修改算法。我的部分用例是在较长的文本中搜索短字符串。为此，我将使用相似性度量 same_pairs /pairs_1，即搜索词中相同对的数量超过对计数。如果文本中出现一个单词，无论搜索文本有多长，相似度都会为 1.0。在这种情况下，上述相似性将对较长的文本不利。

关于实施的另一条说明。您可以使其真正高效且强大。我首先将字母表缩减为小写字母、数字和空格。即 26+10+1 = 37 符号。我将 a 映射到 a，将 ä 映射到 a 等。可能的字母对的数量现在是 37*37 = 1369。我计算配对的方法是使用数组 paircounts [37*37]byte，其中 aa 映射到 0，ab 映射到 1 等。因此，如果我在字符串中找到 ac 对，则 zqbc zqbac 映射到索引 2，所以我说paircounts[2]++。每对都可以这样出现 256 次（我使用 byte）。

标准化字母使其不区分大小写，使用数组而不是成熟的 map 使其运行速度非常快。

终于介绍完啦！小伙伴们，这篇关于《优化方式中所有可能组合的字符串相似度》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布Golang相关知识，快来关注吧！