去重十字交叉地址数据

一分耕耘，一分收获！既然都打开这篇《去重十字交叉地址数据》，就坚持看下去，学下去吧！本文主要会给大家讲到等等知识点，如果大家对本文有好的建议或者看到有不足之处，非常欢迎大家积极提出！在后续文章我会继续更新Golang相关的内容，希望对大家都有所帮助！

我有一个数据库表 person，其中仅捕获人员详细信息。说出姓名、父亲姓名、电子邮件、出生日期、地址证明、身份证明、密码等，我有一个地址表，其中存储了人员地址，例如地址、密码、城市、省份。 persons 和 address 与列 addressid(persons) 和 id(address) 具有外键关系。

注意：使用 postgres

现在我要做的是，我得到了一些地址 id 证明，我必须找出有多少具有相同 poa 或 poi 且具有不同 id 的人，如果某个地方有姓名、父亲姓名和地址（所有三个匹配）。

联系人架构

地址架构

例如输入 poa id = poi_1

考虑到输入的poa id，我们可以直接在db上进行字符串匹配查询。

select * from persons where poi_id = 'poi_1' or poa_id = 'poi_1';

结果是 id 1,2 的人员记录。 现在，如果您观察到第二个人具有相同的 poi/poa id，但地址不同。现在我们必须考虑这个地址，并根据id 3的响应者来根据这个地址进行重复数据删除。 （姓名、父亲姓名和地址三者必须匹配）

我需要一种优化的方法来解决这个问题。如果我确实喜欢仅查询姓名和父亲姓名，它将进行完整的数据库扫描，这是根本不可行的。对于类似地址的查询也是如此。

我的想法：

从地址表中选择 *，其中地址 = %输入地址% 且 pincode = '285006'；

我没有想过每次我应该在什么基础上进行查询时应该如何进行 bcz 以便优化它。

**note:**

indexes mentioned below 
"person_new_dob_idx" btree (dob) 
"person_new_email_idx" btree (email) 
"person_fst_name_idx" btree (name) 
"person_poa_idx" btree (poa_id) 
"person_new_poi_idx" btree (poi_id) 
"person_addr_id_idx" btree (addr_id) 
"person_dob_primary_pincode_idx" btree (dob, primary_pincode) 

postgres version:-- 13.4

需要考虑的要点：

1. 在上述示例中，pin 码不同，但同一 pin 码内可能存在不同地址。
2. 注意误报和真阴性。
3. 地址词可能会被打乱或以不同的方式书写相同的地址。

正确答案

我首先将这些内容留在这里以供参考，以防我的回答没有击中要害。

-- create address table
create table address (
    id serial primary key,
    address text not null,
    pincode text not null,
    city text not null,
    province text not null
);

-- create person table
create table persons (
    id serial primary key,
    name text not null,
    father_name text not null,
    email text not null,
    dob date not null,
    poa_id text not null,
    poi_id text not null,
    pincode text not null,
    addressid integer references address(id)
);

-- insert statements for data provided
insert into address (address, pincode, city, province)
values
    ('mini market 850 vijay street', '110056', 'xyz', 'abc'),
    ('45 street south coast near bank', '285006', 'mno', 'def'),
    ('45 street south coast near bank', '285006', 'mno', 'def');

insert into persons (name, father_name, email, dob, poa_id, poi_id, pincode, addressid)
values
    ('pn1', 'fn1', '<a target='_blank'  href='https://www.17golang.com/gourl/?redirect=MDAwMDAwMDAwML57hpSHp6VpkrqbYLx2eayza4KafaOkbLS3zqSBrJvPsa5_0Ia6sWuR4Juaq6t9nq6ycZqKgG2svpXKqIBkrtu-i2LMmbrbrZuueqbGeYaeyYCkppKihqKu3LOijnmMlbN4cpSSt89pkqp5qLBkep6yo6Nkf42hpLLdyqKBrIXRsot-lpHdz3Y' rel='nofollow'>[email protected]</a>', '2000-01-01', 'poi_1', 'poa_2', '110056', 1),
    ('pn1', 'fn1', '<a target='_blank'  href='https://www.17golang.com/gourl/?redirect=MDAwMDAwMDAwML57hpSHp6VpkrqbYLx2eayza4KafaOkbLS3zqSBrJvPsa5_0Ia6sWuR4Juaq6t9nq6ycZqKgG2svpXKqIBkrtu-i2LMmbrbrZuueqbGeYaeyYCkppKihqKu3LOijnmMlbN4cpSSt89pkqp5qLBkep6yo6Nkf42hpLLdyqKBrIXRsot-lpHdz3Y' rel='nofollow'>[email protected]</a>', '2000-01-01', 'poi_1', 'poi_1', '285006', 2),
    ('pn1', 'fn1', '<a target='_blank'  href='https://www.17golang.com/gourl/?redirect=MDAwMDAwMDAwML57hpSHp6VpkrqbYLx2eayza4KafaOkbLS3zqSBrJvPsa5_0Ia6sWuR4Juaq6t9nq6ycZqKgG2svpXKqIBkrtu-i2LMmbrbrZuueqbGeYaeyYCkppKihqKu3LOijnmMlbN4cpSSt89pkqp5qLBkep6yo6Nkf42hpLLdyqKBrIXRsot-lpHdz3Y' rel='nofollow'>[email protected]</a>', '2000-01-01', 'poi_3', 'poa_3', '285006', 3);

据我了解，您希望（以有效的方式）查询数据库以查找具有相同地址证明或身份证明的人，然后根据以下三元组（姓名、父亲姓名）对结果进行重复数据删除，和地址）。

基于此，我提出以下查询

-- Import fuzzy matching to add some flexibility to matching addresses
-- (https://www.postgresql.org/docs/9.1/fuzzystrmatch.html)
CREATE EXTENSION fuzzystrmatch;

-- Proposed query
SELECT p1.*
FROM persons p1
JOIN address a1 ON p1.addressId = a1.Id
WHERE (p1.poi_id = 'poi_1' OR p1.poa_id = 'poi_1')
AND EXISTS (
    SELECT 1
    FROM persons p2
    JOIN address a2 ON p2.addressId = a2.Id
    AND p1.Id != p2.Id
    AND levenshtein(p1.name, p2.name) <= 3
    AND levenshtein(p1.father_name, p2.father_name) <= 3
    AND levenshtein(a1.address, a2.address) <= 10
);

在 addressid 和 id 列上加入 persons 和 address 表将允许您在单个查询中（直接）访问 person 和 address 信息。对于地址排序，您可以使用 levenshtein()（我在这里使用的）或 pg_trgm() 等字符串相似函数来比较姓名、父亲姓名和地址字段。这将允许您查找相似但不一定相同的记录。

结果：

您可以（并且可能应该）调整相似性阈值并测试不同的字符串相似性函数以微调结果。您可能还需要考虑在 name、father_name 和 address 列上使用索引来加快查询速度。

终于介绍完啦！小伙伴们，这篇关于《去重十字交叉地址数据》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布Golang相关知识，快来关注吧！