## 一千万条数据！如何让 MySQL 模糊搜索快如闪电？

下载万磁搜索绿色版

本篇文章主要是结合我之前面试的各种经历和实战开发中遇到的问题解决经验整理的，希望这篇《## 一千万条数据！如何让 MySQL 模糊搜索快如闪电？》对你有很大帮助！欢迎收藏，分享给更多的需要的朋友学习~

如何在一千万条数据量中快速实现 mysql 模糊搜索

问题描述：

需要在包含一千万条数据的 mysql 数据库中进行模糊查询，但由于索引限制，查询十分缓慢，耗时约 10 秒。目前已尝试了多种方法，但效果不理想。

解决方案：

虽然模糊搜索通常无法走索引，但我们可以创建一种定制索引，以帮助加速搜索过程。

定制索引：

创建一个名为 "索引表" 的表，其中存储以下信息：

• 当前词
• 下一词
• 原始记录的主键 id

例如，对于关键词 "模糊搜索"，索引表如下：

| 当前词 | 下一词 | 原始记录主键 id |
|---|---|---|
| 模糊 | 一 | 1 |
| 一 | 千 | 1 |
| 千 | 万 | 1 |
| 万 | 的 | 1 |
| ... | ... | ... |
| 模糊 | 搜 | 1 |
| 搜 | 索 | 1 |
| 索 | null | 1 |

搜索算法：

根据我们创建的定制索引，我们可以实现以下搜索算法：

1. 将查询关键词拆分为空格分隔的术语。
2. 对于每个术语，查找索引表中当前词与该术语相匹配的记录。
3. 将这些记录的原始记录主键 id 存储到一个数组中。
4. 重复步骤 2 和 3，直到查询中所有术语都被处理。
5. 查找数组中所有原始记录主键 id 的交集。这些就是包含所有查询术语的记录。

示例查询：

要搜索 "模糊搜索"，我们可以运行以下查询：

SELECT 原记录主键ID
FROM (SELECT 原记录主键ID FROM 索引表 WHERE 当前词 = '模糊' AND 下一词 = '一')
JOIN (SELECT 原记录主键ID FROM 索引表 WHERE 当前词 = '一' AND 下一词 = '千') USING(原记录主键ID)
JOIN (SELECT 原记录主键ID FROM 索引表 WHERE 当前词 = '千' AND 下一词 = '万') USING(原记录主键ID)
JOIN (SELECT 原记录主键ID FROM 索引表 WHERE 当前词 = '万' AND 下一词 IS NULL) USING(原记录主键ID)

性能优化：

• 确保索引表中主键列经过索引优化。
• 通过使用 join 而不是嵌套查询，可以提高查询性能。
• 根据查询频率和数据量调整索引表。
• 通过使用诸如 "预先搜索" 之类的技术，进一步提高搜索速度。

其他注意事项：

• 这个解决方案需要对原始数据进行预处理，以生成定制索引。
• 该索引可能需要定期更新，以反映数据中的更改。
• 此方法可能不适用于具有大量冗余数据的数据库。

本篇关于《## 一千万条数据！如何让 MySQL 模糊搜索快如闪电？》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于文章的相关知识，请关注golang学习网公众号！