百万数据量 MySQL 模糊搜索提速：如何在 512M 内存限制下优化查询速度？

下载万磁搜索绿色版

对于一个数据库开发者来说，牢固扎实的基础是十分重要的，golang学习网就来带大家一点点的掌握基础知识点。今天本篇文章带大家了解《百万数据量 MySQL 模糊搜索提速：如何在 512M 内存限制下优化查询速度？》，主要介绍了，希望对大家的知识积累有所帮助，快点收藏起来吧，否则需要时就找不到了！

百万数据量 mysql 模糊搜索提速

在 mysql 中，当数据量达到百万级时，执行模糊查询可能会变得非常缓慢。本文提供的解决方案无需借助第三方中间件，即可在 512m 的 java 堆内存限制下显着提升模糊搜索的速度。

基于索引表的方案

创建一个索引表，包含三列："当前词"、"下一词"和"原记录主键 id"。其中，"当前词"和"下一词"表示搜索关键词中的连续单词，"原记录主键 id"指向满足条件的原始记录。

索引表结构

搜索算法

搜索关键词时，按顺序查询索引表，获得满足每个单词条件的原记录id。然后使用这些 id 在原始表中查找匹配记录。

例：搜索“模糊搜索”

SELECT 原记录主键ID
  FROM (SELECT 原记录主键ID FROM 索引表 WHERE 当前词 = '模' AND 下一词 = '糊')
  JOIN (SELECT 原记录主键ID FROM 索引表 WHERE 当前词 = '糊' AND 下一词 = '搜') USING(原记录主键ID)
  JOIN (SELECT 原记录主键ID FROM 索引表 WHERE 当前词 = '搜' AND 下一词 = '索') USING(原记录主键ID)
  JOIN (SELECT 原记录主键ID FROM 索引表 WHERE 当前词 = '索' AND 下一词 IS NULL) USING(原记录主键ID)

jvm 优化

为了充分利用有限的内存，建议使用如下的jvm 优化技术：

• 缩小永久代尺寸
• 设置metaspace 垃圾回收参数（-xx:metaspacesize、-xx:maxmetaspacesize）
• 使用压缩引用和指针
• 启用分代垃圾回收

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《百万数据量 MySQL 模糊搜索提速：如何在 512M 内存限制下优化查询速度？》文章吧，也可关注golang学习网公众号了解相关技术文章。