提升MongoDB性能的方法
在数据库实战开发的过程中,我们经常会遇到一些这样那样的问题,然后要卡好半天,等问题解决了才发现原来一些细节知识点还是没有掌握好。今天golang学习网就整理分享《提升MongoDB性能的方法》,聊聊MongoDB性能,希望可以帮助到正在努力赚钱的你。
MongoDB 是高性能数据,但是在使用的过程中,大家偶尔还会碰到一些性能问题。MongoDB和其它关系型数据库相比,例如 SQL Server 、MySQL 、Oracle 相比来说,相对较新,很多人对其不是很熟悉,所以很多开发、DBA往往是注重功能的实现,而忽视了性能的要求。其实,MongoDB和 SQL Server 、MySQL 、Oracle 一样,一个 数据库对象的设计调整、索引的创建、语句的优化,都会对性能产生巨大的影响。
为了充分挖掘MongoDB性能,现简单总计了以下18条,欢迎大家一起来持续总结完善。
(1)文档中的_id键推荐使用默认值,禁止向_id中保存自定义的值。
解读: MongoDB文档中都会有一个“_id”键,默认是个ObjectID对象(标识符中包含时间戳、机器ID、进程ID和计数器)。MongoDB在指定_id与不指定_id插入时 速度相差很大,指定_id会减慢插入的速率。
(2)推荐使用短字段名。
解读:与关系型数据库不同,MongoDB集合中的每一个文档都需要存储字段名,长字段名会需要更多的存储空间。
(3)MongoDB索引可以提高文档的查询、更新、删除、排序操作,所以结合业务需求,适当创建索引。
(4)每个索引都会占用一些空间,并且导致插入操作的资源消耗,因此,建议每个集合的索引数尽量控制在5个以内。
(5)对于包含多个键的查询,创建包含这些键的复合索引是个不错的解决方案。复合索引的键值顺序很重要,理解索引最左前缀原则。
解读:例如在test集合上创建组合索引{a:1,b:1,c:1}。执行以下7个查询语句:
db.test.find({a:”hello”}) // 1
db.test.find({b:”sogo”, a:”hello”}) // 2
db.test.find({a:”hello”,b:”sogo”, c:”666”}) // 3
db.test.find({c:”666”, a:”hello”}) // 4
db.test.find({b:”sogo”, c:”666”}) // 5
db.test.find({b:”sogo” }) // 6
db.test.find({c:”666”}) // 7
以上查询语句可能走索引的是1、2、3、4
查询应包含最左索引字段,以索引创建顺序为准,与查询字段顺序无关。
最少索引覆盖最多查询。
(6)TTL 索引(time-to-live index,具有生命周期的索引),使用TTL索引可以将超时时间的文档老化,一个文档到达老化的程度之后就会被删除。
解读:创建TTL的索引必须是日期类型。TTL索引是一种单字段索引,不能是复合索引。TTL删除文档后台线程每60s移除失效文档。不支持定长集合。
(7)需要在集合中某字段创建索引,但集合中大量的文档不包含此键值时,建议创建稀疏索引。
解读:索引默认是密集型的,这意味着,即使文档的索引字段缺失,在索引中也存在着一个对应关系。在稀疏索引中,只有包含了索引键值的文档才会出现。
(8)创建文本索引时字段指定text,而不是1或者-1。每个集合只有一个文本索引,但是它可以为任意多个字段建立索引。
解读:文本搜索速度快很多,推荐使用文本索引替代对集合文档的多字段的低效查询。
(9)使用findOne在数据库中查询匹配多个项目,它就会在自然排序文件集合中返回第一个项目。如果需要返回多个文档,则使用find方法。
(10)如果查询无需返回整个文档或只是用来判断键值是否存在,可以通过投影(映射)来限制返回字段,减少网络流量和客户端的内存使用。
解读:既可以通过设置{key:1}来显式指定返回的字段,也可以设置{key:0}指定需要排除的字段。
(11)除了前缀样式查询,正则表达式查询不能使用索引,执行的时间比大多数选择器更长,应节制性地使用它们。
(12)在聚合运算中,$要在match要在$group前面,通过$前置,可以减少match前置,可以减少$ group 操作符要处理的文档数量。
(13)通过操作符对文档进行修改,通常可以获得更好的性能,因为,不需要往返服务器来获取并修改文档数据,可以在序列化和传输数据上花费更少的时间。
(14)批量插入(batchInsert)可以减少数据向服务器的提交次数,提高性能。但是批量提交的BSON Size不超过48MB。
(15)禁止一次取出太多的数据进行排序,MongoDB目前支持对32M以内的结果集进行排序。如果需要排序,请尽量限制结果集中的数据量。
(16)查询中的某些$操作符可能会导致性能低下,如操作符可能会导致性能低下,如$ne,$,not,$exists,$nin,$or尽量在业务中不要使用。
a) $exist:因为松散的文档结构导致查询必须遍历每一个文档;
b) $ne:如果当取反的值为大多数,则会扫描整个索引;
c) $not:可能会导致查询优化器不知道应当使用哪个索引,所以会经常退化为全表扫描;
d) $nin:全表扫描;
e) \$有多个条件就会查询多少次,最后合并结果集,应该考虑装换为or:有多个条件就会查询多少次,最后合并结果集,应该考虑装换为$in。
(17)固定集合可以用于记录日志,其插入数据更快,可以实现在插入数据时,淘汰最早的数据。需求分析和设计时,可考虑此特性,即提高了性能,有省去了删除动作。
解读:固定集合需要显式创建,指定Size的大小,还能够指定文档的数量。集合不管先达到哪一个限制,之后插入的新文档都会把最老的文档移出。
(18)集合中文档的数据量会影响查询性能,为保持适量,需要定期归档。
Mongodb性能优化
数据库性能对软件整体性能有着至关重要的影响,对于Mongodb数据库常用的性能优化方法主要有:
1、范式化与反范式化;
2、填充因子的使用;
3、索引的使用;
今天带大家了解了MongoDB性能的相关知识,希望对你有所帮助;关于数据库的技术知识我们会一点点深入介绍,欢迎大家关注golang学习网公众号,一起学习编程~
详解如何在阿里云上安装mysql
- 上一篇
- 详解如何在阿里云上安装mysql
- 下一篇
- 详解MySQL安装及MySQL8.0新密码认证方式
-
- 正直的冬天
- 这篇技术文章太及时了,太全面了,很好,已加入收藏夹了,关注作者大大了!希望作者大大能多写数据库相关的文章。
- 2023-04-19 08:50:45
-
- 玩命的豆芽
- 很好,一直没懂这个问题,但其实工作中常常有遇到...不过今天到这,看完之后很有帮助,总算是懂了,感谢师傅分享技术文章!
- 2023-03-23 01:38:46
-
- 数据库 · MySQL | 3小时前 | mysql事务 · InnoDB · mysql READ ONLY transaction_read_only 只读事务 START TRANSACTION
- MySQL 只读事务怎样减少误写风险
- 439浏览 收藏
-
- 数据库 · MySQL | 3小时前 | MySQL · mysql SET PERSIST SET PERSIST_ONLY RESET PERSIST mysqld-auto.cnf SET GLOBAL
- MySQL SET PERSIST 和 SET GLOBAL 有什么区别
- 378浏览 收藏
-
- 数据库 · MySQL | 3小时前 |
- MySQL ANSI_QUOTES 开启后标识符为何变化
- 279浏览 收藏
-
- 数据库 · MySQL | 4小时前 |
- MySQL INSERT ... ON DUPLICATE KEY UPDATE 怎样区分插入和更新
- 181浏览 收藏
-
- 数据库 · MySQL | 4小时前 | MySQL · 执行计划 · 查询优化 · mysql Hash Join 哈希连接 EXPLAIN FORMAT=TREE block_nested_loop join_buffer_size
- MySQL 哈希连接在什么条件下生效
- 185浏览 收藏
-
- 数据库 · MySQL | 4小时前 | MySQL · csv · 数据库运维 · 数据导入 · 批量导入 字段映射 MySQL LOAD DATA CSV首行 IGNORE 1 LINES
- MySQL LOAD DATA 怎样跳过 CSV 首行
- 420浏览 收藏
-
- 数据库 · MySQL | 4小时前 | MySQL · sql优化 ·
- MySQL 索引提示怎样只影响特定连接表
- 432浏览 收藏
-
- 数据库 · MySQL | 4小时前 | MySQL · JSON · RETURNING COLLATE 生成列 JSON_VALUE CAST MySQL 函数索引 JSON 路径
- MySQL 函数索引怎样给 JSON 路径建立可用索引
- 136浏览 收藏
-
- 数据库 · MySQL | 4小时前 |
- MySQL JSON_OVERLAPS 怎样判断数组有共同元素
- 279浏览 收藏
-
- 数据库 · MySQL | 4小时前 |
- MySQL 窗口帧怎样计算按日期的累计值
- 393浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 475次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 533次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 553次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 506次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 326次使用
-
- MySQL JSON_TABLE 展开数组时如何保留缺失字段
- 2026-09-10 501浏览
-
- MySQL 分区表怎么处理跨分区唯一键:分区列约束与建表取舍
- 2026-08-30 501浏览
-
- MySQL权限管理设置全攻略
- 2026-03-29 501浏览
-
- MySQL分片实现方法及常见方案解析
- 2025-06-24 501浏览
-
- MySQL表空间碎片怎么清理?超详细优化教程
- 2025-06-13 501浏览
