上亿数据怎么玩深度分页？兼容MySQL + ES + MongoDB

亲爱的编程学习爱好者，如果你点开了这篇文章，说明你对《上亿数据怎么玩深度分页？兼容MySQL + ES + MongoDB》很感兴趣。本篇文章就来给大家详细解析一下，主要介绍一下MySQL、mongodb、Java、数据库、Elasticsearch，希望所有认真读完的童鞋们，都有实质性的提高。

面试题 & 真实经历

面试题：在数据量很大的情况下，怎么实现深度分页？

大家在面试时，或者准备面试中可能会遇到上述的问题，大多的回答基本上是

SELECT * FROM test ORDER BY id DESC LIMIT 10000, 20;

LIMIT 10000 , 20的意思扫描满足条件的10020行，扔掉前面的10000行，返回最后的20行。如果是LIMIT 1000000 , 100，需要扫描1000100 行，在一个高并发的应用里，每次查询需要扫描超过100W行，不炸才怪。

MongoDB

分页的基本原理：

db.t_data.find().limit(5).skip(5);

同样的，随着页码的增大，skip 跳过的条目也会随之变大，而这个操作是通过 cursor 的迭代器来实现的，对于cpu的消耗会非常明显，当页码非常大时且频繁时，必然爆炸。

ElasticSearch

从业务的角度来说，

# 第一页
SELECT * FROM `year_score` where `year` = 2017 ORDER BY id limit 0, 20;

# 第N页
SELECT * FROM `year_score` where `year` = 2017 ORDER BY id limit (N - 1) * 20, 20; 

通过上下文关系，改写为：

# XXXX 代表已知的数据
SELECT * FROM `year_score` where `year` = 2017 and id > XXXX ORDER BY id limit 20;

在 没内鬼，来点干货！SQL优化和诊断 一文中提到过，LIMIT会在满足条件下停止查询，因此该方案的扫描总量会急剧减少，效率提升Max！

ES

方案和

# 反例（耗时129.570s）
select * from task_result LIMIT 20000000, 10;

# 正例（耗时5.114s）
SELECT a.* FROM task_result a, (select id from task_result LIMIT 20000000, 10) b where a.id = b.id;

# 说明
# task_result表为生产环境的一个表，总数据量为3400万，id为主键，偏移量达到2000万

该方案的核心逻辑即基于

聚簇索引

回表

聚簇索引

因此我们在处理

MySQL

ES

MongoDB

1. 限制获取的字段，只通过筛选条件，深度分页获取主键ID
2. 通过主键ID定向查询需要的数据

瑕疵：当偏移量非常大时，耗时较长，如文中的 5s

最后

参考文章：MongoDB中文社区

感谢 @程大设计师 为我倾情设计的二维码?

如果觉得对你有用的话，不要忘记点个赞啊~

今天关于《上亿数据怎么玩深度分页？兼容MySQL + ES + MongoDB》的内容就介绍到这里了，是不是学起来一目了然！想要了解更多关于mysql的内容请关注golang学习网公众号！