登录注册

当前位置：首页 > 文章列表 > 科技周边 > 人工智能 > 部署基于内存存储的 Elasticsearch - 一亿+条数据，全文检索 100ms 响应

部署基于内存存储的 Elasticsearch - 一亿+条数据，全文检索 100ms 响应

来源：51CTO.COM 2024-06-05 14:24:37 0浏览 收藏

珍惜时间，勤奋学习！今天给大家带来《部署基于内存存储的 Elasticsearch - 一亿+条数据，全文检索 100ms 响应》，正文内容主要涉及到等等，如果你正在学习科技周边，或者是对科技周边有疑问，欢迎大家关注我！后面我会持续更新相关内容的，希望都能帮到正在学习的大家！

1. 在主机上挂载内存存储目录

  • 创建目录用于挂载
mkdir /mnt/memory_storage
  • 挂载 tmpfs 文件系统
mount -t tmpfs -o size=800G tmpfs /mnt/memory_storage

存储空间会按需使用，也就是使用 100G 存储时才会占用 100G 内存。主机节点上有 2T 内存，这里分配 800G 内存用于存储 Elasticsearch 数据。

  • 提前创建好目录
mkdir /mnt/memory_storage/elasticsearch-data-es-jfs-prod-es-default-0mkdir /mnt/memory_storage/elasticsearch-data-es-jfs-prod-es-default-1mkdir /mnt/memory_storage/elasticsearch-data-es-jfs-prod-es-default-2

如果没有提前创建好目录，并赋予读写权限，会导致 Elasticsearch 组件起不来，提示多个节点使用了相同的数据目录。

  • 配置目录权限
chmod -R 777 /mnt/memory_storage
  • DD 测试 IO 带宽
dd if=/dev/zero of=/mnt/memory_storage/dd.txt bs=4M count=25002500+0 records in2500+0 records out10485760000 bytes (10 GB, 9.8 GiB) copied, 3.53769 s, 3.0 GB/s
  • 清理文件
rm -rf /mnt/memory_storage/dd.txt
  • FIO 测试 IO 带宽
fio --name=test --filename=/mnt/memory_storage/fio_test_file --size=10G --rw=write --bs=4M --numjobs=1 --runtime=60 --time_basedRun status group 0 (all jobs):WRITE: bw=2942MiB/s (3085MB/s), 2942MiB/s-2942MiB/s (3085MB/s-3085MB/s), io=172GiB (185GB), run=60001-60001msec
  • 清理文件
rm -rf /mnt/memory_storage/fio_test_file
  • 测试内存 IO 带宽
mbw 10000Long uses 8 bytes. Allocating 2*1310720000 elements = 20971520000 bytes of memory.Using 262144 bytes as blocks for memcpy block copy test.Getting down to business... Doing 10 runs per test.0 Method: MEMCPY Elapsed: 1.62143 MiB: 10000.00000 Copy: 6167.380 MiB/s1 Method: MEMCPY Elapsed: 1.63542 MiB: 10000.00000 Copy: 6114.656 MiB/s2 Method: MEMCPY Elapsed: 1.63345 MiB: 10000.00000 Copy: 6121.997 MiB/s3 Method: MEMCPY Elapsed: 1.63715 MiB: 10000.00000 Copy: 6108.161 MiB/s4 Method: MEMCPY Elapsed: 1.64429 MiB: 10000.00000 Copy: 6081.667 MiB/s5 Method: MEMCPY Elapsed: 1.62772 MiB: 10000.00000 Copy: 6143.574 MiB/s6 Method: MEMCPY Elapsed: 1.60684 MiB: 10000.00000 Copy: 6223.379 MiB/s7 Method: MEMCPY Elapsed: 1.62499 MiB: 10000.00000 Copy: 6153.876 MiB/s8 Method: MEMCPY Elapsed: 1.63967 MiB: 10000.00000 Copy: 6098.770 MiB/s9 Method: MEMCPY Elapsed: 2.97213 MiB: 10000.00000 Copy: 3364.588 MiB/sAVG Method: MEMCPY Elapsed: 1.76431 MiB: 10000.00000 Copy: 5667.937 MiB/s0 Method: DUMB Elapsed: 1.01521 MiB: 10000.00000 Copy: 9850.140 MiB/s1 Method: DUMB Elapsed: 0.85378 MiB: 10000.00000 Copy: 11712.605 MiB/s2 Method: DUMB Elapsed: 0.82487 MiB: 10000.00000 Copy: 12123.167 MiB/s3 Method: DUMB Elapsed: 0.84520 MiB: 10000.00000 Copy: 11831.463 MiB/s4 Method: DUMB Elapsed: 0.83050 MiB: 10000.00000 Copy: 12040.968 MiB/s5 Method: DUMB Elapsed: 0.84932 MiB: 10000.00000 Copy: 11774.194 MiB/s6 Method: DUMB Elapsed: 0.82491 MiB: 10000.00000 Copy: 12122.505 MiB/s7 Method: DUMB Elapsed: 1.44235 MiB: 10000.00000 Copy: 6933.144 MiB/s8 Method: DUMB Elapsed: 2.68656 MiB: 10000.00000 Copy: 3722.225 MiB/s9 Method: DUMB Elapsed: 8.44667 MiB: 10000.00000 Copy: 1183.898 MiB/sAVG Method: DUMB Elapsed: 1.86194 MiB: 10000.00000 Copy: 5370.750 MiB/s0 Method: MCBLOCK Elapsed: 4.52486 MiB: 10000.00000 Copy: 2210.013 MiB/s1 Method: MCBLOCK Elapsed: 4.82467 MiB: 10000.00000 Copy: 2072.683 MiB/s2 Method: MCBLOCK Elapsed: 0.84797 MiB: 10000.00000 Copy: 11792.870 MiB/s3 Method: MCBLOCK Elapsed: 0.84980 MiB: 10000.00000 Copy: 11767.516 MiB/s4 Method: MCBLOCK Elapsed: 0.87665 MiB: 10000.00000 Copy: 11407.113 MiB/s5 Method: MCBLOCK Elapsed: 0.85952 MiB: 10000.00000 Copy: 11634.468 MiB/s6 Method: MCBLOCK Elapsed: 0.84132 MiB: 10000.00000 Copy: 11886.154 MiB/s7 Method: MCBLOCK Elapsed: 0.84970 MiB: 10000.00000 Copy: 11768.915 MiB/s8 Method: MCBLOCK Elapsed: 0.86918 MiB: 10000.00000 Copy: 11505.150 MiB/s9 Method: MCBLOCK Elapsed: 0.85996 MiB: 10000.00000 Copy: 11628.434 MiB/sAVG Method: MCBLOCK Elapsed: 1.62036 MiB: 10000.00000 Copy: 6171.467 MiB/s

看起来将内存挂载为文件系统的 IO 带宽只能达到内存的 IO 带宽的一半。

2. 在 Kubernetes 集群上创建 PVC

  • 配置环境变量
export NAMESPACE=data-centerexport PVC_NAME=elasticsearch-data-es-jfs-prod-es-default-0
  • 创建 PV 及 PVC
kubectl create -f - <

通过修改 PVC_NAME 变量创建至少 3 个 PVC 应用，最终我创建了 20 个 PVC，总共提供了 15+ TB 的存储。

3. 部署 Elasticsearch 相关组件

此处省略了部分内容，详情参考 使用 JuiceFS 存储 Elasticsearch 数据[1]。

  • 部署 Elasticsearch
cat <
  • 查看 Elasticsearch 密码
kubectl -n $NAMESPACE get secret es-jfs-prod-es-elastic-user -o go-template='{{.data.elastic | base64decode}}'xxx

默认用户名是 elastic

  • 部署 Metricbeat
kubectl apply -f - <
  • 部署 Kibana
cat <
  • 查看 Elasticsearch 集群信息

部署基于内存存储的 Elasticsearch - 一亿+条数据，全文检索 100ms 响应图片

4. 导入数据

  • 创建索引

在 Elasticsearch Management 的 Dev Tools 页面中执行:

PUT /bayou_tt_articles{"settings": {"index": {"number_of_shards": 30,"number_of_replicas": 1,"refresh_interval": "120s","translog.durability": "async","translog.sync_interval": "120s","translog.flush_threshold_size": "2048M"}},"mappings": {"properties": {"text": {"type": "text","analyzer": "ik_smart"}}}}

有两个注意事项:

  1. 保持每个分片大小在 10-50G 之间，这里 number_of_shards 设置为 30，因为一共有几百 GB 的数据需要导入。
  2. 副本数至少为 1，是为了保障 Pod 在滚动更新时不会丢失数据。当 Pod 的 IP 发生变化时，Elasticsearch 会认为是一个新的节点，不能复用之前的数据，此时如果没有副本重建分片，会导致数据丢失。
  • 安装导入工具

也可以采用 elasticdump 容器导入，下面也会有示例。这里采用 npm 安装。

apt-get install npm -y
npm install elasticdump -g
  • 导入数据
export DATAPATH=./bayou_tt_articles_0.jsonlnohup elasticdump --limit 20000 --input=${DATAPATH} --output=http://elastic:xxx@x.x.x.x:31391/ --output-index=bayou_tt_articles --type=data --transform="doc._source=Object.assign({},doc)" > elasticdump-${DATAPATH}.log 2>&1 &

limit 表示每次导入的数据条数，默认值是 100 太小，建议在保障导入成功的前提下尽可能大一点。

  • 查看索引速率

部署基于内存存储的 Elasticsearch - 一亿+条数据，全文检索 100ms 响应图片

索引速率达到 1w+/s，但上限远不止于此。因为，根据社区文档的压力测试结果显示，单个节点至少能提供 2W/s 的索引速率。

5. 测试与验证

  • 全文检索性能显著提升

部署基于内存存储的 Elasticsearch - 一亿+条数据，全文检索 100ms 响应图片

上图是使用 JuiceFS 存储的全文检索速度为 18s，使用 SSD 节点的 Elasticsearch 的全文检索速度为 5s。下图是使用内存存储的 Elasticsearch 的全文检索速度为 100ms 左右。

部署基于内存存储的 Elasticsearch - 一亿+条数据，全文检索 100ms 响应图片

  • 更新 Elasticsearch 不会丢数据

之前给 Elasticsearch Pod 分配的 CPU 和 Memory 太多，调整为 CPU 32C，Memory 64 GB。在滚动更新过程中，Elasticsearch 始终可用，并且数据没有丢失。

但务必注意设置 replicas > 1，尽量不要自行重启 Pod，虽然 Pod 是原节点更新。

  • 能平稳实现节点的扩容

部署基于内存存储的 Elasticsearch - 一亿+条数据，全文检索 100ms 响应图片

由于业务总的 Elasticsearch 存储需求是 10T 左右，我继续增加节点到 10 个，Elasticsearch 的索引分片会自动迁移，均匀分布在这些节点上。

  • 导出索引速度达 1w 条每秒
docker run --rm -ti elasticdump/elasticsearch-dump --limit 10000 --input=http://elastic:xxx@x.x.x.x:31391/bayou_tt_articles --output=/data/es-bayou_tt_articles-output.json --type=data
Wed, 29 May 2024 01:41:23 GMT | got 10000 objects from source elasticsearch (offset: 0)Wed, 29 May 2024 01:41:23 GMT | sent 10000 objects to destination file, wrote 10000Wed, 29 May 2024 01:41:24 GMT | got 10000 objects from source elasticsearch (offset: 10000)Wed, 29 May 2024 01:41:24 GMT | sent 10000 objects to destination file, wrote 10000Wed, 29 May 2024 01:41:25 GMT | got 10000 objects from source elasticsearch (offset: 20000)Wed, 29 May 2024 01:41:25 GMT | sent 10000 objects to destination file, wrote 10000Wed, 29 May 2024 01:41:25 GMT | got 10000 objects from source elasticsearch (offset: 30000)

导出速度能达到 1w 条每秒，一亿条数据大约需要 3h，基本也能满足索引的备份、迁移需求。

  • Elasticsearch 节点 Pod 更新时，不会发生漂移

更新之前的 Pod 分布节点如下：

NAME READY STATUSRESTARTSAGE IP NODE NOMINATED NODE READINESS GATESes-jfs-prod-beat-metricbeat-7fbdd657c4-djgg6 1/1 Running 6 (32m ago) 18h 10.244.54.5ascend-01  es-jfs-prod-es-default-0 1/1 Running 0 28m 10.244.46.82 ascend-07  es-jfs-prod-es-default-1 1/1 Running 0 29m 10.244.23.77 ascend-53  es-jfs-prod-es-default-2 1/1 Running 0 31m 10.244.49.65 ascend-20  es-jfs-prod-es-default-3 1/1 Running 0 32m 10.244.54.14 ascend-01  es-jfs-prod-es-default-4 1/1 Running 0 34m 10.244.100.239 ascend-40  es-jfs-prod-es-default-5 1/1 Running 0 35m 10.244.97.201ascend-39  es-jfs-prod-es-default-6 1/1 Running 0 37m 10.244.101.156 ascend-38  es-jfs-prod-es-default-7 1/1 Running 0 39m 10.244.19.101ascend-49  es-jfs-prod-es-default-8 1/1 Running 0 40m 10.244.16.109ascend-46  es-jfs-prod-es-default-9 1/1 Running 0 41m 10.244.39.119ascend-15  es-jfs-prod-kb-75f7bbd96-6tcrn 1/1 Running 0 18h 10.244.1.164 ascend-22

更新之后的 Pod 分布节点如下：

NAME READY STATUSRESTARTSAGE IP NODE NOMINATED NODE READINESS GATESes-jfs-prod-beat-metricbeat-7fbdd657c4-djgg6 1/1 Running 6 (50m ago) 18h 10.244.54.5ascend-01  es-jfs-prod-es-default-0 1/1 Running 0 72s 10.244.46.83 ascend-07  es-jfs-prod-es-default-1 1/1 Running 0 2m35s 10.244.23.78 ascend-53  es-jfs-prod-es-default-2 1/1 Running 0 3m59s 10.244.49.66 ascend-20  es-jfs-prod-es-default-3 1/1 Running 0 5m34s 10.244.54.15 ascend-01  es-jfs-prod-es-default-4 1/1 Running 0 7m21s 10.244.100.240 ascend-40  es-jfs-prod-es-default-5 1/1 Running 0 8m44s 10.244.97.202ascend-39  es-jfs-prod-es-default-6 1/1 Running 0 10m 10.244.101.157 ascend-38  es-jfs-prod-es-default-7 1/1 Running 0 11m 10.244.19.102ascend-49  es-jfs-prod-es-default-8 1/1 Running 0 13m 10.244.16.110ascend-46  es-jfs-prod-es-default-9 1/1 Running 0 14m 10.244.39.120ascend-15  es-jfs-prod-kb-75f7bbd96-6tcrn 1/1 Running 0 18h 10.244.1.164 ascend-22

这点打消了我的一个顾虑， Elasticsearch 的 Pod 重启时，发生了漂移，那么节点上是否会残留分片的数据，导致内存使用不断膨胀？答案是，不会。ECK Operator 似乎能让 Pod 在原节点进行重启，挂载的 Hostpath 数据依然对新的 Pod 有效，仅当主机节点发生重启时，才会丢失数据。

6. 总结

AI 的算力节点有大量空闲的 CPU 和 Memory 资源，使用这些大内存的主机节点，部署一些短生命周期的基于内存存储的高性能应用，有利于提高资源的使用效率。

本篇主要介绍了借助于 Hostpath 的内存存储部署 Elasticsearch 提供高性能查询能力的方案，具体内容如下：

  1. 将内存 mount 目录到主机上
  2. 创建基于 Hostpath 的 PVC，将数据挂载到上述目录
  3. 使用 ECK Operator 部署 Elasticsearch
  4. Elasticsearch 更新时，数据并不会丢失，但不能同时重启多个主机节点
  5. 300+GB、一亿+条数据，全文检索响应场景中，基于 JuiceFS 存储的速度为 18s， SSD 节点的速度为 5s，内存节点的速度为 100ms

参考资料

[1]使用 JuiceFS 存储 Elasticsearch 数据: https://www.chenshaowen.com/blog/store-elasticsearch-data-in-juicefs.html

终于介绍完啦！小伙伴们，这篇关于《部署基于内存存储的 Elasticsearch - 一亿+条数据，全文检索 100ms 响应》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布科技周边相关知识，快来关注吧！

AI 算力 CPU
版本声明
本文转载于：51CTO.COM 如有侵犯，请联系study_golang@163.com删除
java框架如何借助缓存实现可扩展性和容错性？java框架如何借助缓存实现可扩展性和容错性？
上一篇
java框架如何借助缓存实现可扩展性和容错性？
golang框架在不同行业和应用中的应用
下一篇
golang框架在不同行业和应用中的应用
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案，代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景，打造一站式知识长龙服务，适合有JS基础的同学学习。
    542次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例，全面具体可落地，从理论到实践，一步一步将GO核心编程技术、编程思想、底层实现融会贯通，使学习者贴近时代脉搏，做IT互联网时代的弄潮儿。
    508次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信：Le-studyg；在课程中，我们将首先介绍MySQL8的新特性，包括性能优化、安全增强、新数据类型等，帮助学生快速熟悉MySQL8的最新功能。接着，我们将深入解析MySQL的网络通信机制，包括协议、连接管理、数据传输等，让
    497次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网，分为导航，轮播，关于我们，成功案例，服务流程，团队介绍，数据部分，公司动态，底部信息等内容区块。网站整体采用CSSGrid布局，支持响应式，有流畅过渡和展现动画。
    484次学习
查看更多
AI推荐
  • 谱乐AI：青岛艾夫斯科技的多模型AI音乐生成工具
    谱乐AI
    谱乐AI是由青岛艾夫斯科技有限公司开发的AI音乐生成工具，采用Suno和Udio模型，支持多种音乐风格的创作。访问https://yourmusic.fun/，体验智能作曲与编曲，个性化定制音乐，提升创作效率。
    2次使用
  • Vozo AI：超真实AI视频换脸工具，提升创意内容制作
    Vozo AI
    探索Vozo AI，一款功能强大的在线AI视频换脸工具，支持跨性别、年龄和肤色换脸，适用于广告本地化、电影制作和创意内容创作，提升您的视频制作效率和效果。
    2次使用
  • AIGAZOU：免费AI图像生成工具，简洁高效，支持中文
    AIGAZOU-AI图像生成
    AIGAZOU是一款先进的免费AI图像生成工具，无需登录即可使用，支持中文提示词，生成高清图像。适用于设计、内容创作、商业和艺术领域，提供自动提示词、专家模式等多种功能。
    2次使用
  • Raphael AI：Flux.1 Dev支持的免费AI图像生成器
    Raphael AI
    探索Raphael AI，一款由Flux.1 Dev支持的免费AI图像生成器，无需登录即可无限生成高质量图像。支持多种风格，快速生成，保护隐私，适用于艺术创作、商业设计等多种场景。
    2次使用
  • Canva可画AI生图：智能图片生成新选择
    Canva可画AI生图
    Canva可画AI生图利用先进AI技术，根据用户输入的文字描述生成高质量图片和插画。适用于设计师、创业者、自由职业者和市场营销人员，提供便捷、高效、多样化的视觉素材生成服务，满足不同需求。
    1次使用
查看更多
相关文章
关于我们 免责声明 意见反馈 联系我们 内容提交
Golang学习网：公益在线Go学习平台，帮助Go学习者快速成长！
技术交流群
Copyright 2023 http://www.17golang.com/ All Rights Reserved ｜ 苏ICP备2023003363号-1
  • Golang学习网
    关注公众号
    Golang学习网
微信登录更方便
  • 密码登录
  • 注册账号
忘记密码
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码
发送验证码