小红书将业界最大数据湖迁至阿里云

小伙伴们有没有觉得学习科技周边很有意思？有意思就对了！今天就给大家带来《小红书将业界最大数据湖迁至阿里云》，以下内容将会涉及到，若是在学习中对其中部分知识点有疑问，或许看了本文就能帮到你！

小红书成功将业界最大规模的数据湖迁移至阿里云，历时一年，零故障完成500PB数据的迁移。这一项目创下业界多个记录，参与人数达1500人，涉及部门40余个，处理任务数量超过11万。

作为拥有超3亿月活用户的头部互联网公司，小红书的数据湖积累了11年来所有原始数据，包括结构化、半结构化和非结构化数据。业务高速增长带来的在线处理需求与历史遗留问题，促使小红书在2023年11月启动了这项庞大的迁云项目。

迁移至阿里云后，小红书数据湖利用阿里云OSS Bucket的统一资源池，实现资源共享，灵活调配，提升吞吐性能，并降低不同业务间的相互影响。阿里云原生HDFS+DLA元数据与Hadoop EMR体系无缝对接，支持元数据线性扩展，轻松应对数百PB级数据的元数据增长。此次迁移的数据体量，远超以往任何同类项目。

注：任务=数据处理过程 (图片来自小红书官方公众号)

迁移过程分三个阶段：第一阶段，解决标准问题并进行数据治理；第二阶段（2024年5月），进入双跑阶段，将数据复制到阿里云，验证数据准确性和及时性；第三阶段（2024年8月），完成双跑，进行割接，阿里云团队现场保障，确保割接顺利完成。最终，项目在2024年11月圆满结束。 这项成就标志着小红书在数据管理和云计算应用方面取得了重大突破。

到这里，我们也就讲完了《小红书将业界最大数据湖迁至阿里云》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！