SpringBoot读取S3JSON数据转对象列表
偷偷努力,悄无声息地变强,然后惊艳所有人!哈哈,小伙伴们又来学习啦~今天我将给大家介绍《Spring Boot读取AWS S3 JSON数据转对象列表》,这篇文章主要会讲到等等知识点,不知道大家对其都有多少了解,下面我们就一起来看一吧!当然,非常希望大家能多多评论,给出合理的建议,我们一起学习,一起进步!
本文档详细介绍了如何在 Spring Boot 应用程序中从 AWS S3 存储桶读取包含 JSON 行的文件,并将这些 JSON 行转换为 Java 对象列表。文章提供了两种不同的实现方法,分别演示了将 S3 文件读取到本地文件系统再进行处理,以及直接在内存中处理 S3 文件内容,并附带了完整的代码示例和配置说明。
准备工作
在开始之前,请确保你已经具备以下条件:
- 一个可用的 AWS 账户,并且已经创建了 S3 存储桶。
- 安装了 Java Development Kit (JDK)。
- 安装了 Maven 或 Gradle 构建工具。
- 一个 Spring Boot 项目,可以使用 Spring Initializr (https://start.spring.io/) 创建。
添加依赖
首先,需要在 pom.xml 文件中添加 AWS S3 SDK 的依赖。
<dependency> <groupId>software.amazon.awssdk</groupId> <artifactId>s3</artifactId> <version>2.17.285</version> </dependency>
配置 AWS S3 客户端
创建一个配置类,用于配置和创建 S3Client 实例。需要提供 AWS 访问密钥 ID 和密钥,以及 S3 区域。
import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; import software.amazon.awssdk.auth.credentials.AwsBasicCredentials; import software.amazon.awssdk.auth.credentials.StaticCredentialsProvider; import software.amazon.awssdk.regions.Region; import software.amazon.awssdk.services.s3.S3Client; @Configuration public class AwsS3ClientConfig { @Bean public S3Client s3Client(){ AwsBasicCredentials awsBasicCredentials = AwsBasicCredentials.create("ACCESS_KEY_ID", "SECRET_ACCESS_KEY"); return S3Client .builder() .region(Region.US_EAST_1) .credentialsProvider(StaticCredentialsProvider.create(awsBasicCredentials)) .build(); } }
请务必将 ACCESS_KEY_ID 和 SECRET_ACCESS_KEY 替换为你的 AWS 凭证。 同样需要确认 Region 是否正确。
创建 Person 类
定义一个 Person 类,用于映射 S3 文件中的 JSON 对象。
public class Person { private String name; private String surname; public String getName() { return name; } public void setName(String name) { this.name = name; } public String getSurname() { return surname; } public void setSurname(String surname) { this.surname = surname; } @Override public String toString() { return "Person{" + "name='" + name + '\'' + ", surname='" + surname + '\'' + '}'; } }
实现 AWS S3 服务 (V1 - 读取到本地文件)
创建一个名为 AwsS3Service 的服务类,用于从 S3 存储桶读取文件,并将其转换为 Person 对象列表。
import com.fasterxml.jackson.databind.ObjectMapper; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.stereotype.Service; import software.amazon.awssdk.services.s3.S3Client; import software.amazon.awssdk.services.s3.model.GetObjectRequest; import java.io.IOException; import java.nio.file.Files; import java.nio.file.Path; import java.nio.file.Paths; import java.util.ArrayList; import java.util.List; @Service public class AwsS3Service { private final S3Client s3Client; @Autowired public AwsS3Service(S3Client s3Client) { this.s3Client = s3Client; } public List<Person> readFileAndCreateList(String bucketName, String keyName) throws IOException { final Path file = readFile(bucketName, keyName); return convertFileToList(file); } private Path readFile(String bucketName, String keyName) throws IOException { GetObjectRequest getObjectRequest = GetObjectRequest .builder() .bucket(bucketName) .key(keyName) .build(); final byte[] bytes = s3Client .getObject(getObjectRequest) .readAllBytes(); final Path path = Paths.get("demo.txt"); Files.write(path, bytes); return path; } private List<Person> convertFileToList(Path path) throws IOException { final List<String> lines = Files.readAllLines(path); StringBuilder json = new StringBuilder(); List<Person> persons=new ArrayList<>(); for (String line : lines) { if ("{".equals(line)) { json = new StringBuilder("{"); } else if ("}".equals(line)) { json.append("}"); persons.add(new ObjectMapper() .readValue(json.toString(), Person.class)); } else { json.append(line.trim()); } } return persons; } }
此版本的服务首先将 S3 文件读取到本地文件系统,然后将其转换为对象列表。
实现 AWS S3 服务 (V2 - 在内存中读取)
以下是另一种实现方式,它直接在内存中处理 S3 文件内容,避免了创建临时文件。
import com.fasterxml.jackson.databind.ObjectMapper; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.stereotype.Service; import software.amazon.awssdk.services.s3.S3Client; import software.amazon.awssdk.services.s3.model.GetObjectRequest; import java.io.BufferedReader; import java.io.ByteArrayInputStream; import java.io.ByteArrayOutputStream; import java.io.IOException; import java.io.InputStreamReader; import java.util.ArrayList; import java.util.List; @Service public class AwsS3Service { private final S3Client s3Client; @Autowired public AwsS3Service(S3Client s3Client) { this.s3Client = s3Client; } public List<Person> readFileAndCreateObjectList(String bucketName, String keyName) throws IOException { final List<String> lines = readFile(bucketName, keyName); return convertFileLinesToObjectList(lines); } private List<String> readFile(String bucketName, String keyName) throws IOException { GetObjectRequest getObjectRequest = GetObjectRequest .builder() .bucket(bucketName) .key(keyName) .build(); byte[] bytes; try (ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream()) { s3Client .getObject(getObjectRequest) .transferTo(byteArrayOutputStream); bytes = byteArrayOutputStream.toByteArray(); } List<String> lines=new ArrayList<>(); try(ByteArrayInputStream byteArrayInputStream = new ByteArrayInputStream(bytes); InputStreamReader inputStreamReader = new InputStreamReader(byteArrayInputStream); BufferedReader bufferedReader=new BufferedReader(inputStreamReader)){ while (bufferedReader.ready()){ lines.add(bufferedReader.readLine()); } } return lines; } private List<Person> convertFileLinesToObjectList(List<String> lines) throws IOException { StringBuilder json = new StringBuilder(); List<Person> persons = new ArrayList<>(); for (String line : lines) { if ("{".equals(line)) { json = new StringBuilder("{"); } else if ("}".equals(line)) { json.append("}"); persons.add(new ObjectMapper() .readValue(json.toString(), Person.class)); } else { json.append(line.trim()); } } return persons; } }
创建 Spring Boot 应用
创建一个 Spring Boot 应用,并使用 AwsS3Service 来读取 S3 文件并打印结果。
import org.springframework.beans.factory.annotation.Autowired; import org.springframework.boot.CommandLineRunner; import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; import java.util.List; @SpringBootApplication public class DemoApplication implements CommandLineRunner { private final AwsS3Service awsS3Service; @Autowired public DemoApplication(AwsS3Service awsS3Service) { this.awsS3Service = awsS3Service; } public static void main(String[] args) { SpringApplication.run(DemoApplication.class); } @Override public void run(String... args) throws Exception { //KEY_NAME==filename.txt final List<Person> peoples = awsS3Service .readFileAndCreateList("BUCKET_NAME", "KEY_NAME"); // 或者使用 readFileAndCreateObjectList System.out.println(peoples); } }
请将 BUCKET_NAME 和 KEY_NAME 替换为你的 S3 存储桶名称和文件名称。
运行程序
运行 Spring Boot 应用程序。控制台应该会打印出从 S3 文件读取的 Person 对象列表。
[Person{name='rohit', surname='sharma'}, Person{name='virat', surname='kohli'}]
注意事项
- 确保你的 AWS 凭证具有读取 S3 存储桶的权限。
- 如果 S3 文件非常大,建议使用流式读取方式,以避免内存溢出。
- 代码中使用了 ObjectMapper 来将 JSON 字符串转换为 Java 对象。请确保 Person 类的属性与 JSON 对象的字段匹配。
- 在生产环境中,建议使用更安全的凭证管理方式,例如 AWS IAM Roles。
- V1 版本会将 S3 文件下载到本地,请确保程序有写入本地文件的权限,并且及时清理临时文件。
总结
本文档介绍了如何在 Spring Boot 应用程序中从 AWS S3 存储桶读取 JSON 数据并将其转换为 Java 对象列表。提供了两种不同的实现方法,可以根据实际需求选择合适的方式。 通过使用 AWS S3 SDK 和 Spring Boot,可以方便地从云存储中读取数据,并将其集成到应用程序中。
到这里,我们也就讲完了《SpringBoot读取S3JSON数据转对象列表》的内容了。个人认为,基础知识的学习和巩固,是为了更好的将其运用到项目中,欢迎关注golang学习网公众号,带你了解更多关于的知识点!

- 上一篇
- JS实现选项卡效果教程

- 下一篇
- 百度心响App安卓版v1.4.0.10更新上线
-
- 文章 · java教程 | 42秒前 |
- MAT工具使用指南:Java堆内存分析详解
- 361浏览 收藏
-
- 文章 · java教程 | 24分钟前 |
- JavaSocket通信入门教程
- 155浏览 收藏
-
- 文章 · java教程 | 34分钟前 |
- SpringCloudConfig高可用配置方案详解
- 464浏览 收藏
-
- 文章 · java教程 | 43分钟前 |
- Java读取netCDF气象数据全攻略
- 361浏览 收藏
-
- 文章 · java教程 | 57分钟前 |
- Eclipse中RestAssured类型错误解决方法
- 270浏览 收藏
-
- 文章 · java教程 | 1小时前 |
- VSCodeJavaJNI问题解决指南
- 355浏览 收藏
-
- 文章 · java教程 | 1小时前 |
- Java接入OpenTSDB详细教程
- 205浏览 收藏
-
- 文章 · java教程 | 1小时前 |
- Java反射机制详解与框架应用
- 430浏览 收藏
-
- 文章 · java教程 | 2小时前 |
- Java调用非静态方法实战详解
- 424浏览 收藏
-
- 文章 · java教程 | 2小时前 |
- Java数组定义与初始化教程
- 440浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 511次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 498次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 484次学习
-
- 千音漫语
- 千音漫语,北京熠声科技倾力打造的智能声音创作助手,提供AI配音、音视频翻译、语音识别、声音克隆等强大功能,助力有声书制作、视频创作、教育培训等领域,官网:https://qianyin123.com
- 234次使用
-
- MiniWork
- MiniWork是一款智能高效的AI工具平台,专为提升工作与学习效率而设计。整合文本处理、图像生成、营销策划及运营管理等多元AI工具,提供精准智能解决方案,让复杂工作简单高效。
- 230次使用
-
- NoCode
- NoCode (nocode.cn)是领先的无代码开发平台,通过拖放、AI对话等简单操作,助您快速创建各类应用、网站与管理系统。无需编程知识,轻松实现个人生活、商业经营、企业管理多场景需求,大幅降低开发门槛,高效低成本。
- 229次使用
-
- 达医智影
- 达医智影,阿里巴巴达摩院医疗AI创新力作。全球率先利用平扫CT实现“一扫多筛”,仅一次CT扫描即可高效识别多种癌症、急症及慢病,为疾病早期发现提供智能、精准的AI影像早筛解决方案。
- 233次使用
-
- 智慧芽Eureka
- 智慧芽Eureka,专为技术创新打造的AI Agent平台。深度理解专利、研发、生物医药、材料、科创等复杂场景,通过专家级AI Agent精准执行任务,智能化工作流解放70%生产力,让您专注核心创新。
- 256次使用
-
- 提升Java功能开发效率的有力工具:微服务架构
- 2023-10-06 501浏览
-
- 掌握Java海康SDK二次开发的必备技巧
- 2023-10-01 501浏览
-
- 如何使用java实现桶排序算法
- 2023-10-03 501浏览
-
- Java开发实战经验:如何优化开发逻辑
- 2023-10-31 501浏览
-
- 如何使用Java中的Math.max()方法比较两个数的大小?
- 2023-11-18 501浏览