HermesAgent数据目录使用教程

本文详细介绍了如何通过五个关键步骤完成HermesAgent数据目录的实战配置，涵盖Catalog服务健康检查、JDBC关系型数据库元数据自动采集、Delta Lake表手动注册、Hive Metastore桥接集成，以及RBAC权限驱动的表可见性校验，帮助用户高效构建统一、安全、可发现的跨源元数据管理体系——无论你是刚起步的数据平台工程师，还是正面临多引擎元数据孤岛挑战的架构师，这份指南都能为你提供清晰、可落地的一站式集成路径。

如果您正在使用HermesAgent并希望将外部数据源接入其Catalog体系以实现统一元数据管理与发现，则需完成数据目录的正确配置与集成。以下是具体操作步骤：

一、确认HermesAgent Catalog服务状态

确保Catalog服务已启动且健康运行，是后续所有集成操作的前提。该服务负责接收、解析和注册元数据，若其不可用，任何目录注册请求都将失败。

1、执行命令 curl -I http://localhost:8080/api/v1/catalog/health 检查服务HTTP响应头中的200状态码。

2、查看HermesAgent日志中是否包含 CatalogService started successfully 字样。

3、若返回404或连接被拒绝，需检查 application-catalog.yml 中 server.port 与 catalog.enabled 配置项是否启用。

二、配置JDBC数据源元数据自动采集

通过JDBC连接关系型数据库（如MySQL、PostgreSQL），可让Catalog自动拉取库表结构、字段类型、注释等元数据，无需手动录入。

1、在 conf/catalog-datasources.yml 中添加新数据源区块，指定 driver-class-name、url、username、password。

2、将对应JDBC驱动JAR包（如 mysql-connector-java-8.0.33.jar）放入 lib/ 目录。

3、重启Catalog服务后，调用 POST /api/v1/catalog/sync?datasourceId=ds_mysql 触发一次同步。

三、手动注册Delta Lake表至Catalog

对于基于Delta Lake的存储路径（如 s3://bucket/path/_delta_log），可通过REST API直接注册表信息，绕过自动扫描延迟，适用于离线批量注册场景。

1、构造JSON载荷，包含 name（如 default.web_events）、location（s3路径）、format（delta）、schema（Avro格式字符串）。

2、使用curl发送请求：curl -X POST http://localhost:8080/api/v1/catalog/tables -H "Content-Type: application/json" -d @table.json。

3、验证注册结果：访问 GET /api/v1/catalog/tables/default/web_events 应返回完整表定义。

四、启用Hive Metastore桥接模式

当已有Hive Metastore集群管理大量表时，可配置Catalog以只读方式对接HMS，复用现有元数据，避免重复维护。

1、在 conf/catalog-hms.yml 中设置 hive.metastore.uris 为 thrift://hms-host:9083。

2、确保HermesAgent进程具备访问Hive Metastore Thrift端口的网络权限及Kerberos票据（如启用安全认证）。

3、启动时加载该配置：java -Dspring.config.location=conf/catalog-hms.yml -jar hermes-catalog.jar。

五、校验Catalog中表可见性与权限映射

Catalog支持基于RBAC的细粒度表级可见性控制，注册后的表需明确分配给对应租户或角色，否则默认不可见。

1、查询当前租户ID：GET /api/v1/catalog/tenants，获取目标tenantId（如 t-prod-7a2f）。

2、为表绑定权限：POST /api/v1/catalog/tables/default.web_events/permissions，提交包含 tenantId 与 role（如 reader）的JSON。

3、使用该租户凭证调用 GET /api/v1/catalog/tables?tenantId=t-prod-7a2f 确认表已出现在响应列表中。

好了，本文到此结束，带大家了解了《HermesAgent数据目录使用教程》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多科技周边知识！