数据处理分析平台(一)

数据库小白一枚，正在不断学习积累知识，现将学习到的知识记录一下，也是将我的所得分享给大家！而今天这篇文章《数据处理分析平台(一)》带大家来了解一下数据处理分析平台(一)，希望对大家的知识积累有所帮助，从而弥补自己的不足，助力实战开发！

一、简介

RSCMP-HDP数据分析平台包含数据源适配、ETL数据处理、数据建模、数据分析、数据填报、工作流一站式数据处理分析平台。
数据获取方式：
a、通过文件类型创建多数据源
b、连接池多数据源
c、接口

二、数据回填

1、目前已支撑在线表格数据填报，增加对表格数据、格式的审核功能
2、实际的业务流程在工作流中流转体现，在工作流编辑工具中，用图形化的方式将实际的业务过程或步骤描述出来，并转化成规范的工作流定义语言格式。
3、数据权限、审核权限设定。

三、数据可视化

1、报表统计
2、内置域统一XML接口json格式
四、门户、机构权限
数据连接设置：
1、/**

 * 功能描述: 添加数据源
 * 〈〉
 * @Param: [diaSource]
 * @Return: com.rscmp.hdp.datrans.source.domain.DiaSource
 * @Author: Steven
 * @Date: 2021/7/12 18:08
 */
@Override
public void addDiaSource(DiaSource diaSource) {
    Map params = new HashMap();
    params.put("connectorType",diaSource.getDriveType());
    params.put("password",diaSource.getUserPass());
    params.put("name",diaSource.getName());
    params.put("driverClassName",diaSource.getDriverClassName());
    params.put("url",diaSource.getUrl());
    params.put("username",diaSource.getUserName());
    ConfigModel model = connectorChecker.checkAddConfigModel(params);
    manager.addConnector(model);
}

/**
 * 功能描述: 新增配置
 * 〈〉
 * @Param: [diaSource]
 * @Return: com.rscmp.hdp.datrans.source.domain.DiaSource
 * @Author: Steven
 * @Date: 2021/7/12 18:08
 */
@Override
public ConfigModel checkAddConfigModel(Map params) {
    String name = params.get(ConfigConstants.CONFIG_MODEL_NAME);
    String connectorType = params.get("connectorType");
    Assert.hasText(name, "connector name is empty.");
    Assert.hasText(connectorType, "connector connectorType is empty.");

    Connector connector = new Connector();
    connector.setName(name);
    connector.setType(ConfigConstants.CONNECTOR);
    setConfig(connector, connectorType);
    // 配置连接器配置
    String type = StringUtils.toLowerCaseFirstOne(connectorType).concat("ConfigChecker");
    ConnectorConfigChecker checker = map.get(type);
    Assert.notNull(checker, "Checker can not be null.");
    checker.modify(connector, params);
    // 获取表
    setTable(connector);
    // 修改基本配置
    this.modifyConfigModel(connector, params);
    return connector;
}
/**
 * 功能描述: 连接配置
 * 〈〉
 * @Param: [diaSource]
 * @Return: com.rscmp.hdp.datrans.source.domain.DiaSource
 * @Author: Steven
 * @Date: 2021/7/12 18:08
 */
private void setConfig(Connector connector, String connectorType) {
    Class configClass = (Class) ConnectorEnum.getConfigClass(connectorType);
    Assert.notNull(configClass, String.format("不支持该连接器类型:%s", connectorType));
    try {
        ConnectorConfig config = configClass.newInstance();
        config.setConnectorType(connectorType);
        connector.setConfig(config);
    } catch (Exception e) {
        // logger.error(e.getMessage());
        throw new BizException("获取连接器配置异常.");
    }
}

终于介绍完啦！小伙伴们，这篇关于《数据处理分析平台(一)》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布数据库相关知识，快来关注吧！