当前位置:首页 > 文章列表 > 科技周边 > 人工智能 > 火山引擎工具技术分享:用 AI 完成数据挖掘,零门槛完成 SQL 撰写

火山引擎工具技术分享:用 AI 完成数据挖掘,零门槛完成 SQL 撰写

来源:51CTO.COM 2023-04-22 07:57:47 0浏览 收藏

哈喽!大家好,很高兴又见面了,我是golang学习网的一名作者,今天由我给大家带来一篇《火山引擎工具技术分享:用 AI 完成数据挖掘,零门槛完成 SQL 撰写》,本文主要会讲到等等知识点,希望大家一起学习进步,也欢迎大家关注、点赞、收藏、转发! 下面就一起来看看吧!

火山引擎工具技术分享:用 AI 完成数据挖掘,零门槛完成 SQL 撰写

在使用 BI 工具的时候,经常遇到的问题是:“不会 SQL 怎么生产加工数据、不会算法可不可以做挖掘分析?”

而专业算法团队在做数据挖掘时,数据分析及可视化也会呈现相对割裂的现象。流程化完成算法建模和数据分析工作,也是一个提效的好办法。

同时,对于专业数仓团队来说,相同主题的数据内容面临“重复建设,使用和管理时相对分散”的问题——究竟有没有办法在一个任务里同时生产,同主题不同内容的数据集?生产的数据集可不可以作为输入重新参与数据建设?

1. DataWind 可视化建模能力来了

由火山引擎推出的 BI 平台 DataWind 智能数据洞察,推出了全新进阶功能——可视化建模。

用户可通过可视化拖、拉、连线操作,将复杂的数据加工建模过程简化成清晰易懂的画布流程,各类用户按照所想即所得的思路完成数据生产加工,从而降低数据生产获取的门槛。

画布中支持同时构建多组画布流程,一图实现多数据建模任务的构建,提高数据建设的效率,降低任务管理成本;另外,画布中集成封装了超过 40 种数据清洗、特征工程算子,覆盖初阶到高阶的数据生产能力,无需 Coding 完成复杂的数据能力。

2. 零门槛的 SQL 工具

数据的生产加工是获取及分析数据的第一步。

对于非技术使用者来说,SQL 语法存在一定使用门槛,同时本地文件无法定时更新,导致看板每次都需要手动重做。获取数据所需的技术人力往往需要排期,数据的获取时效及满足度大大打折,因此使用零代码的数据建设工具变得尤为重要。

下方列举两个典型场景,零门槛完成数据处理在工作中是如何应用的。

2.1 【场景1】所想即所得,可视化完成数据处理过程

在产品运营迭代急需不同数据的及时输入反馈时,可以抽象数据的处理过程,通过可视化建模拖拉算子构建数据处理过程。

如要获取按照日期、城市粒度的订单数及订单金额,并获取每日 Top10 消耗金额数据的城市数据,操作如下:

常规数据处理流程

可视化建模处理流程

  1.  请技术同学拉取订单的明细数据,包含订单 id/ 订单金额/用户 id/ 订单日期城市等  
  2. 将数据通过透视图的操作设置行为订单日期、城市,指标为订单金额求和、订单 id 求和  
  3. 将透视结果按照金额排序,然后编写序号  
  4. 用筛选器过滤 Top10 的数据
  1.  选择数据源,选择库表或上传 CSV 文件或连接 LarkSheet
  2. 筛选需要使用的字段信息,配置自己定义的字段名称及格式
  3. 选择聚合算子,按照日期和城市聚合计算订单量和订单金额
  4. 选择 Top 值算子,取 Top10 金额数量
  5. 输出数据集,数据集可应用到风神中绘制图表

图片

2.2 【场景 2】多表快速结合,轻松解决多数据关联计算

在数据处理过程中,有多个数据源需要进行组合使用,常规通过 Excel 需要掌握高阶 Vlookup 等算法有些难度,且耗时长。同时数据量较大时,电脑性能可能没办法完成数据的组合计算。

如有两份数据量比较大的订单数据和一份客户属性信息表,需要根据账单金额和成本金额计算利润金额,然后按照利润贡献高低取 Top100 的用户订单信息

常规数据处理流程

可视化建模处理流程

  1. 需要将两个订单数据打开后,Copy 数据合并到一个文件中  
  2. 采用 VloopUp 查找订单里用户和客户里用户数据,然后将两者数据组合生成新的数据
  3. 采用透视表计算用户账单金额和成本金额,然后计算利润金额
  4. 按照利润金额排序获取 TopN 客户信息
  1.  可以上传 CSV 文件 /LaskSheet 构建数据输入
  2. 然后可以合并 3 月 /4 月订单数据为一份数据 
  3. 连接客户信息属性表,绑定客户属性信息
  4. 选择聚合,按照客户具体计算账单金额和成本金额 
  5. 选择计算列,根据账单金额和成本金额计算利润金额 
  6. 根据利润金额排序获取 TopN 客户信息

图片

3. AI 数据挖掘,不再高不可及

当基础的数据清洗已经没办法满足数据建设和数据分析,需要 AI 算法加持去挖掘数据更多隐藏的价值时。算法团队同学可能苦于无法很好与可视化图表联动使用,没办法生产好的数据快速被应用;而普通用户可能直接被 AI 代码的高门槛直接压灭了这个算法的苗头——提需求又怕需求太浅、价值无法很好评估输出,此时算法挖掘成为了一种奢望。

DataWind 的可视化建模封装了超过 30 类常见的 AI 算子能力,用户仅需了解算法的作用可以通过配置化的方式配置算法算子的输入和训练目标即可完成模型训练,根据配置的其他数据内容快速得到预测结果。

图片

图片

图片

下方将以两个典型场景为例,看不写 Python 如何完成数据挖掘。

3.1 【初阶】不会 Python 也可做数据挖掘

用户日常工作基本不涉及写 Python,但存在做数据挖掘的需求场景。他需要基于存量高意向客户样本做客户意向度挖掘。此时可通过可视化建模构建数据挖掘流程:

  1. 拖入样本数据和全部数据作为数据输入。
  2. 拖入分类算法,如 XGB 算法用于模型训练。
  3. 拖入预测算子,搭建模型与全部数据的关系进行预测。
  4. 实际数据和预测结果结合输出数据集,从而分析全部用户数据的意向分布。


图片

3.2【高阶】不写 Python 也可构建复杂算法模型

用户需要根据现有数据,构建一个用户回购模型。在模型搭建中需要经过数据清洗、格式转换之后采用梯度提升树构建预测模型,此时可以根据可视化建模构建回购模型流程:

图片

  1. 合并行:将 n 个算子(图中的长方形)输出数据表根据一致的表头合并成一张总的数据表,用户销售数据没有增删新属性时此处不用改动。
  2. 缺失值替换:属性列存在空值(null)时,会影响后续模型计算,使用替换缺失值算子可以将空值替换为指定默认值,用户销售数据没有增删新属性时此处不用改动。
  3. one-hot 编码: 文本类型的属性无法直接被模型训练使用,需要 one_hot 编码成数字向量例如:

图片

  1. 梯度提升树:负责拟合训练数据,输出一个可以用于预测的模型(图中没有标注的参数不需要维护人员修改):


图片

  1. 聚合_1:去除预测数据中的重复项,取最大概率。
  2. 提取字段:提取必要的 label 和概率值输出。


图片

4. 多场景、多任务建设,管理不再分散

作为数据分析师,日常也会有很多构建数据集、搭建数据看板的工作。但通常从数仓获取的底表会是一张宽表,在此基础之上,根据不同的场景需求搭建不同的数据集任务。

在后续的使用时,常常会遇到类似的的数据集越来越多,但具体逻辑又无法很好的对比确认。此时,如果所有数据集逻辑在一个数据集里面配置生成,每个数据集通过任务流程就可以判断和定义应用就好了。

针对这一场景,DataWind 的可视化建模能力也可以很好的完成。可视化建模功能支持单一数据集同时被多种逻辑处理加工生成多个数据集。以处理订单数据和用户数据为例:

  1. 有用户想看订单的统计数据,那么可以搭建订单统计数据集的数据处理流程。
  2. 有用户就想看明细数据,但是需要对明细字段进行加工清洗,这时可以构建订单明细表数据集的处理流程。
  3. 有些用户又想结合用户属性去统计用户的订单分布,那么构建多表关联结合指标聚合生成完成用户订单统计数据集。
  4. 同样逻辑可以生成多表关联下的用户订单明细数据集。

     由此,通过一个任务、两个数据输入完成了 4 个数据集的生成,4 个数据集可以构建一个数据主题域,后续相关数据使用均可从此任务输出的数据集进行使用。

图片

5. 关于我们

火山引擎智能数据洞察 DataWind 是一款支持大数据明细级别自助分析的增强型 ABI 平台。从数据接入、数据整合,到查询、分析,最终以数据门户、数字大屏、管理驾驶舱的可视化形态呈现给业务用户,让数据发挥价值。

以上就是《火山引擎工具技术分享:用 AI 完成数据挖掘,零门槛完成 SQL 撰写》的详细内容,更多关于AI,数据挖掘的资料请关注golang学习网公众号!

版本声明
本文转载于:51CTO.COM 如有侵犯,请联系study_golang@163.com删除
特斯拉市值蒸发6000亿!马斯克:冻结招聘,明年裁员,再找个「傻子」接管推特特斯拉市值蒸发6000亿!马斯克:冻结招聘,明年裁员,再找个「傻子」接管推特
上一篇
特斯拉市值蒸发6000亿!马斯克:冻结招聘,明年裁员,再找个「傻子」接管推特
你要了解数据科学团队中的这些角色
下一篇
你要了解数据科学团队中的这些角色
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    542次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    508次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    497次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    484次学习
查看更多
AI推荐
  • 互联网信息服务算法备案系统:如何完成算法备案流程
    互联网信息服务算法备案系统
    了解互联网信息服务算法备案系统,掌握如何进行算法备案的详细步骤和要求,确保您的互联网服务合规运营。
    52次使用
  • SEO标题魔匠AI:高质量学术写作平台,毕业论文生成与优化专家
    魔匠AI
    SEO摘要魔匠AI专注于高质量AI学术写作,已稳定运行6年。提供无限改稿、选题优化、大纲生成、多语言支持、真实参考文献、数据图表生成、查重降重等全流程服务,确保论文质量与隐私安全。适用于专科、本科、硕士学生及研究者,满足多语言学术需求。
    96次使用
  • PPTFake答辩PPT生成器:一键生成高效专业的答辩PPT
    PPTFake答辩PPT生成器
    PPTFake答辩PPT生成器,专为答辩准备设计,极致高效生成PPT与自述稿。智能解析内容,提供多样模板,数据可视化,贴心配套服务,灵活自主编辑,降低制作门槛,适用于各类答辩场景。
    118次使用
  • SEO标题Lovart AI:全球首个设计领域AI智能体,实现全链路设计自动化
    Lovart
    SEO摘要探索Lovart AI,这款专注于设计领域的AI智能体,通过多模态模型集成和智能任务拆解,实现全链路设计自动化。无论是品牌全案设计、广告与视频制作,还是文创内容创作,Lovart AI都能满足您的需求,提升设计效率,降低成本。
    217次使用
  • 美图AI抠图:行业领先的智能图像处理技术,3秒出图,精准无误
    美图AI抠图
    美图AI抠图,依托CVPR 2024竞赛亚军技术,提供顶尖的图像处理解决方案。适用于证件照、商品、毛发等多场景,支持批量处理,3秒出图,零PS基础也能轻松操作,满足个人与商业需求。
    115次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议隐私政策
返回登录
  • 重置密码