以分布式网络串联闲置GPU,这家创企称可将AI模型训练成本降低90%
小伙伴们对科技周边编程感兴趣吗?是否正在学习相关知识点?如果是,那么本文《以分布式网络串联闲置GPU,这家创企称可将AI模型训练成本降低90%》,就很适合你,本篇文章讲解的知识点主要包括。在之后的文章中也会多多分享相关知识点,希望对大家的知识积累有所帮助!

Monster API利用采矿设备等GPU算力来训练AI模型
GPU通常用于挖掘比特币等加密货币,而挖矿是一种资源密集型的过程,需要强大的计算能力。
加密货币炒作一度导致市场上GPU短缺,随着价格飙升,企业和个人转向采用英伟达(Nvidia) 为游戏行业提供的GPU,并将其转变为加密挖矿设备专用的GPU。
然而随着加密货币热潮的消退,许多加密挖矿设备关闭甚至被废弃。这让Monster API创始人Gaurav Vij意识到,他们可以重新改变和调整这些设备的用途,以适应最新的计算密集型发展趋势,也就是训练和运行AI基础模型。
虽然这些GPU并不具备AWS或谷歌云等部署的专用AI设备的强大功能,但Gaurav Vij表示,它们能够训练优化的开源模型,其成本仅为使用云计算提供商使用的超大规模计算设备的一小部分。
Monster API联合创始人Saurabh Vij表示:“机器学习领域实际上正在与计算能力作斗争,因为需求已经超过了供应。现在,大多数机器学习开发者倚赖AWS、谷歌云和微软Azure来获得所需资源,这最终会导致高额的资金花费。”
分布式算力网络可以大幅降低AI基础模型训练成本
实际上,除了加密采矿设备之外,在PlayStation 5等游戏系统和较小的数据中心中也可以找到未使用的GPU。Saurabh Vij表示:“加密采矿平台采用GPU,而游戏系统也采用GPU,且GPU的功能每年都会变得更加强大。”
在将企业和个人的算力投入分布式网络之前,必须进行诸如数据安全检查等多个流程。需求方根据需求添加设备,扩展和缩小算力网络。供应方可以从出售闲置算力中获得了一部分收入。
Saurabh Vij强调,分布式计算系统将AI基础模型的训练成本降低到了将来可以由开源和非营利组织训练的程度,而不仅仅是财力雄厚的大型科技公司。对于像我们这样的去中心化网络,建立一个AI基础模型只需要10万美元,相较于传统方式要求的100万美元更加经济实惠。”
极客网获悉,Monster API现在还提供“无代码”工具来微调模型,并向那些没有技术专长或资源的用户开放,让他们从头开始训练模型,进一步“民主化”计算能力和AI基础模型。
由于大量的开发者缺乏足够的数据和资金重新训练模型,微调变得非常重要。他说,通过对Monster API进行改进,微调成本已经降低了90%,现在每个模型的微调费用大约为30美元。
开源模型训练可以帮助开发人员利用AI进行创新
虽然AI开发商面临迫在眉睫的监管,这可能会直接影响到这些训练模型和开源,但Saurabh Vij认为开源模型训练有其积极意义。Monster API已经认识到有必要在其分散的网络中管理潜在风险,并确保“可追溯性、透明度和问责制”。
我相信开源社区的发展速度非常快,在短期内监管机构或许能获胜,但长期来看,开源社区会占据主导地位。在Postman (API开发平台)上有2500万注册开发人员,其中很大一部分正在构建生成式AI,这为所有人开辟了新的业务和新的机会。”他表示。
极客网了解到,通过训练低成本的AI模型,Monster API的目标是让开发人员最大限度能够利用机器学习进行创新。目前他们已经有了一些知名的AI模型(例如Stable Diffusion和Whisper)可以进行微调,此外用户还可以使用这些GPU算力从头开始训练自己的AI基础模型。
Saurabh Vij介绍称:“我们已经在Macbook上进行了文图生成实验,每分钟至少可以输出10张图像。我们希望在网络上接入数百万台Macbook,让用户在睡觉时也能使用他们的Macbook运行Stable Diffusion、Whisper或其他AI模型获利。
“最终,Playstation、Xbox、Macbook都将成为强大的计算资源,甚至是特斯拉汽车——因为特斯拉汽车也采用了强大的GPU,而且大多数时候停在车库中。”Saurabh Vij补充道。
本篇关于《以分布式网络串联闲置GPU,这家创企称可将AI模型训练成本降低90%》的介绍就到此结束啦,但是学无止境,想要了解学习更多关于科技周边的相关知识,请关注golang学习网公众号!
使用Go语言编写高性能的正则表达式匹配
- 上一篇
- 使用Go语言编写高性能的正则表达式匹配
- 下一篇
- MySQL常见错误解决方法集锦
-
- 科技周边 · 人工智能 | 8小时前 |
- 模型路由怎么做:按任务难度分配速度、成本与质量
- 147浏览 收藏
-
- 科技周边 · 人工智能 | 11小时前 |
- 多模态模型读图前,图片缩放与裁切会影响什么
- 247浏览 收藏
-
- 科技周边 · 人工智能 | 1天前 | 人工智能 · 推理优化 ONNX Runtime 动态量化 nodes_to_exclude
- ONNX Runtime 动态量化怎么选择需要排除的节点
- 377浏览 收藏
-
- 科技周边 · 人工智能 | 1天前 | 人工智能 · 向量检索 · Sentence Transformers truncate_dim 嵌入维度 Matryoshka 向量存储
- Sentence Transformers 怎么截断嵌入维度减少存储
- 165浏览 收藏
-
- 科技周边 · 人工智能 | 1天前 |
- PEFT 多个 adapter 怎么按权重组合推理
- 454浏览 收藏
-
- 科技周边 · 人工智能 | 1天前 |
- Accelerate 大模型推理怎么自动分配到多块设备
- 358浏览 收藏
-
- 科技周边 · 人工智能 | 1天前 | 人工智能 · Tokenizers offset_mapping 原始文本
- Tokenizers offset mapping 怎么映射回原始文本位置
- 328浏览 收藏
-
- 科技周边 · 人工智能 | 1天前 | python · 人工智能 · shuffle Hugging Face Datasets streaming IterableDataset buffer_size
- Datasets streaming 怎么在不下载全集时打乱样本
- 470浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 371次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 436次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 448次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 393次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 218次使用
-
- 本地大模型反复输出同一句话怎么调整生成参数
- 2026-09-06 501浏览
-
- Python 调用大模型时如何用结构化输出校验 JSON:从解析失败到可重试
- 2026-08-29 501浏览
-
- AI写作工具免费版安装教程(含豆包Clawdbot)
- 2026-05-30 501浏览
-
- WPS AI能自动生成PPT吗?输入主题一键制作演示文稿
- 2026-05-27 501浏览
-
- Canva手机闪退解决方法及适配指南
- 2026-05-25 501浏览

