云从AI大模型参战！支持图文跨模态理解，跟GPT-4拼做中考题

哈喽！今天心血来潮给大家带来了《云从AI大模型参战！支持图文跨模态理解，跟GPT-4拼做中考题》，想必大家应该对科技周边都不陌生吧，那么阅读本文就都不会很困难，以下内容主要涉及到，若是你正在学习科技周边，千万别错过这篇文章~希望能帮助到你！

智东西

作者 | ZeR0

编辑 | 漠影

智东西5月18日报道，今日，云从科技推出从容大模型，并现场演示了从容大模型在问答、写命题作文、意图理解、多轮对话、英文写作、机器翻译、编程、图文跨模态理解、做中考真题等方面的能力。目前从容大模型处于内测阶段。

根据演示，从容大模型对一本预先上传好的大约有五六百页的《大话西方艺术史》书籍进行了深度理解，包括询问书籍相关内容、总结这是一本什么样的书、找到指定要求的图等。

经过对从容大模型、ChatGPT、GPT-4做去年中考真题的能力进行测试，云从从容比ChatGPT的答题速度更快，答历史、生物题的得分略低于ChatGPT，答地理题的得分与ChatGPT持平，答政治题、道德与法制题的表现比ChatGPT更好。目前GPT-4.0的水平明显优于其他系统。

现场，大模型信创生态联盟正式成立，成员包括优刻得、厦门文旅、华为昇腾、南沙公控、CSDN、众数信科等，旨在促进大模型技术的创新和发展，推动人工智能在各个行业应用。

云从科技也将分别与中国中检、神舟信息、深圳报业、佳都科技、金世缘、游族网络、艾登科技合作，推出质量大模型、金融大模型、文娱大模型、交通大模型、制造大模型、游戏大模型、医疗大模型等。

一、基础能力演示：支持图文跨模态理解，做中考题速度比ChatGPT快

从容大模型的对话界面跟ChatGPT差不多。云从科技技术管理部总监叶懋现场进行了从容大模型的基础能力演示。

问答方面，从容大模型的回复风格偏简洁、实在，能够避开一些陷阱题挖的坑。

写作方面，针对去年四川省的一个中考作文题“以最美的颜色为题写一篇不少于600字的作文”，从容大模型现场写出一篇作文。向它提出更多修改或限定要求，比如用白色改写、要求更有深度、改成以一个患病小孩的视角写最美的颜色来自于医护人员的白大褂等等之后，从容大模型能够理解意图并展现出多轮对话的能力。

在从容大模型的现场创作中，我撰写了一篇英文寻物启事，并根据要求修改了签名。要求它翻译成中文后，它首先给出的回复是偏生硬的直译，接着按照“用中文习惯改写”的新要求改写了这篇启事。

编程方面，从容大模型先展示了写代码的能力，写出一段快速排序的代码。

向它提出相对专业些的话题，“这段代码的时间复杂度是多少”，从容大模型的回复没什么毛病。

要求加上代码注释，它也能快速完成。

再提高点难度，让它写出C++程序员能看懂的代码，它不仅完成了任务，还按照前面的要求添加有注释。

阅读理解方面，从容大模型支持对长文档或者多文档聚合进行理解，并支持图文跨模态理解。

云从技术人员预先上传了一本大概有五六百页的《大话西方艺术史》书籍，从容大模型对这本书的内容进行了深度理解，接着就能基于这本书所涉及的知识范畴与用户进行互动，包括询问书籍相关内容、总结这是一本什么样的书等。

如下图所示，界面中间部分是书籍的正文，右边是对话交互界面，从容大模型准备了一些提问样例，点击某个样例后，它就会实时生成回复，并附有回复内容相关的一些线索。点击这些线索就会链接到书中对应的段落位置。用户能够描述所需图片，由于从容大模型的存在，书中能够找到并理解该图片。

云从科技测试了2022年各学科中考真题在从容大模型、ChatGPT和GPT-4方面的解题能力。

从测试结果来看，云从从容比ChatGPT的答题速度更快，答历史、生物题的得分略低于ChatGPT，答地理题的得分与ChatGPT持平，答政治题、道德与法制题的表现比ChatGPT更好。目前GPT-4.0的水平明显优于其他系统。

二、行业应用示例：城运治理、设备维修、金融运营、政策解答

要让从容基础大模型真正用起来，需要构建行业大模型。

云从科技联合创始人、广东公司总经理姚志强分享了从容大模型在基层治理场景的应用，比如面向民众服务的一语智办、面向公务员及网格队伍的智治精灵、面向应用开发者的编程助手、面向城运治理中心的融合指挥。

城运智慧大屏AI精灵演示针对城运治理中心场景，在现场大屏上播放。例如，当指挥员命令“移动第五个屏幕到中央”时，AI能够理解并快速执行该指令。

指挥员又提问“这个周边人和车多吗”，AI大模型随即借助多模态能力，自动分析人流车况，选取周边人和车最多的几路视频画面，并告知“依据视频内容，湖泊周边交通状态良好，但存在车辆占道违停现象，同时部分位置人员较为拥挤，建议安排安保人员维持秩序”。

指挥员继续提问：“今天对市民游玩有什么建议？”AI大模型回复了天气状况，并给出“适合出游”、“做好防晒”的建议。

面向设备维修管理场景的例子，是云从科技基于行业大模型做的智能维修伴随系统。

维修计划有两个来源：一是基于设备分类，设备历史的维修记录以及最近的生产计划等会综合自动形成一个维检修计划；二是巡检机器人或探头会在机器人巡检过程中发现某地方有个问题，这个问题可能是临时性的，它会知道有什么故障、可能性是什么、是否需要发送一个维修请求。

在维修准备阶段，通过研读维修手册、维修记录和专家建议的理解，大型机器逐渐成为一个经验丰富的维修专家。在维修前，系统会提供一个包括图文、音视频、维修关键要点的完整预习课程，方便维修工程师预习要维修的设备可能是什么故障、故障是由什么导致的、应该带什么工具、采用什么修、换什么备件等等。

在维修过程中，云从智能维修伴随系统提供两个典型的解决方案：一是“指导”，工程师可以问大模型设备故障应该怎么修；二是“监督”，大模型可以监测工程师的维修动作是否规范、有没有遗漏重要修程。

在维修工单关闭时，无需工人自己写，系统会根据全程的视频记录自动解析，形成一个图文的维修记录，并伴有这次维修中的核心视频内容，以便进行维修复盘和对后续维修提供知识源。

面向金融场景，大模型能够提升银行内部的业务运营效率。从容大模型可将银行海量的数据资源，转化为更有价值的信息，突破了专业知识的供给瓶颈，有助于提升银行在普惠金融、银行运营能力、服务实体经济方面的能力。现场演示了AI虚拟客户经理回答理财相关专业问题的表现。

相比通用大模型，用本地知识库进行优化的行业大模型能够提供更专业严谨的回答，避免出现胡编乱造的情况。

以海关政策AI精灵为例，海关政策AI精灵基于海关总署2000多份材料，形成本地的知识库，通过语义分割、语义检索、prompt learning等技术，为从容大模型构造了精准的提示词，进而能够充分发挥大模型的能力，为用户提供准确的政策解答。

云从科技内部还孵化了若干大模型应用创业项目，比如大麦数字人直播平台能够实现直播间智能搭建、直播预热语料提供等功能。

面向教育场景，智能教育AI精灵能够基于现有课程教纲、题库等基础模型，形成自生题库，根据学生平时表现生成定制习题及学习计划，并能够通过学生表现自动生成对应的综合评价分析，减少老师日常工作负担。

结语：未来几年，技术会不断解锁场景

在展示出语言、数学、推理等基础通识能力后，大模型正在走向行业，展现出在金融、法律、医学、政策等专业知识领域的应用潜能。

据云从科技董事长兼总经理周曦所言，大型模型将会颠覆传统的交互方式，并且主要以问答、伴随和托管三种形式进行展示。其中，“问答”即当前的GPT；“伴随”即AI会像一个朋友一样，伴随你执行很多的事情；“托管”即一件事主要交给AI来做，类似在网游中的“挂机训练”。一旦实行“托管”，人们就能够腾出更多时间去从事更有意义和兴趣的事情。

他谈道，有了整个平台框架，通过基础大模型构造了基础能力后，可以不断增加行业大模型的技能包，那么就能构造出更加强大的行业系统。这个系统可服务于To G、To B、To C的各行各业。

在周曦看来，没有强大的基础大模型，直接做行业大模型，不具有长期持续的生命力，因为要想让行业大模型足够实用，需要反过来训练基础大模型，如果想要让行业大模型真正在产业上量产使用，必须将效率和成本控制做到极致，而极致优化必须要掌握基础大模型。

未来产业的创新取决于不断的技术突破，而其行业应用并非单纯依靠创意来开发，而是通过技术解锁实现的。在未来几年里，技术将不断开发新场景，而场景相关的人也将持续研究重构行业效率和用户体验的方法。

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于科技周边的相关知识，也可关注golang学习网公众号。