苹果引领AR革命？Unity技术开放日x Rokid，畅谈下一代人机交互新路线

从现在开始，我们要努力学习啦！今天我给大家带来《苹果引领AR革命？Unity技术开放日x Rokid，畅谈下一代人机交互新路线》，感兴趣的朋友请继续看下去吧！下文中的内容我们主要会涉及到等等知识点，如果在阅读本文过程中有遇到不清楚的地方，欢迎留言呀！我们一起讨论，一起学习！

AR（增强现实）的里程碑被刻印着，因为苹果开创了空间计算时代的革命。由Vision Pro打造的沉浸式空间，正在为用户带来全新的人机交互体验，比如：突破传统显示屏的限制，用户浏览 app 时，只要轻松地看着它们、捏合手指来选择，即可在空中任意拖拉点击。

事实上，这也是Rokid一直探索的方向——将人、现实世界与虚拟世界的融合，更自然真实地结合在一起。

在今年3月的Rokid Open Day上，Rokid发布了全新一代自研AR空间操作系统——YodaOS-Master：基于Rokid Max Pro眼镜，张开手掌，菜单立马浮现在眼前。点击图标，便可进入应用，享受灵动随心的空间多屏互动体验。其中，业内首创基于单摄像头即可实现SLAM及3D裸手交互等能力，这一全新的技术路线，发布即引发行业的关注与热议。

今天，中国开发者最重要的年度盛典之一“2023年Unity技术开放日”首站在北京隆重举行，Rokid出席本次活动。会上Rokid系统研发总工程师石文峰带来了主题为《Rokid YodaOS-Master系统介绍及应用开发与落地》的演讲，分享了这一备受关注的技术路线，以及Rokid最新的技术发展，与现场开发者们进行了深入的交流与探讨。

Rokid全新一代自研空间AR系统

业内首创单摄SLAM技术

在今天的游戏论坛上，Rokid系统研发总工程师石文峰，结合多年丰富的AR行业技术研发经验，向现场开发者们介绍了备受关注的YodaOS-Master系统，以及Rokid背后的技术思考。

围绕感知、理解、交互、展现、协同和数字创作五个方面，YodaOS-Master从芯片优化、硬件设计、软件架构、AR算法还有创作工具等诸多方面都做了巨大升级，或是目前最为完整的一套面向AR时代的空间操作系统。

基于Rokid Max Pro眼镜，首创基于单摄像头即可实现SLAM、3D裸手交互、第一视角分享、视觉定位VPS等能力，可以支持多任务运行、空间创作等AR体验，给更轻量化、普惠的AR眼镜带来无限可能。

在YodaOS操作系统诞生之初，Rokid就秉持着一个观点，通过YodaOS操作系统赋能开发者，释放想像力，创造价值。

石文峰表示，“YodaOS-Master操作系统通过模块化的方式，将Rokid语音识别、手势识别、SLAM等在内的多项核心技术进行‘打包’处理，形成SDK供开发者高效开发，比如SDK for Unity，可以让Unity开发者能够快速使用Rokid核心技术进行开发。”

Rokid一直致力于更自然的AR交互体验。相比于传统的2D手势识别，3D手势识别更具有挑战性。文峰老师重点介绍了Rokid目前的单目3D手势识别技术，基于YodaOS-Master的底层系统能力。

基于深度学习算法和大量实验数据，Rokid自研的单目3D手势算法能在移动端实时重建手部姿态参数，包括手部6DoF、手部关节点26DoF，以及Hand Mesh信息，为AR的手势交互提供良好的算法基础。

目前，Rokid的手势识别在3D空间中可实现多种操作，包括点、捏、抓、握、拖、拉等等，完全可以满足AR交互应用需求。举个例子，只需要戴上Rokid Max Pro，然后伸出手，在眼前展开手掌即可召唤菜单。

值得一提的是，Rokid软硬件于一体的AR空间体验已在全国多个场景落地，包括全国首个基于AR眼镜的元宇宙街区项目——杭州文三元宇宙AR数字生活街区、全国文旅行业内首个基于单目视觉SLAM的AR眼镜导览方案——敦煌AR智能导，以及钉钉携手Rokid所打造的全国首个企业AR数字展厅等等。

若琪数字人+AIGC

多模态交互体验全新升级

随着AI时代的加速发展，人机交互方式的发展趋势为多模态交互。未来人们对交互方式的需求已经超越了单一的键盘、触摸和语音交互方式。

试想，如果你想要边听音乐边办公的话，需要先通过语音或触摸交互的方式唤醒音响，再通过键盘交互的方式打开办公软件。拥有一个“数字人”助手会让所有事情变得轻而易举，只需下达一个指令，就能同时完成这两项任务。

这也是Rokid做AI数字人的原因之一。石文峰表示，AI数字人技术可以串连系统所有的能力，包括语音助手AI数字人、SLAM、3D手势、6DOF空间音频等Rokid核心技术，从而为用户带来更丰富的人机交互体验。

目前，Rokid所打造的“若琪”数字人已经全面接入AIGC，用户可以随时唤起“若琪”，和这位虚拟助手探讨任何有趣的话题。

石文峰介绍，这背后采用的是AIGC多模态数字智能驱动的模式，通过ASR、NLP、TTS等自研算法技术，驱动“若琪”产生准确的面部表情、语音表达、肢体动作，并且表现得更真实、自然、流畅。

Rokid全方位赋能开发者

共同迎接下一个人机互交时代

未来的想象空间将会变得无限，因为AR、MR等技术越来越成熟，能够应用于观影、游戏、办公、教育等多种场景。多重生态内容的重新构建，亟待开发者们带来更多突破与创新。

Unity技术开放日是中国开发者最重要的年度互动盛典之一，通过每年的若干场线下巡回活动，为创作者群体搭建技术交流平台，传达技术演进路径，营建多元活跃的开发者社区氛围，同时聆听来自开发者的声音，赋能实时3D技术的内容创新与应用延展。

Rokid作为AR行业领军企业，参与共促行业繁荣。当天的活动中，Rokid除了带去最新的技术分享演讲，还在现场设置展台区，带来了包括Rokid最新AR产品与生态建设场景，供现场开发者们体验，帮助他们更直观地了解Rokid的最新技术与生态。

近年来，Rokid始终致力于赋能更多的开发者，打造了专门的AR开放平台（ar.rokid.com），推出了“若琪空间站”开发者助力计划，举办全球范围的AR应用开发大赛等，激励开发者共同参与生态共建，促进AR生态繁荣。

文峰介绍，Rokid为开发者们量身打造的“若琪空间站”开发者助力计划，在硬件设备、算法能力、开发支持、市场推广等方面全方位支持开发者。同时，Rokid联合多个行业头部企业与VC成立10亿人民币规模的生态智投联盟，对优秀的开发者直接进行投资。

Rokid not only provided strong support to developers but also held its first global AR application development competition, awarding 11 heavyweight prizes to developers from around the world.。Rokid officially launched its first XR content creation competition for universities across the country in May this year, igniting the innovative power of colleges and universities.。

未来，Rokid愿携手更多合作伙伴，一起加入AR生态构建中，打造开放共赢的生态体系，持续为行业赋能，推动AR行业加快发展，共同迎接下一个人机交互时代。

理论要掌握，实操不能落！以上关于《苹果引领AR革命？Unity技术开放日x Rokid，畅谈下一代人机交互新路线》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！