-
- 小模型性能饱和、表现不佳，根源是因为Softmax?
- 小语言模型的出现是为弥补大语言模型的训练、推理等成本昂贵的缺点，但其自身也存在训练到某个阶段后性能下降的事实(饱和现象)，那么这个现象的原因是什么？是否可以克服并利用它去提升小语言模型的性能？语言建模领域的最新进展在于在极大规模的网络文本语料库上预训练高参数化的神经网络。在实践中，使用这样的模型进行训练和推断可能会产生本高昂，这促使人们使用较小的替代模型。然而，已经观察到较小的模型可能会出现饱和和现象，表现为在训练的某个高级阶段能力下降并趋于稳定。最近的一篇论文发现，这种饱和和现象可以通过较小模型的隐藉维
- 科技周边 · 人工智能 | 1年前 | 工程 softmax 语言建模 320浏览 收藏
-
- CVPR 2024 Highlight | 基于单曝光压缩成像，不依赖生成模型也能从单张图像中重建三维场景
- AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com。原文链接：https://arxiv.org/abs/2403.20018项目链接：https://github.com/WU-CVGL/SCINeRF论文标题：SCINeRF:Neu
- 科技周边 · 人工智能 | 1年前 | 工程 SCINeRF 3D 重建 100浏览 收藏
-
- 终于有人调查了小模型过拟合：三分之二都有数据污染，微软Phi-3、Mixtral 8x22B被点名
- 当前最火的大模型，竟然三分之二都存在过拟合问题？刚刚出炉的一项研究，让领域内的许多研究者有点意外。提升大型语言模型的推理能力是当前研究的最重要方向之一，在这类任务中，近期发布的很多小模型看起来表现不错，并且能够很好地应对这类任务。例如微软的Phi-3、Mistral8x22B等模型。研究人员们指出，当前大模型研究领域存在一个关键问题：很多研究未能准确地对现有LLM的能力进行基准测试。这提示我们需要花更多的时间来评估和测试当前LLM的能力水平。这是因为目前的大多数研究都采用GSM8k、MATH、MBPP、H
- 科技周边 · 人工智能 | 1年前 | 产业 Scale AI 460浏览 收藏
-
- 跨越300多年的接力：受陶哲轩启发，数学家决定用AI形式化费马大定理的证明
- 在陶哲轩的启发下，越来越多的数学家开始尝试利用人工智能进行数学探索。这次，他们瞄准的目标是世界十大最顶尖数学难题之一的费马大定理。费马大定理是一个非常复杂的数学难题，迄今为止尚未找到可行的解法。数学家们希望借助人工智能的强大计算能力和智能算法，能够在数学探索费马大定理又被称为“费马最后的定理（Fermat'sLastTheorem，FLT）”，由17世纪法国数学家皮耶・德・费马提出。它背后有一个传奇的故事。据称，大约在1637年左右，费马在阅读丢番图《算术》拉丁文译本时，曾在第11卷第8命题旁写道：“将一
- 科技周边 · 人工智能 | 1年前 | 工程 陶哲轩 费马大定理 214浏览 收藏
-
- Transformer要变Kansformer？用了几十年的MLP迎来挑战者KAN
- MLP（多层感知器）用了几十年了，真的没有别的选择了吗？多层感知器（MLP），也被称为全连接前馈神经网络，是当今深度学习模型的基础构建块。MLP的重要性无论怎样强调都不为过，因为它们是机器学习中用于逼近非线性函数的默认方法。然而，MLP是否就是我们能够构建的最佳非线性回归器呢？尽管MLP被广泛使用，但它们存在明显的缺陷。例如，在Transformer模型中，MLP几乎消耗了所有非嵌入式参数，并且通常在没有后处理分析工具的情况下，相对于注意力层来说，它们的可解释性较差。所以，是否有一种MLP的替代选择？今天
- 科技周边 · 人工智能 | 1年前 | 产业 424浏览 收藏
-
- 余承东卸任华为终端BG CEO，何刚将接任
- 根据多家媒体报道，华为于4月30日下午内部发布人事调整文件，宣布余承东将卸任华为终端BGCEO一职。余承东将仍保留终端BG董事长职位。原华为终端BG、首席运营官何刚将接任华为终端BGCEO职位。据透露，除了上述个人事变动调整外，该文件并无更多信息。关于这次重大人事变动的背景和余承东卸任终端BGCEO之后新的业务重心，也未有进一步的说明。有消息源表示，此次调整属于常规的业务架构调整，可让余承东有更多精力为消费者打造精品。余承东出生于1969年，本科毕业于西北工业大学自动控制系，硕士毕业于清华大学，他从199
- 科技周边 · 人工智能 | 1年前 | 产业 396浏览 收藏
-
- 爆款生成式AI硬件，销量突破10万台，拆完一看只是安卓app？
- 「RabbitR1，它本质上是安卓系统上面做了个Launcher程序，破解后在手机上就能运行。」通过破解，Rahman设法在Pixel6a手机上启动并运行了R1的应用程序。本周二，美国记者MishaalRahman曝光了知名生成式AI硬件RabbitR1的细节，立即引来了科技圈的关注。几个月前，Humane和Rabbit两家初创公司继续推出他们的人工智能设备——AiPin和RabbitR1。最初，一些人认为这些设备将开创可穿戴人工智能的新时代。然而，几个月过去了，对于这两款设备的争议逐渐增多。Rabbit
- 科技周边 · 人工智能 | 1年前 | 产业 337浏览 收藏
-
- 参数量不到10亿的OctopusV3，如何媲美GPT-4V和GPT-4？
- 多模态AI系统的特点在于能够处理和学习包括自然语言、视觉、音频等各种类型的数据，从而指导其行为决策。近期，将视觉数据纳入大型语言模型（如GPT-4V）的研究取得了重要进展，但如何有效地将图像信息转化为AI系统的可执行操作仍面临挑战。为了实现图像信息的转化，一种常见的方法是将图像数据转化为对应的文本描述，然后由AI系统根据描述进行操作。这可以通过在现有的图像数据集上进行监督学习，让AI系统自动学习图像到文本的映射关系。此外，还可以利用强化学习方法，通过与环境互动来学习如何根据图像信息进行决策。另一种方法是直
- 科技周边 · 人工智能 | 1年前 | 理论 385浏览 收藏
-
- 到2028年，多模式人工智能市场将达到50亿美元
- 人工智能的发展有很多应用，其中越来越受到关注的是多模式人工智能。由于其在数据分析、问题解决和机器学习方面的转变能力，多模式人工智能继续在垂直领域占据数据主导地位。多模式人工智能市场的增长必然会像滚雪球一样。多模式联运人工智能市场规模预计将从2023年的12.6亿美元增加到2028年的55亿美元，预测期内的复合年增长率为34.35%。让我们来谈谈促进多模式人工智能市场增长的关键因素。分析非结构化数据:非结构化信息的数量日益增加。信息不再像过去那样容易理解或线性。相反，其中以多种形式存在，如文本、图像、声音和
- 科技周边 · 人工智能 | 1年前 | 人工智能 生成式人工智能 464浏览 收藏
-
- 人工智能在太空探索和人居工程中的演变
- 20世纪50年代，人工智能（AI）诞生。当时研究人员发现机器可以执行类似人类的任务，例如思考。后来，在20世纪60年代，美国国防部资助了人工智能，并建立了实验室进行进一步开发。研究人员发现人工智能在许多领域都有用武之地，例如太空探索和极端环境中的生存。太空探索是对宇宙的研究，宇宙涵盖了地球以外的整个宇宙空间。太空被归类为极端环境，因为它的条件与地球不同。要在太空中生存，必须考虑许多因素，并采取预防措施。科学家和研究人员认为，探索太空并了解一切事物的现状有助于理解宇宙的运作方式，并为潜在的环境危机做好准备以
- 科技周边 · 人工智能 | 1年前 | 人工智能 机器学习 探索太空 231浏览 收藏
-
- 「清华系」视频生成公司生数科技宣布完成新一轮数亿元融资
- 近日，北京生数科技有限公司（以下简称“生数科技”）宣布完成新一轮数亿元融资，由启明创投领投，达泰资本、鸿福厚德、智谱AI、老股东BV百度风投和卓源亚洲继续跟投。本轮融资将主要用于多模态基础大模型的迭代研发、应用产品创新及市场拓展。本轮由华兴资本担任独家财务顾问。生数科技成立于2023年3月，是全球领先的多模态大模型公司，致力于图像、3D、视频等原生多模态大模型的研发。生数科技核心团队来自清华大学人工智能研究院，此外还包括来自北京大学和阿里巴巴、腾讯、字节跳动等科技公司的多位技术人才
- 科技周边 · 人工智能 | 1年前 | 入门 480浏览 收藏
-
- 到2028年，数字取证市场将达到160亿美元
- 由于数字世界的快速扩张，各种数字设备和技术的出现以意想不到的方式重新定义了我们的生活。然而，伴随着数字化转型，网络威胁、数据泄露和其他欺诈活动也随之增加。与此同时，数字化转型的快速发展促进了数字取证市场的出现，支持数字资产保护和网络犯罪调查。因此，在考虑数字取证市场分析时，有必要审视该行业的现状，并预测其未来。数字取证市场的现状主要取决于两个主要因素：技术和法律。技术方面，随着大数据、人工智能和区块链技术等的发展，数字取证技术已经变得更加高效和精确。这些技术的应用促进了对数字证据的出现，支持数字证据的保护
- 科技周边 · 人工智能 | 1年前 | 人工智能 数字取证 267浏览 收藏
-
- 「非常接近GPT-4」的WizardLM-2被微软紧急撤回，有什么内幕？
- 前段时间，微软搞了个乌龙：隆重地开源了WizardLM-2，又在不久后撤回得干干净净。目前可查询的WizardLM-2发布信息，这是一个“真正媲美GPT-4”的开源大模型，在复杂聊天、多语言、推理和代理方面的性能得到了提高。该系列包括三个模型：WizardLM-28x22B、WizardLM-270B和WizardLM-27B。其中：WizardLM-28x22B是最先进的模型，也是对高度复杂任务进行内部评估后得出的最佳开源LLM。WizardLM-270B具备顶级推理能力，是同等规模的首选；Wizard
- 科技周边 · 人工智能 | 1年前 | AI 模型 454浏览 收藏
-
- 为人工智能改变建筑行业做好准备
- 最新的自动驾驶技术已经取得了令人瞩目的进展，从汽车的自动驾驶系统到飞机的自动导航以及自动驾驶仪器，第一代人工智能无处不在。这些工具已经改变了我们的生活方式以及我们与世界和彼此互动的方式。还记得30年前的世界吗?那是一个没有互联网、没有电子邮件、没有社交媒体、没有无处不在的摄影、没有网约车，更不用说电车的世界。下一代人工智能，即通用人工智能(AGI)，将有能力理解广泛的任务，例如抽象思维。它将能够像人类一样进行判断和适应。这将彻底改变我们生活的世界，可能在未来20-30年内。AGI将在不久的将来得到发展;然
- 科技周边 · 人工智能 | 1年前 | 人工智能 414浏览 收藏
-
- 人大系多模态模型迈向AGI：首次实现自主更新，写真视频生成力压Sora
- 在4月27日召开的中关村论坛通用人工智能平行论坛上，人大系初创公司智子引擎隆重发布全新的多模态大模型Awaker1.0，向AGI迈出至关重要的一步。相对于智子引擎前代的ChatImg序列模型，Awaker1.0采用全新的MOE架构并具备自主更新能力，是业界首个实现“真正”自主更新的多模态大模型。在视觉生成方面，Awaker1.0采用完全自研的视频生成底座VDT，在写真视频生成上取得好于Sora的效果，打破大模型“最后一公里”落地难的困境。Awaker1.0是
- 科技周边 · 人工智能 | 1年前 | 产业 智子引擎 129浏览 收藏
查看更多
课程推荐
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案，代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景，打造一站式知识长龙服务，适合有JS基础的同学学习。
- 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例，全面具体可落地，从理论到实践，一步一步将GO核心编程技术、编程思想、底层实现融会贯通，使学习者贴近时代脉搏，做IT互联网时代的弄潮儿。
- 508次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信：Le-studyg；在课程中，我们将首先介绍MySQL8的新特性，包括性能优化、安全增强、新数据类型等，帮助学生快速熟悉MySQL8的最新功能。接着，我们将深入解析MySQL的网络通信机制，包括协议、连接管理、数据传输等，让
- 497次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网，分为导航，轮播，关于我们，成功案例，服务流程，团队介绍，数据部分，公司动态，底部信息等内容区块。网站整体采用CSSGrid布局，支持响应式，有流畅过渡和展现动画。
- 484次学习
-
- Golang深入理解GPM模型
- Golang深入理解GPM调度器模型及全场景分析，希望您看完这套视频有所收获；包括调度器的由来和分析、GMP模型简介、以及11个场景总结。
- 473次学习
查看更多
AI推荐
-
- 魔匠AI
- SEO摘要魔匠AI专注于高质量AI学术写作，已稳定运行6年。提供无限改稿、选题优化、大纲生成、多语言支持、真实参考文献、数据图表生成、查重降重等全流程服务，确保论文质量与隐私安全。适用于专科、本科、硕士学生及研究者，满足多语言学术需求。
- 11次使用
-
- PPTFake答辩PPT生成器
- PPTFake答辩PPT生成器，专为答辩准备设计，极致高效生成PPT与自述稿。智能解析内容，提供多样模板，数据可视化，贴心配套服务，灵活自主编辑，降低制作门槛，适用于各类答辩场景。
- 26次使用
-
- Lovart
- SEO摘要探索Lovart AI，这款专注于设计领域的AI智能体，通过多模态模型集成和智能任务拆解，实现全链路设计自动化。无论是品牌全案设计、广告与视频制作，还是文创内容创作，Lovart AI都能满足您的需求，提升设计效率，降低成本。
- 25次使用
-
- 美图AI抠图
- 美图AI抠图，依托CVPR 2024竞赛亚军技术，提供顶尖的图像处理解决方案。适用于证件照、商品、毛发等多场景，支持批量处理，3秒出图，零PS基础也能轻松操作，满足个人与商业需求。
- 35次使用
-
- PetGPT
- SEO摘要PetGPT 是一款基于 Python 和 PyQt 开发的智能桌面宠物程序，集成了 OpenAI 的 GPT 模型，提供上下文感知对话和主动聊天功能。用户可高度自定义宠物的外观和行为，支持插件热更新和二次开发。适用于需要陪伴和效率辅助的办公族、学生及 AI 技术爱好者。
- 36次使用
