摘要：真实的离线智能，不仅执行说明，而且继续了解您。有一个li yuan编辑｜郑Xa关于过去两年中AI模型的故事几乎旋转了两个版本：未知的云和富有想象力的终点。有时，该行业的广泛意向蓝图是：不断增强轻质模型功能，AI逃脱了云障碍，并意识到从未偏离每个人设备的个人智能。但是，在匆忙而仓促之后，您面前是一个令人尴尬的事实：无论是最近流行的AI玩具还是高度观看的AI眼镜，基本的接触和智慧仍然与云息息相关。即使是具有更强计算能力的手机和PC也很少见，这确实实现了AI的离线功能。在技术演示中，终端模型看起来很强大。但是为什么终于同意它是stil的离线情报我没有与互联网分开？冲突的一方是对体验的最终愿望：直接响应无法继续，私人数据不想发送，并且网络的连接不会丢失。另一方面，有一个“物理天花板”，即最终限制设备可以避免计算功率，电力消耗和内存，例如无形的墙壁，严厉地阻止了最高绩效模型的实现。更深的矛盾在于业务重力。对于拥有最强模型的巨人来说，云是展示技术领导力和IAT收费站的基准。当所有的眼睛和资源都集中在云上时，越痛苦，越乏味，而回到业务的回归就越来越忽略了角落。那么，他们为真正专注于促进“离线情报”的少数民族做什么？在今年的世界人工智能会议（WAIC）上叫Rockai给出了自己的回答。他们沿着一条道路走，几个人走了，找到了打破僵局的钥匙。在“用独家智能制造每个设备”的使命中，该小组在基础技术中崩溃，甚至大胆地离开了变压器的基本架构，并消除了末端的硬骨，这被认为是“不可能的工作”。在早期，他们的模型可以使用Raspberry Pi彻底运行，从而有限的计算强度 - 使用该卡大小的卡片的计算机始终是完成终点的严格试金石，并且在几个单词后，大多数相似的型号经常被卡住。 WAIC今年推出的YAN 2.0的预览只有30亿个参数，可以实现多模式并在本地实现真实的“内存”：该模型可以更改，以调整权重，维护和更新用户偏好长时间。这种“不可能的工作”的结果不停止在实验室示范雄鹿上e。大规模制造订单是从国内和国外发送的，技术实力很快就会与商业价值交换。他们的故事可以回答一个主要问题：当云模型发展时，我们为什么仍然需要以及如何实现RealOffline智能？ Geek Park采访了Rockaisi的公司Zou Jia，与他们谈论了Rockai背后的商业故事。 01为什么我们没有个人AI永远不会离线？问：整个行业似乎都在为离线智能未来工作，像苹果这样的巨人将其视为他们的主要方法。但是，为什么“最后一英里”总是因消费者的技术演示而失败呢？ Zou Jiasi：每个人都在设备侧面谈论离线智能和AI，但是在目标和现实之间，有两个几乎不可衡量的山脉：一个是计算机的力量，一个是电力消耗。如果大型型号想要在设备上运行，则需要对Computi进行高度调整NG功率。 SA Tabiupayan，该行业的许多AI公司也具有具有较小参数的模型，但仍然需要具有较高计算能力的芯片才能运行。例如，我们的一位客户想在其手机上配置离线大型型号，但是当时该行业中其他大型模型制造商建议的解决方案几乎没有使用16G上方的最新旗舰和高通存储器。但事实是，大多数智能设备可能没有这样的计算功率芯片。这是最糟糕的计算强度差距：无论您的AI技术有多高级，如果它只能满足某些高端设备应用程序，通用AI都会失去含义。另一个山是电力消耗。此问题在手机上完全可见。实际上，只要手机制造商试图部署大型型号，该设备将具有严重的热量，这几乎是基于传统变压器AR的所有常见问题奇特模型。几乎所有主要的手机制造商都向我们讨论了这一点。他们都想在下一代AI手机中取得突破，但由于这种电力的消费墙而阻止了它们。为什么不能进行最后公里？事实是，硬件更新的速度客观上很慢。许多年前出售了许多设备。当今的芯片，存储，麦克风和摄像头今天还没有准备好大型模型。如果将变压器部署到中端和低端兼容功率，则无法运行，或者几乎不会以较差的结果运行。尽管开花制造商正在推出新一代的高端芯片，但通常需要6-12个月的时间将其部署到新产品线上。通常需要额外的1 - 2年才能真正出售，大尺寸传输并广泛普及。这种节奏是一个有目的的物理现实，无法跳过。问：您现在提到，如果我T是计算或电力消耗的力量，许多问题的根源指向主要变压器的当前体系结构。变压器已经证明了AI在云中最强的建筑。为什么在末尾将其移至设备时不适合本地环境？ Zou Jiasi：这个问题询问了设备侧面等级的基本挑战。变压器之所以强，是因为它取决于关注的革命机制。但是问题在这里。传统的AI模型就像装配线中的工人。他单独处理信息，他的记忆是有限的。处理后，他忘记了前面。我们的变压器就像一名带有超级大国的总司令。他没有按顺序进行处理，而是将信息安排在正方形矩阵中，然后要求方形矩阵中的每个单词与所有其他单词一次握手以计算它们之间的关系。 “全球握手的这种能力”AKE“提供了非凡的变压器理解。但是，在云中，您具有支持这种类型的计算的无限计算能力。但是，手机chips（CPU/NPU）的设计与今天提到的“管道”相似。在高速速度和跟进中执行任务非常好。立即激动。我们从一开始就注意到这个问题。更适合运行“管道”。曼巴在国外的建筑同时也看到了类似的方向。我们没有安排不适合驾驶路线的F1汽车，而是重新设计了可以在路线上快速运行的越野车。问：这非常复杂。只需遇到智能硬件，就需要重新设计架构。离线真的需要情报吗？ Zou Jiasi：这个问题非常有趣。我们认为这是必要的，并且我们看到市场上的需求强劲。它的需求可以在许多多云的价值中看到：首先，完全隐私和安全性。这是像苹果这样的公司投资后者的主要目的。最敏感的数据，例如您的专辑，健康信息和聊天历史记录，不应离开您的设备。这是一个原则问题。 Panguard，实时的最终接触。许多情况需要毫秒延迟。例如，如果要部署具有架构的无人机，用户大喊当我跳跃时的e镜头”，模型应该立即做出响应。在这种情况下，任何网络变化都可能是致命的，您不能依靠云。例如，未来的机器人需要根据其独特的手臂长度和传感器参数采取准确的措施。这种实时控制，这是高度依赖硬件的，这是当地的“大脑”，费用的费用是掉落的。一个例子，无论是多么便宜的云，数十亿美元还是数十亿美元，这也是一个天文智能，随后的使用量与当地的一项命中率一样，它几乎都会增加，但随后的使用量几乎可以增加，这是一个智能的货物，这是一个较低的智能。和个人对你的理解。尽管没有必要解决所有最复杂的问题，但它应该处理一天的80％（到一天任务）的应用程序，设定的提醒，简单的翻译，会议记录以及更多 - 并使之快，安全。对于大多数用户，不需要复杂的任务来处理每时每刻。云模型可能满足用户的更高需求，但是ANG模型设备可以更快，更安全和更便宜。 02模型应该意识到可以实现离线智能的什么？问：我刚刚提到，为了实现离线情报，您选择了最艰难的道路 - 重新设计了“偏离路线”。那么，这款新车的“引擎”是什么，即您的新建筑的主要机制？ Zou Jiasi：我们的主要变化是放弃需要“全局握手”的能源注意机制，需要“全球握手”，然后将较轻的“特征支持激活激活”结合在一起，然后将其与AC结合在一起分区的趋势以减少每个实际手术的参数数量甚至更少。计算强度需求在原始的五分之一中降至希吉特，而电力的消耗下降到十分之遥。如前所述，在通常的变压器体系结构中，无论工作多大，所有参数都必须活跃才能获得高度聪明的答案。但是人的大脑并没有真正运作。人脑实际上有800-900亿个神经元。我们可以将其理解为具有800-90亿参数的模型。如果人脑被充分激活，其功耗可以达到3,000瓦甚至4,000瓦，但是人脑的实际电消耗量小于30瓦。人脑是如何做到的？它通过分区激活。我们的模型正在借用此过程。除了减少电力消耗外，新的体系结构还可以在I3B模型中实现多模式。使用一个不太紧密的隐喻，当您看到一个鸟，听听它的哭声，同时阅读“鸟”一词，您的大脑不会点亮。它激活各种分区中的特定小规模神经元，例如视觉区域，听力区域和语言区域。这些是彼此独立且重叠的分区，可以帮助我们完善形式，声音和词汇良好。由于其全局计算属性，很难有效地处理和对齐模式信息，因此很难有效地处理和对齐模态信息。我们激活大脑本身的机制更接近大脑分区处理模式。不同的模态输入可以自然激活不同的分区，NA使对齐变得更加容易，更准确。因此，在3B量表上，我们仍然可以在理解文本，语音和视觉上保持强大的关节能力。问：“激活”的想法确实很明智。但是，人脑只能激活一个小的原因部分是因为它本身是一千个巨型模型，具有1亿个参数，其基础很强。我们当前的端侧模型只有几十亿个参数，它是“蜗牛壳中的Dojo”。我们可以期望一个小型模型通过激活较小的零件来实现更好的智能吗？ Zou Jiasi：您的问题是仅保留大型模型开发的当前范式的核心 - 我们称之为压缩智能的困境。当前的预染色大型模型是有效的智能压缩过程 - 就像大海绵一样。它的培训过程是在此容器中压缩大量的互联网数据（水）数据，该集装箱由可公路亿万美元的参数组成。参数越大，海绵越大，可以吸收和存储的知识就越多。在处理多模式时，此范式存在一些问题。任何有压缩文件的人都应该知道，1G文本被包装和压缩后，它比文件小视频和图像。诸如视频图像之类的文件很大，压缩率很低，这就是为什么很难为小型变压器模型的市场参数添加多模式功能。因此，如果游戏的规则仅是关于谁拥有更大的海绵并且记住了更厚的书，那么带有小参数的模型确实没有未来。但是我们认为，真正的智力不应该只是压缩，而是成长和学习。这是我们路线的主要区别：我们不会在同一条路径上变黑，而是将智力 +独立研究压缩为相似。我们刚才提到的分区的激活不仅节能，而且是增长的可能性。我们当前的模型只有30亿个参数。但是，例如，通过神经网络的精细动态分区，它分为100个区域，因此一次只需要激活3000万个参数。这意味着将来，我们可以使总计端侧模型参数在M内存式手机允许的范围内覆盖了巨大的，例如100亿或更多，但仅通过激活很小的部分来维持相同的低电力消耗。它翻转了游戏规则。我们不再了解大型模型是如何较小的，而是学习如何将模型从小到大的模型发展。因此，当其他人偶然采用压缩路径时，我们通过MCSD结构，分区的激活和内存维护维护，廉价，廉价的研究单位找到了终端模型的第二个增长路径。我们不仅建立了一个可以在设备侧面运行的模型，而且还建立了一个全新的大脑基础，该基础可以在端侧AI的未来中继续增长。问：您提到了独立研究一词。您如何理解独立研究该模型？这与当今个性化云模型有所不同吗？ Zou Jiasi：独立研究是最令人兴奋的突破之一目前，我们想在这个偏僻的地方展示。当前暴露于我们的基于云的大型模型应该是更新其智能的岳母。由于研究模型的真实过程 - 理解用户的反馈，并且反映了您自己的神经网络的变化，因此远期传播的过程（识别/预测）和反向传播（研究/校正）。反向传播本身是消耗能量的特定过程。在云中，一个具有十亿反向传播的模型需要使用一个由数千个GPU组成的大型训练集群。因此，所有基于Transformer的体系结构的模型，曾经在手机上部署，只要记忆即可阅读 - 它只能促进前进并失去学习和更新的可能性。暴露于我们的所谓个性化只是一种模型，可以通过对话来记住您的某些偏好并生成插入式知识库。这不是研究您的偏好的开始。因此，有时即使您和该模型多次强调您的偏好，该模型仍将具有您想要的输出。我们的变化已经达到了最基本的物理限制，这似乎是不可能的：在最终设备上首次成为可能的反向传播学习过程。得益于激活分区的性质，当模型需要学习新知识时，例如记住您的“不加糖喝咖啡”的kimpreced -no不需要以数十亿美元的参数来撼动整个神经网络。我们的体系结构可以：锁定与此新知识直接相关的活跃的，非常小的神经元分区。在这个孤立的迷你战场中，进行了低功率的反向传播，并且本分区中只有很少的重量参数被更新。将这些新知识直接在本体模型的神经网络上写下。个性化记忆和独立的门研究开放。如今，我们的模型可以在学习（培训）时使用（识别），并直接在本体模型上直接编写新的研究，例如您的新习惯和偏好。这使该模型具有真正的自主进化能力。 03离线情报何时会使用Laruan Ng AI？问：我们只是谈论了许多技术上的不可能和可能性。今天，我们返回市场，尽管大多数声音仍在追逐基于云的模型，但您的技术在短时间内找到了真正的商业订单。这使我们非常好奇。从您的角度来看，当前市场中哪种类型的参与者对离线情报的痴迷最为强烈？他们背后的业务驱动力是什么？ Zou Jiasi：目前，我们已经联系了许多领域的客户，并在每个领域的离线智能上与景点联系在一起，客户具有深厚的业务逻辑。 PC，平板电脑和机器人是我们最核心和大规模生产的战场。我们更加关注中等和低计算强度的更广泛的市场。以我们与NFIRSST制造商在海外的合作为例。他们的主要需求不仅是为旗舰型号创建AI功能，而且还可以在销售或出售的数亿和低设备上生存。为什么硬件制造商关心这些旧设备？背后有两个生命：第一个是出售给用户的设备。通过OTA（航空升级）方法，对于这种旧设置，我们准备推动AI模型创建已安装的新软件和收入增加的收入。更重要的是，它极大地提高了品牌价值 - “我几年前购买的计算机现在可以升级到AI PC！”即使您花钱，也无法购买这种声誉。第二篇文章是针对仍发送的模型。没有品牌可以居住在高端AI PC上，价值数千人民币。真正的销售和收入来自广泛的中低市场。但是，由于限制芯片计算能力的离子，这些设备可能无法运行主要的变压器模型，但制造商不同意观察其与AI隔绝的产品。而且我们的技术是填补这一巨大空间的明确解决方案。我们的模型可以在基于股票的非货币上正确运行，使制造商可以在下个月向用户出售AI PC，而不是等待三年。除了PC和平板电脑外，我们还专注于机器人和手机。与无人机公司也有一些合作。问：那些诸如AI眼镜和AI玩具之类的那些田野呢？ Zou Jiasi：这两个类别是几乎每个媒体和投资者在看到我们时都应询问的问题。它们代表了设备侧AI的最受欢迎的想象力，但也暴露了最涂漆的现实。它们的根部问题实际上是相同的：为了最终控制和轻巧，这些设备上的芯片并非从设计开始时操作AI。以AI眼镜为例，MaiN现在的n解决方案现在使用高通公司的任何特定筹码或汉格克斯等制造商的筹码。这些芯片是重要的沟通芯片。他们的任务是建立蓝牙连接，信息屏幕投影，简单的翻译等，并且它们的计算强度严格受到限制。结果是，如果需要在大多数眼镜中运行所需的模型，则无法运行，并且计算和内存的强度完全不平衡。即使我们无法运行，也让变形金刚的模型通常会花费数十亿美元的参数，这是更多的幻想。 AI玩具也面临着完全相同的困境。市场对体验具有很高的幻想，但是硬件的物理现实非常残酷。面对这一僵局，我们已经看到了两条清晰的道路，我们也向前迈进：第一个途径是“在曲线中拯救国家”，这也是迄今为止最务实的计划。因为计算玻璃本身的强度还不够，然后借用手机计算的强度。我们是与一些首席制造商有关此计划的深入谈判。另一种方法是“切断锅下的火穆拉”，这更激进，专注于未来。我们和像Inmo这样的一些勇敢的合作伙伴正在尝试一个勇敢的想法：将更强的大脑芯片直接转换为下一代玻璃。当然，它带来了巨大的电力消费和行业设计挑战。智能。g真正的爆炸需要等待完美的技术和硬件共鸣。问：当今中国的AI硬件轨道非常受欢迎，但它主要使用云AI。但是我注意到您的客户实际上是在海外出售的。关于离线情报，国内外市场温度是否不一样？ Zou Jiasi：您注意到的“温度差”是我们当前战略布局的核心。在海外市场出售的智能硬件确实为我们提供了更广泛的蓝色海洋。这种“热”需求主要来自三个S中国的“疾病点”：首先，这是文化上植根的“隐私隐私”。在欧美市场中，用户关注个人数据隐私，该隐私在法律中已经解决，并深深植根于人们的心中。目前，一家顶级IP玩具公司的合作也对我们进行了讨论。他们对我们的解决方案感兴趣的基本要求之一是他们不希望用户进入云。他们的IP内容和用户数据是属性的最高级别，应在设备侧面处理。其次，这是目标“网络差距”。我们很容易被中国一线城市的5G宏伟网络“蒙蔽”，这些网络认为该网络可以做到一切。但是，环顾世界各地，对于我们的海外伙伴，他们的用户可能处于非洲或东南亚群岛的旷野。这些领域的网络环境使AI经验依赖于不可靠的云。离线m他们的“稻草稻草”是在薄弱而不安的环境中已经稳定的Odel。第三，这是较高的人工成本创造的“需求效率”。在其他国家，在许多情况下，用机器代替人类力量的意愿更强。当他们需要可靠的互联网7x24小时接待员或多语言指南时，离线情报业务将比国内市场更直接和紧急。因此，我们的方法非常清楚，我们称之为“借船去海”。通过赋予如此出色的海外公司的能力，我们将技术带给了世界各地的C-End用户，对离线情报的需求最为真实，最强烈。问：您的分享描述了一个令人兴奋的前景，但它无法避免一个鲜明的事实：一方面，终端模型是智能硬件的各个制造商的重点，而外国手机投资于自我开发，试图将AI Liftlood掌握在自己的手中；在Oth上摩尔的硬件法也正在迅速前进。两三年后，当手机芯片足够强大以轻松运行更大的模型时，今天仍然有“小而美丽的”？面对这样的未来，Rockai最深的护城河是什么？ Zou Jiasi：您的问题很尖锐，它只是教导我们每天都认为 - 两个主要挑战。首先，关于硬件变得更强大。我们认为这是一种对我们有益的趋势。首先，任何高端硬件的受欢迎程度至少需要窗口窗口的两年至三年。在此窗口中，我们是解决大量库存和中档设备的AI问题的最佳解决方案。其次，当硬件基础变得更强大时，它不仅可以容纳较大的变压器，还可以容纳我们从童年到年龄增长的YAN建筑模型。我们还可以制作10B甚至更大的模型，而我们独立研究和低功耗功能的独特好处仍然t。可以处理我们公司灵魂的另一个问题回答了我们真正的护城河。我们团队的盖斯实际上来自2015年始于2015年的未完成的梦想。当时，我们的许多创始人都想制造真正的聪明硬件。该表格类似于小AI的同学，但由于出色的AI技术，Timethis失败了。直到我们看到了变压器的潜力，并感到时机是正确的，我们在一起再次开展业务。后来，我们发现“云中的动物”塞在一个小型设备上，这是无法处理工程的。当时，我们面前有两条途径：一个将遵循行业的主流，补丁变压器并进行不同的优化。对于投资者而言，这条道路更容易理解。其他人则要走一条更艰难和悲伤的道路，承认这条路已被封锁，并从一开始就开始生产出最终出生的新建筑。我们选择了后者。支持我们的不是我们有多少钱，我们拥有多少张卡片或吸引人的bteam ackground。我们的内心摘要可能是一个非常“形而上学的”词：持久性。我们坚信，模型应运行到结束，并且设备必须具有自己的智能。这绝对是因为我们愿意坐在板凳上超过两年的吸引力。当其他人追逐云层时，我们就像一个实验性的炼金术士，在实验室中重复尝试并经过证明，并最终完善了该建筑模型的药丸。因此，我们的护城河不是一两个技术要点，因为有很多聪明的人和团队。我们的护城河是我们所经历的坑，因为我们的毅力，积累的理解以及从第一天结束时就独一无二而出生于智力的现代化。 *头部图像来源：AI从Geek Park开发了本文作为原始餐厅。请联系Geek Park Wechat Geekparkgo
