端侧AI需求起跳 科技巨头烽火布局
AI大爆发之后，如何落地到端侧备受关注，苹果或将率先走出一步。
近日，有知情人士透露，苹果即将于6月10日发布的iOS 18所载首批AI功能将完全在设备上运行，这意味着苹果的首批AI大模型功能将不会用到云端处理。
在更远的未来，苹果可能会提供一些基于云端的AI功能，这些功能或由谷歌Gemini或其他供应商提供支持。
无独有偶，斯坦福大学研究人员近日也推出了Octopus v2，这是一款在手机、个人电脑等端侧都可跑的大模型，其拥有20亿个参数的高级开源语言模型，专门为Android API量身定制，性能不仅达到与GPT-4相当的水平，还显著提高了推理速度。
据悉，该模型一夜下载量超2000，这背后是端侧AI日益增长的需求。
大模型时代，用户个人隐私与数据安全成为更容易被攻破的“互联网脆弱地带”，端侧AI则可以弥合这种潜在风险。
端侧AI的发展速度也不逊色，芯片与算法等技术突破，应用场景的构造和深化，都在同步推进。
一方面，高通、联发科等厂商纷纷推出与移动设备AI适配的芯片，为端侧提供底层软硬件的技术支持；另一边，AI手机和AI PC成为端侧AI落地的两大阵地，华为、苹果等手机厂商已经竞相部署，联想、英特尔等也为AI PC的发展提速。
将端侧AI与云端AI结合的混合式AI也是大势所趋，端侧AI的“未来式”变为“进行时”，或可期待。
手机大模型横空出世
4月初，斯坦福研究人员公开了Octopus v2论文。
Octopus v2这款模型主要面向终端及边缘级设备，可以直接部署在用户的本地设备上。
论文中提到，Octopus v2代表了Nexa AI在函数调用的大型语言模型（LLM）应用方面的研究突破，主要体现在准确性和延迟这两个关键性能上。Octopus v2在准确性和延迟方面超越了GPT-4，并使上下文长度减少了95%。
这得益于Octopus-v2-2B引入了一个独特的函数token策略，它能够通过构建“标记—函数”的映射关系来增强模型的准确性，同时缩减了基于检索增强（RAG）模式中模型从函数描述中分析标记，再进行检索和处理的时间，大大减少了准确识别函数名所需标记的数量，简化流程从而提高推理速度，降低延迟。
这种方法在训练和推理阶段要优于RAG的方式，显著提高了模型的推理速度，比Llama7B+RAG方案提高了35倍，推理所花时间只有GPT-4的三分之一左右。这种低延迟的特性对于贴合边缘计算设备尤为有利。
Octopus-V2在低延迟的基础上同时保证了准确率，在函数调用准确率上超过99%，实现了与GPT-4和RAG+GPT-3.5相当的函数调用准确率，甚至更高。
Octopus v2与Android相适配，其生成实现高质量训练的数据集涉及两个关键阶段。第一，创建特定的API的可解查询数据集，并为它们生成适当的函数调用。第二，创建不可求解的查询，并由不相关的函数体补充。之后，使用合并两者、用于严格验证的二进制验证机制，这样可确保收集优化的训练数据集，有望显著改善模型功能。
Octopus v2的高准确率和低延迟满足了目前端侧AI应用的需求，无需大量的计算资源、无需长时间的响应等待。论文中也指出，Octopus v2在智能手机助手、智能家居、教育和医疗等方面具有广泛的应用潜力。
科技巨头烽火布局
端侧AI的技术进展为大模型的实际落地打好了基础。
各芯片厂商继续在卷技术的路上狂奔。以高通和联发科为代表的厂商将集成多种功能组件的SOC芯片作为竞争重点。
具有强大AI算力的SOC芯片载入手机，为端侧AI提供底层性能和技术支持。
据华金证券整理，手机SOC芯片中的AI分数前十被“天玑”和“骁龙”霸榜，芯片全部来自高通和联发科两家厂商。
2023年10月，高通正式发布首款专为移动设备生成式AI设计的芯片——骁龙8 Gen 3。该芯片沿用融合式的AI加速架构，将Hexagon DSP升级为Hexagon NPU，可运行百亿参数大模型。Hexgon NPU升级了全新的微架构，整体性能提升了98％。
同样是去年，联发科移动SOC芯片天玑9300发布，这是全球首款全大核架构智能手机芯片。
据悉，今年3月28日，联发科已在天玑9300等旗舰芯片上部署通义千问大模型，首次实现大模型在手机芯片端深度适配。
在此之上，端侧AI的应用场景也在迅速拓展。AI手机、AI PC领域的发展如火如荼，汽车、XR以及物联网等终端品类也迫不及待地载入AI赋能。科技龙头企业的布局之战已经打响。
其一是AI手机。浙商证券分析师认为，现在AI手机正处于产业爆发前夜，植入AI大模型让真正的“私人定制助理”成为可能。在手机里导入AI，主要在提升文本图像等内容创建、语音转文字等工作的便利和效率提升上发挥作用。同时，手机AI能够打破各APP之间的壁垒，比如荣耀MagicOS 8.0的“任意门”功能，使跨应用操作更加丝滑。另外，由于数据保存在端侧，用户的隐私得到更有效的保护。
基于上述应用场景，各方开始发力。技术端，适配于手机端的AI大模型层出不穷；产品端，各手机厂商也赶上潮流，纷纷将AI融入了自家的新品。
iPhone 15系列中，Pro和Pro Max搭载了苹果最新一代自研芯片A17 Pro，包含六核CPU和六核GPU，A17 Pro是整个手机行业中首款应用3纳米制程的芯片，核心性能得到提升。在2023财年第三财季财报发布会上，苹果CEO库克表示，未来几个月内，苹果公司用于生成式AI的研发支出将进一步增加。在今年MWC（世界移动通信大会）上，三星发布了多款搭载Galaxy AI的产品。
国内厂商也不甘其后。
去年8月，华为发布HarmonyOS 4，通过盘古大模型的底层能力加持，为用户带来智慧终端交互、高阶生产力效率、个性化服务的全新AI体验变革；小米自研13亿参数端侧大模型MiLM已经对内部正式开源；荣耀Magic6系列搭载高通骁龙8 Gen 3移动平台，支持荣耀自研70亿参数的端侧AI大模型；OPPO自主训练的Andes GPT以端云协同为基础架构设计思路，推出从10亿至千亿多种不同参数规模的模型规格；去年11月VIVO发布自研AI大模型蓝心，目前已能实现超过700种手机相关功能。
其二是AI PC。IDC中国区副总裁王吉平告诉21世纪经济报道记者，AI PC将成为AI终端核心场景。近年来，硬件端和软件端共同趋于成熟，相关产品不断推出、落地，AI PC的生态正逐步建立。
2023年，英特尔提出“AI PC加速计划”，宣布将为软件合作伙伴提供工程软件和资源，以在2025年前为超过1亿台PC实现人工智能特性。
联想早早提出了“AI for All”战略，重点展示了联想在端侧大模型方面的能力，以及联想的首款AI PC产品。在今年的MWC上，联想全景式AI产品组合亮相，最新一代商务AI PC发布，展示了AI终端未来方向。
IDC与联想联合发布的《AI PC产业（中国）白皮书》预测，AI PC在中国PC市场中新机的装配比例将在未来几年中迅速攀升，将于2027年达到85%，成为PC市场主流；同时，整体AI终端市场也将迎来爆发，2024年中国终端设备市场中将有超过半数的设备在硬件层面具备AI算力基础，至2027年，这一比例将增长至近80%的水平，并进入平稳提升阶段。
端侧AI突破优势
云端AI的使用必须要联网，数据的存储和处理都在云端进行，而端侧AI在终端设备上进行轻型AI模型运用。
基于此，浙商证券分析整理了端侧AI的主要优势，包括速度更快、响应更及时、私密数据等隐私安全更有保障。
相比于云端AI庞大数据训练所需要耗费的成本，端侧AI的成本也更低。此外，与云端相比，端侧AI能够以很低的能耗运行生成式AI模型。
具体来看，因为端侧AI不用将数据传到云端，这在很大程度上避免了数据和隐私泄露等安全隐患。对于个人而言，端侧AI的隐私保护性更强，对于企业等工作场景而言，这有助于公司机密的保护。
前述白皮书进一步指出了AI PC隐私安全保护措施，主要包括隔离隐私信息和公共请求，确保授权在前、上传在后，以及本地闭环推理、安全芯片配置等。
一位AI PC研发人士认为，虽然云端较端侧AI的算力更高，但当云端的需求过载时，会产生大量排队等待和高延迟，甚至出现拒绝服务的情况。而端侧AI的数据存储和处理都在本地运行，响应更及时。
“端侧AI在本地运行，会更稳定。”浙商证券分析师表示，根据测算，如果所有的推理案例都在云服务器上进行，准确率是79.31%；如果49.88%的推理案例在移动端进行，其余在云端进行，仍可达到79.31%的云级准确率，可见端侧AI具有高可靠性。
另外，端侧AI可以通过终端独立运行以及云—端协同承担计算负载，大大降低云端算力需求及能耗成本。端侧AI所具有的自然语言语音交互的天然优势，可以便捷地获取图片、照片、视频、位置等信息。
从云端AI转向端侧AI或结合端侧形成混合AI，未来AI发展的走向在现在已经初现端倪。荣耀CEO赵明曾在采访中指出，端侧大模型和云端网络大模型应该是协同的，不是互斥的。前者更有利于处理个人，尤其是涉及用户隐私的数据，后者的算力更高。
“未来端侧大模型能够帮我们更好地与网络大模型沟通，或者是说把端侧大模型做好了会提升网络大模型的使用效率。”赵明表示。
让生成式AI更便利、高效地服务于人类，便利性与安全性，是两驾并行的马车，以端侧AI为底色的混合式AI，或许能解决好两者的平衡。
