54GB降到4GB，苹果接洽PrismML，模型压缩技术要火？ - 世界杯官网

据CNBC报道，苹果公司正与初创企业PrismML进行洽谈，该公司因其先进的模型压缩技术而受到关注。苹果此举旨在评估在iPhone上直接运行更大型人工智能模型的可行性。

目前，手机发布会上的AI环节往往涉及屏幕内容总结、图像编辑以及语音助手等功能。然而，主流大型模型因体积过大而无法直接在手机上运行，裁剪后的端侧模型在能力上又有所不足，导致许多AI能力的宣传局限于云端更新。

模型压缩技术：将54GB模型缩减至4GB，是否会普及？

PrismML是一家专注于模型压缩的初创公司，源自加州理工学院的研究团队，并获得Khosla Ventures、Cerberus和Google的支持。其核心研究方向是如何在不显著牺牲模型性能的前提下，大幅减小模型体积和运行成本。

PrismML的技术思路与BitNet等低比特模型类似，通过简化模型内部信息存储方式来减小体积。具体而言，它将模型中的权重限制为二值或三值表示，从而显著降低模型运行所需的存储空间和内存。

传统的AI模型参数通常需要16位或32位来存储。例如，一个拥有270亿参数的模型，若采用FP16精度，其大小约为54GB（270亿参数 × 2字节/参数），这使得像Qwen3.6-27B这样的模型难以在消费级设备上完整运行。

PrismML的方法则将模型参数简化为1位，即{-1, +1}。这类似于将照片的灰度级从16级简化为黑白两色。尽管这种简化会造成信息损失，但能够将模型体积压缩至原版的约1/14，并通过训练恢复推理性能。

基于此技术，PrismML发布了Bonsai-27B模型，该模型微调自Qwen3.6-27B。在保留完整上下文能力的同时，模型体积从约54GB缩减至不到4GB，使其能够原生运行在拥有12GB内存的iPhone上。相较之下，谷歌的Gemma 4 E4B模型约为3.65GB，PrismML在相似的“占地面积”内实现了对一个标称270亿参数密集模型的压缩。

苹果公司此前推出的端侧模型参数量约为30亿，并采用了2位量化和缓存共享等技术，但其功能仅限于实时翻译、相册搜索和邮件摘要等，缺乏Agent执行能力。而Bonsai-27B模型则保留了Qwen3.6-27B的部分Agent功能。

尽管如此，性能损失仍然存在。PrismML的测试显示，三值版本的模型综合性能约为全精度模型的95%，1位版本约为90%。在工具调用等Agent的关键任务上，性能损失更为明显。社区反馈也指出，PrismML的三值版本在幻觉和Agent循环方面仍存在问题，但其体积优势显著，以5.9GB的体积实现了接近17.9GB模型的效果。

AI手机市场蓄势待发，端侧AI能力亟待提升

值得注意的是，包括苹果智能、华为小艺、OPPO、小米、vivo在内的七家公司提供的手机端侧生成式人工智能模型服务，已于7月15日在网信部门完成备案。这表明手机厂商正积极布局端侧AI。

将通知摘要、通话整理、相册搜索、图片识别等任务在本地完成，无需依赖云端，尤其对于涉及聊天记录、照片和文件等私人信息，在手机本地处理更为安全和便捷，这可以理解为用户对隐私保护的担忧。

然而，目前的手机AI功能仍以云端为主，断网后大部分功能将失效。

Gemma 4 E4B是目前手机端侧模型中表现较好的一个，能够处理文本、图像和音频，并且在下载后支持离线使用。其“Ask Image”功能实现了多模态输入，对常见事物（如食物、硬件、花卉）具有不错的识别能力，尽管对动漫角色的识别尚不完善。

“Ask Audio”功能则表现逊色，上传的30秒音频转写和总结的准确性不高，实用性有限。

在文本处理方面，Gemma 3n E4B和Gemma 4 E4B能够完成文章总结任务，但Gemma 3n E4B耗时较长且抓不住重点，而Gemma 4 E4B的总结更简洁，抓住了主要信息点，适合快速浏览资料。Gemma 4 E4B甚至能够解决一些逻辑题，但思考时间较长。

Gemma 4 E4B已证明了手机本地模型具备处理一定任务的能力。然而，在处理复杂任务、长文本、细节判断、内容创作以及Agent调用等方面，它与在线大模型仍存在明显差距。作为目前最强的手机端侧AI，Gemma 4的局限性表明，要进一步提升手机AI的能力，可能需要采用新的压缩方式，在有限空间内集成参数量更大的模型。

效率而非参数规模，是模型应用的关键

过去，大模型的发展往往侧重于参数数量的堆叠。然而，实际运行中的显存占用和内存带宽是关键挑战。根据Chinchilla scaling law的研究，在同等训练算力下，数据更充分的70B模型可能优于欠训练的更大模型。

庞大的模型参数量也使得它们无法进入消费级终端。端侧模型要实现常驻手机，必须提高效率，解决内存、功耗和散热等问题。PrismML的压缩技术为硬件厂商提供了一条可行路径。结合千问、百度与苹果的合作，这使得苹果此前提出的“苹果智能”概念更接近于落地。

未来大模型的进步，可能不再仅仅依赖于参数数量的增长。在有限存储空间内稳定运行、减少错误、降低发热，并在关键时刻提供有效帮助，将是端侧AI下一阶段竞争的焦点。