[2022 年技术日活动] 超级智能：AI 和未来体验

我们的移动设备在处理海量数据的方式趋于高效以及智能化。人工智能 (AI) 解决方案技术的发展不断改进增强手持设备的数据处理能力，同时也改进了人机交互的方式。三星研发团队正着力于人工智能解决方案的开发，以并将其集成到Exynos 处理器上。在三星的2022年技术日活动中，他们分享了各种 System LSI 相关的创新技术，三星还透露了为Exynos处理器设计的AI方案最新的研发进度。 NPU 的重要性 在会议开幕式上，应用处理器开发团队的高级副总裁Park概述了神经处理单元 (NPU) 的发展情况。随着移动设备通过视频、音频、和定位服务接收并生成了海量的个体相关数据，这就需要集成更多的传感器来提高收集数据的效率。而且，只有设备具有智能提取并分析的能力，所收集到的数据才具有使用价值. “设备上的 AI 加速器，也称为 NPU，是指能够在保护数据隐私的前提下,支持设备实现智能化实时运算的主要IP，”Park 解释道，“凭借当前 NPU 的算力和效率，我们已经看到在移动设备上支持数十个AI程序的运行状态得以实现。” NPU在Exynos 处理器上的演变 2019 年，三星发布了 Exynos 中的第一个 NPU 设计方案，它提高了 CPU 和 GPU 的低效计算方式。由此开始，每一次迭代三星都致力于提高每芯片单位面积下的算力。每一次都在尽量少消耗电能的条件下提供尽可能高的算力。

2022 年初推出的最新一代产品，提供了三个新的主要功能：

• 分散处理、集中收集方式，提升 ALU（算术逻辑单元） 单元的数据输入效率
• 极低功耗模式允许 NPU在不依赖 DRAM 的情况下运行，以支持常开的场景。
• 除了现有的 INT8 和 INT4 支持外，多精度ALU可支持多种数据结构: INT8, INT4, FP16(半精度浮点格式)，可实现更高效、更灵活的数据处理。

推进 NPU 技术 “我们认为 NPU 技术的发展有三个不同的方向。第一是在 IP 层面上提高效率，”Park 解释道。 “一种方法是确保为大量 ALU 提供充足的数据并得到充分利用。还有提高ALU单元的密度并提升给它填充数据的能力。优化计算精度和改良未使用单元的电源管理方式也有帮助。” 由于移动设备的功率限制，为了省电IP将会在制程支持的最低电压下运行。这将很难通过改善效率提升性能，这也是为什么需要寻找其他方法来改进 NPU 技术的原因。 “第二个方向是整个电源系统效率的提高。 NPU 效率提升后，系统中其他组件的能效也需要相应提升。这些组件有 CPU、ISP（图像信号处理器）、NoC（片上网络）、DRAM 和电源管理 IC，”Park 说。 “其他 IP 消耗的功率通常与推运算速率成正比，如果这些 IP 的速度提升率与 NPU不一样，那么NPU 的预算力限度将随着时间的推移而愈发不足。系统层级上的改进包括最大限度地减少跨 IP 的数据传输、将CPU 任务卸载到更高效的内核等方法。”

第三个方向是为不同用途分别提供对应的NPU。在NPU 架构层次上进行计算方式优化。一个极端措施是，为每个类型的应用程序配备一个单独的 NPU，将其嵌入到每个特定的应用IP 中。例如，每个 IP（如 ISP、GPU、MFC（多格式视频编解码器）和音频）都有一个单独的 NPU。以面积换效率。三星认为多die集成的方式是解决这个超高成本方案的方向。 “以后，我们需要极高的电源能效来处理传感器收集到的海量数据。只有具备了这个计算能力的条件下，类似AR这样的应用才能全面落地。与移动设备相比，它拥有更多的传感器来收集更多的数据，而且由于电池尺寸有限，它需要更高的电源效率，”Park 称。 “然而，这是一个将提供更多个性化体验的地方。我们相信三星的 NPU 解决方案可提供所需的AI算力，使 Exynos 处理器成为你个人生活的中心。” 多媒体技术 多媒体开发团队副总裁 Ki-Joon Hong在会议上重点介绍了智能化的多媒体技术及其发展方向。三星正在开发 SoC（片上系统）用于未来的多媒体系统或机器，这些机器将具有人脑水平的智能化功能。这些设备将使用摄像头、麦克风和扬声器来创建一个感官系统，模仿人类大脑的视觉和听觉活动。通过多媒体内核生成的 3D 图像和音频创建一个逼真的虚拟世界。类似的场景有 AR、VR、自动驾驶和机器人等应用。 开发视觉处理能力 “为了开发模仿人类视觉大脑活动的视觉处理，我们需要使用计算摄影和高质量成像系统。智能多帧处理和基于深度学习的运动预测用于重建高质量的图像和视频，”Hong 解释道，“集成深度学习技术的相机系统将能够模拟人脑存储一生记忆的能力。”

三星开发了内容感知 ISP 解决方案，可以识别物体和相关细节。通过自适应像素处理，不同区域被识别和分割开来。这可以用于更复杂的场景，例如高分辨率视频录制。此外，物体检测解决方案已经成熟并广泛应用。NPU 和 GPU 的算力提升使计算机视觉和深度学习在移动处理器中得到巨大的进展。 “人脑不断地感知物体和手势，触发适当的反应动作。在许多方面，人类和计算机外界的交互方式相似。将感知算法植入自动驾驶的机器人视觉系统可能是弥合这种联系的最后一步，” Hong 说， “在扩展现实、机器人系统和未来智能汽车技术方面，我们相信人工智能视觉系统将成为未来所有多媒体技术创新的核心。” 创建 AI 音频解决方案 Hong还介绍了三星基于人工智能的音频技术，该技术可以让机器像人一样听和说。 “音频是最简单的交流方式，因为我们通过语音发送信息，通过聆听接收信息，”Hong 分享道。 “基于机器学习的语音增强算法和语音识别技术有助于使电话通话更加清晰自然。这也让我们能够与类人类语言的机器进行交流。” 声音的传播方式正在从像电影那样针对多个观众目标转变为面向个人或特定用户群体的更私密的体验。 “用于无线耳机等应用的专用 SoC 可提供更丰富的声音体验和功能，例如主动降噪功能，让用户可以创建自己的个人声学空间和体验，”Hong 说。 “我们相信下一步将是通过移动设备创造真实的声学环境。” 将 SoC 与 AI 解决方案相结合 为了将这些技术变为现实，当前面临的挑战是弄清楚如何将它们集成到一个设备中。三星拥有强大的计算单元，可以提供足够的能力来处理海量数据的复杂算法，其 SoC 可以以极低延迟和极低功耗来处理传感器上传的数据。将这些技术与人工智能解决方案相结合，将为 Exynos 处理器的用户创造耳目一新的多媒体沉浸体验。