作为为全球大部分智能手机和可穿戴设备提供动力的片上系统(SoC)的制造商，总部位于美国的高通无疑是芯片制造行业的巨头之一。例如，几乎所有主要的Android设备制造商都将Snapdragon系列SoC用于旗舰，中端和廉价智能手机。高通公司每年都会在公司年度技术峰会上大放异彩，以表彰其在CPU，GPU和AI领域的进步，因为它融合了ARM的新CPU微体系结构，并通过对其自定义GPU的年度改进来对其进行补充。但是，它在相机领域的进步并未引起人们的广泛关注，因为它们倾向于受到关注。
但是，这并不意味着高通在智能手机相机中的工作并不重要。相反，高通公司的Snapdragon SoC中的Spectra ISP通过增强的计算处理能力，8K视频录制，HDR10视频，支持高像素QCFA相机等功能，帮助使许多现代智能手机相机成为可能。高通公司宣布，Snapdragon 855中的Spectra 380 ISP是世界上第一个CV-ISP，并推广了世界上第一个4K HDR视频记录功能，现在它本身已经被第二代4K HDR10 +视频记录所补充。最新一代Snapdragon 865中的Spectra 480 ISP强大的功能–每秒可处理两个千兆像素，比其前代产品增加40%。这是一种知识产权(IP)，可以使高通公司与移动芯片供应商领域的竞争对手区分开来。
尽管高通在其新闻稿和产品主题演讲中解释了大多数标题功能，但到目前为止，消费者还没有机会了解使这些功能正常工作的大多数低级细节。
这就是为什么XDA Developers乐于接受与高通产品管理高级总监Judd Heape交谈的提议的原因。XDA的总编辑Mishaal Rahman和我在2020年6月接受了贾德的采访，以了解和了解高通如何通过智能手机摄影和视频录制来推动目标的实现。我们讨论了包括AI图像处理，多帧降噪(MFNR)，AV1，Dolby Vision视频录制，高像素摄像机中的像素合并等主题。让我们一一看一下贾德对每个主题的见解：
AI图像处理工作量
Mishaal Rahman：我将首先介绍Idrees拥有的一个，这是一个有趣的，并且我也很感兴趣。因此，我们想知道Qualcomm在Spectra ISP中使用的AI图像处理工作负载是什么?它们在何种程度上可以由设备制造商定制?
Judd Heape：是的，所以我们研究了很多AI工作负载，并且有一些AI可以在ISP本身中运行，例如我们的下一代3A：自动曝光，自动白平衡和自动对焦都是基于AI的。
但是，我们还将研究其他一些AI工作负载，它们将在其他计算元素之一中运行在ISP之外。因此，我们特别关注以下内容：在芯片的AI引擎(AIE)部分中，我们有一个基于AI的降噪内核，该内核从ISP外部运行。
此外，我们还有人脸检测之类的功能，它是一个完整的深度学习引擎，它也可以在AIE复杂系统中运行，但当然可以辅助摄像头。除了人脸检测和去噪之外，我们还需要其他工作。我们还在考虑做一些事情，例如使用AI自动调整快照，该操作会根据HDR内容自动设置每个场景的参数，我们将处理修改阴影，高光和颜色等操作。
我们的合作伙伴之一Morpho在今年的Embedded Vision Summit上刚刚获得了巨大的AI工作量奖。独立软件供应商合作伙伴也有很多非常强大的基于AI的算法，其范围从平滑的相机过渡(如Arcsoft所做的事情，我在上一次基于AI的Snapdragon Tech Summit上提到)到Morpho的算法不等。语义分割引擎。Morpho的解决方案是一个AI引擎，它可以了解场景的不同部分，例如您所知道的，织物，皮肤，天空，草木和建筑物以及诸如此类的东西，然后ISP可以获取该信息并以不同方式处理这些像素以获取纹理和例如噪音和颜色。
