我们与Sony联络，以尝试进一步了解即将推出的Google Pixel和 Pixel XL手机以及 Xiaomi Mi 5S使用的IMX378传感器 。不幸的是，索尼暂时还无法分发Exmor RS IMX378传感器的数据表，但它们非常有帮助，并且能够向我们提供一些有关IMX378的以前未发布的信息。
首先，这个名字本身是错误的。尽管有传言称该产品将成为Nexus 5X和 Nexus 6P之前使用的IMX377等背面照明(BSI)CMOS传感器的Exmor R系列的 一部分，但 我们在索尼的联系方式告知我们，IMX378将改为被认为是索尼的 Exmor RS系列堆叠式BSI CMOS传感器的一部分。
从IMX377到IMX378，包括像素尺寸(1.55μm)和传感器尺寸(7.81 mm)在内，许多方面都保持不变，但还添加了一些关键功能。即，它现在是堆叠的BSI CMOS设计，具有PDAF，添加了Sony的SME-HDR技术，并且对高帧率(慢动作)视频有更好的支持。
堆叠式BSI CMOS
背面照明本身就是一项非常有用的功能，从2010年的HTC Evo 4G开始，在过去的几年中，它已成为旗舰智能手机中几乎标准的功能 。它可以使相机捕获更多的光线(以增加噪音为代价)。移动传统上位于光电二极管前面，位于后面的前照光传感器上的某些结构。
背面照明CMOS传感器设计
出乎意料的是，与大多数相机技术不同，背面照明最初是在DSLR之前出现在手机中的，这在很大程度上要归功于创建大型BSI传感器的困难。第一个BSI APS-C传感器是2014年在其NX1相机中发现的Samsung S5KVB2，第一个全画幅传感器是从去年起在Sonyα7RII中发现的Sony Exmor R IMX251。
堆叠式BSI CMOS技术通过将更多的电路从顶层移到光电二极管后方的支撑衬底上，进一步迈出了这一步。这不仅使Sony可以大幅减少图像传感器的尺寸(允许在相同的占位面积上使用更大的传感器)，而且还可以使Sony分别打印像素和电路(即使在不同的制造工艺上)，从而降低了出现缺陷的风险，提高产量，并在光电二极管和支持电路之间实现更多专业化。
索尼Exmor R vs Exmor RS BSI vs堆叠式BSI CMOS图像传感器
帕夫
相位检测自动对焦PDAF的cmglee示例IMX378增加了相位检测自动对焦功能，去年的Nexus手机和IMX377不支持。它使相机可以有效地利用传感器上不同点之间的光强度差异来确定相机要聚焦的对象是在焦点的前面还是后面，并相应地调整传感器。与过去在许多相机上看到的传统的基于对比度的自动对焦相比，这在速度和准确性方面都取得了巨大的进步。结果，我们已经看到使用PDAF的手机绝对爆炸式增长，它已成为一个巨大的营销流行语，被作为整个行业相机营销的核心。
虽然对焦不如三星Galaxy S7的双光电二极管PDAF (也称为“双像素PDAF”和“双像素自动对焦”)快 ，但它允许每个像素通过包含两个光电二极管用于相位检测。对于每个像素，PDAF和激光自动对焦的合并仍然应该是有效的组合。
高帧率
最近有很多关于高帧率相机(用于消费类应用和专业电影制作)的讨论。能够以更高的帧频拍摄不仅可以用于以正常速度创建令人难以置信的流畅视频(这对于体育和其他高速场景而言非常理想)，还可以在放慢一切时创建一些非常 有趣的视频。
慢动作菠萝落入水不幸的是，以更高的帧频拍摄视频非常困难，即使您的相机传感器可以以更高的帧频拍摄，手机的图像信号处理器也很难跟上。因此，虽然Nexus 5X和6P中使用的IMX377可以拍摄300 Hz的720p视频和120 Hz的1080p视频，但我们只能看到Nexus 5X的120 Hz 720p和6P的240 Hz 720p。尽管Nexus设备的频率限制为30 Hz，但IMX377也能够进行60 Hz的4k视频。
Pixel手机能够同时提供120 Hz 1080p视频和240 Hz 720p视频，这在一定程度上要归功于与IMX378相关的改进，IMX378在1080p时的功能提高了240 Hz。
该传感器还能够更快地拍摄全分辨率的连拍照片，在10位输出时提高到60 Hz，在12位输出时提高到40 Hz(分别从40 Hz和35 Hz上提高)，这将有助于减少运动模糊和使用HDR +时相机抖动。
传统上，用于视频的HDR是一种折衷方案。您要么将帧频降低一半，要么将分辨率降低一半。结果，许多OEM甚至都没有为它烦恼，三星和索尼是少数实施它的公司。甚至是三星Galaxy Note 7仅限于1080p 30 Hz录制，部分原因是HDR视频的计算成本很高。
Red Digital Cinema Camera Company称为HDRx ，Sony称为Digital Overlap HDR(DOL-HDR)，是两种主要的HDR视频传统方法中的第一种，其工作原理是拍摄两个连续的图像，一个曝光较暗，一个曝光较亮，然后合并它们一起创建一个视频帧。虽然这可以让您保持相机的完整分辨率(并为两个单独的帧设置不同的快门速度)，但由于两个帧之间的时间间隔(尤其是快速移动的对象)，通常会导致问题。此外，对于处理器来说，跟上DOL-HDR的步伐可能非常困难，电话的ISP负责将单独的帧合并在一起。
另一种传统方法(索尼称其为Binning Multiplexed Exposure HDR(BME-HDR))为传感器中的每两行像素对设置不同的曝光设置，以同时创建两个半分辨率图像，然后将其合并在一起放入一个用于视频的HDR帧。尽管此方法避免了与HDRx相关的问题，即帧速率的降低，但它还有其他问题，特别是分辨率的降低以及在两组线之间如何更改曝光的限制。
空间多路曝光(SME-HDR)是Sony使用的一种新方法，可以使他们以传感器可以的全分辨率和全帧速拍摄HDR。它是“ 空间变化曝光”的一种变体，它使用专有算法使Sony能够捕获以棋盘格样式排列的暗像素和亮像素的信息，并推断出暗图像和亮图像的全分辨率图像。
不幸的是，索尼无法为我们提供有关确切模式的更详细的说明，他们可能永远也无法透露它-在采用尖端技术时，公司往往会把牌打得离他们的胸膛非常近，可以在HDR中看到，甚至Google都拥有自己的HDR照片专有算法，称为HDR +。不过，仍然有一些公开可用的信息可用于整理信息。哥伦比亚大学的Shree K. Nayar发表了几篇论文(其中一篇与Sony的Tomoo Mitsunaga合作)，其中包含使用空间变化曝光的不同方法以及可以实现此效果的不同布局。以下是在RGBG图像传感器上具有四个曝光级别的布局示例。这种布局声称能够实现单个捕获的全分辨率HDR图像，而空间分辨率则仅损失约20%，具体取决于场景(与Sony宣称的SME-HDR相同)。
索尼已经在一些图像传感器中使用了SME-HDR，包括最近已广受欢迎的IMX214(用于Asus Zenfone 3 Laser，Moto Z和Xperia X Performance )，但与去年使用的IMX377相比，它是IMX378的新增功能。启用SME-HDR时，它可使摄像机传感器在60 Hz时输出10位全分辨率和4k视频。尽管该过程中其他地方的瓶颈将导致下限的提高，但与IMX377的能力相比，这是一个了不起的进步，并且预示着未来将有美好的事情发生。
与IMX377相比，IMX378的重大改进之一是它能够处理更多的片上图像处理，从而减轻了ISP的工作量(尽管ISP仍然能够请求RAW图像数据，具体取决于如何OEM决定使用传感器)。它可以处理许多小的事情，例如缺陷校正和本地镜像，但是更重要的是，它还可以处理BME-HDR或SME-HDR，而无需涉及ISP。通过为将来的电话上的ISP释放一些开销，这有可能成为未来的主要差异。
我们要再次感谢索尼为创建本文提供的所有帮助。我们非常感谢Sony在帮助确保此功能的准确性和深度方面所付出的辛勤工作，尤其是允许我们发现有关IMX378的一些以前未发布的信息。
话虽这么说，真是太可惜了，很难访问其中的某些信息，甚至是基本产品信息。当公司试图在其网站上放置信息时，它通常是相当难以访问和不完整的，很大程度上是因为它通常被视为公司员工的次要问题，他们更专注于其主要工作。处理公众关系的专职人员可以为公众提供和访问这种类型的信息，这有很大的不同，而且我们看到有些人试图在闲暇时间做到这一点。即使在Sony Exmor Wikipedia文章本身上，在几个月的时间里，只有一个人在业余时间奠定了从几乎毫无用处的基础上进行学习的基础1,715字节的文章多年来一直是差不多的，而现在我们可以看到有185个不同的编辑者的〜50,000字节的文章。可以说，这是在线上有关Sony Exmor传感器产品线的最佳信息存储库，在其他文章上我们可以看到非常相似的模式。一位专职作家可以在客户比较各种产品的难易程度以及受过教育的感兴趣的消费者对该主题的态度方面产生重大变化，这可能会产生深远的影响。但这是另一个话题。
与往常一样，我们不知道这些硬件更改将如何影响设备本身。很显然，我们将不会获得4k 60 Hz HDR视频(并且可能根本不会获得HDR视频，因为Google尚未提及)，但是更快的全分辨率拍摄可能会极大地帮助HDR +，我们将看到新型传感器的改进也以其他类似的小而实质的方式滴入了手机。
