夜景模式是Pixel Camera应用程序的一项新功能，可让您在极低光线下拍摄清晰，干净的照片，即使在光线昏暗的情况下，您也无法用自己的眼睛看到太多。 它适用于所有三代Pixel手机的主摄像头和自拍摄像头，不需要三脚架或闪光灯。 在本文中，我们将讨论为什么在低光下拍照是具有挑战性的，我们将讨论计算摄影和机器学习技术，其中大部分基于HDR +，使夜景模式工作。
为什么低光摄影很难？
拍摄昏暗场景的任何人都会熟悉图像噪声，这看起来像是像素到像素的亮度随机变化。对于具有小镜头和传感器的智能手机相机，噪声的主要来源是进入镜头的光子数量的自然变化，称为散粒噪声。每个相机都受此影响，即使传感器电子设备完美也会存在。然而，它们不是，因此第二噪声源是在将光照射到每个像素时产生的电子电荷转换为数字时引入的随机误差，称为读取噪声。这些和其他随机源有助于整体信噪比（SNR），衡量图像从这些亮度变化中脱颖而出的程度。幸运的是，SNR随着曝光时间的平方根（或更快）而上升，因此拍摄更长时间曝光会产生更清晰的画面。但是很难保持足够长的时间才能在昏暗的光线下拍出好照片，无论你拍摄什么，也可能不会保持不动。
2014年，我们推出了HDR +，这是一种计算摄影技术，通过捕获一帧帧，在软件中对齐帧并将它们合并在一起来改善这种情况。 HDR +的主要目的是改善动态范围，这意味着能够拍摄具有各种亮度的场景（如日落或背光肖像）。所有代的Pixel手机都使用HDR +。事实证明，合并多张图片还可以降低散粒噪声和读取噪声的影响，因此可以改善昏暗光线下的信噪比。即使您的手抖动并且拍摄对象移动，为了使这些照片保持清晰，我们也会使用短曝光。我们也拒绝那些我们找不到良好对齐的帧。这使得HDR +即使在收集更多光线时也能产生清晰的图像。
黑暗是多么黑暗？
但是，如果捕获和合并多个帧会在低光照条件下产生更清晰的图像，为什么不使用HDR +合并几十帧，这样我们才能在黑暗中有效地看到？好吧，让我们从定义“黑暗”的含义开始吧。当摄影师谈论场景的光线水平时，他们通常以勒克斯测量它。从技术上讲，勒克斯是每单位面积到达表面的光量，以每平方米的流明数来衡量。为了让您感受不同的勒克斯级别，这里有一个方便的表格：
拍摄单张照片的智能手机相机开始以30勒克斯的速度挣扎。捕获和合并多张图片的手机（如HDR +所做的那样）可以很好地降低到3勒克斯，但在较暗的场景中表现不佳（下面更多），依赖于使用他们的闪光灯。凭借夜视，我们的目标是使用智能手机，单个快门按钮和无LED闪光灯改善3勒克斯和0.3勒克斯之间的拍照。为了使这个功能很好地工作包括几个关键元素，其中最重要的是捕获更多的光子。
捕获数据
虽然延长每帧的曝光时间会增加SNR并使图像更清晰，但遗憾的是它引入了两个问题。首先，Pixel手机上的默认拍照模式使用零快门滞后（ZSL）协议，该协议本质上限制了曝光时间。一旦打开相机应用程序，它就会开始捕获图像帧并将其存储在循环缓冲区中，该缓冲区会不断擦除旧帧以为新帧提供空间。按下快门按钮时，相机会将最近的9帧或15帧发送到HDR +或Super Res Zoom软件。这意味着您可以准确捕捉到您想要的那一刻 - 因此名称为零快门滞后。但是，由于我们在屏幕上显示这些相同的图像以帮助您瞄准相机，因此无论场景多么暗淡，HDR +都会将曝光限制在最多66毫秒，从而使我们的取景器能够保持至少15帧的显示速率第二。对于需要较长曝光的调光场景，夜视仪使用正快门延迟（PSL），等待直到您开始拍摄图像之前按下快门按钮。使用PSL意味着您需要在按下快门后保持静止一小段时间，但它允许使用更长的曝光，从而在更低的亮度水平下改善SNR。
增加每帧曝光时间的第二个问题是运动模糊，这可能是由于抖动或移动场景中的物体造成的。光学图像稳定（OIS）（存在于像素2和3上）可以减少抖动的适度曝光时间（最多约1/8秒），但对于长时间曝光或移动物体无效。为了对抗OIS无法修复的运动模糊，Pixel 3的默认拍照模式使用“运动测光”，其中包括使用光流测量最近的场景运动并选择最小化此模糊的曝光时间。像素1和2在默认模式下不使用动态测光，但是所有三部手机都在夜视模式下使用该技术，如果没有太多动作，则每帧曝光时间增加到333毫秒。对于没有OIS的Pixel 1，我们增加了曝光时间（对于没有OIS的自拍相机，我们增加了更少）。如果相机正在稳定（例如靠墙或使用三脚架），则每帧的曝光增加到一秒钟。除了改变每帧曝光外，我们还会改变拍摄的帧数，如果手机放在三脚架上则为6，如果是手持设备则最多为15。这些帧限制可防止用户疲劳（并且需要取消按钮）。因此，根据您拥有的Pixel手机，相机选择，抖动，场景运动和场景亮度，Night Sight每帧捕获15帧，每帧1/15秒（或更少），或每帧6秒，或其间任何内容。
以下是我们检测运动时使用较短的每帧曝光的具体示例：
以下是我们检测到手机在三脚架上时使用较长曝光时间的示例：
对齐和合并
平均帧以减少成像噪声的想法与数字成像一样古老。在天文摄影中，它被称为曝光堆叠。虽然这项技术本身很简单，但是当手持相机时，困难的部分就是正确对齐。我们在这方面的努力始于2010年的一款名为Synthcam的应用程序。这个应用程序连续拍摄图片，对齐并以低分辨率实时合并它们，并显示合并后的结果，在您观看时稳定变得更干净。
Night Sight使用类似的原理，尽管传感器分辨率完全且不是实时的。在像素1和2上，我们使用HDR +的合并算法，经过修改和重新调整，以增强其检测和拒绝未对齐帧的能力，即使在非常嘈杂的场景中也是如此。在Pixel 3上我们使用Super Res Zoom，同样重新调整，无论你是否缩放。虽然后者是为超分辨率而开发的，但它也可以降低噪音，因为它可以将多个图像平均在一起。对于某些夜间场景，Super Res Zoom可以产生比HDR +更好的效果，但它需要更快的Pixel 3处理器。
顺便说一下，所有这些都会在几秒钟内在手机上发生。如果您快速点击带您进入幻灯片的图标（等到捕获完成！），您可以在HDR +或Super Res Zoom完成其工作时观看您的图片“开发”。
其他挑战
尽管上面描述的基本思想听起来很简单，但是当开发夜视仪时没有太多光线被证明具有挑战性时会有一些问题：
1.自动白平衡（AWB）在低光照条件下失败。
人类擅长色彩恒定 - 即使在彩色照明下（或佩戴太阳镜时）也能正确感知事物的颜色。但是当我们在一种照明下拍照并在不同的光线下观看时，这个过程就会崩溃;照片看起来会给我们着色。为了校正这种感知效果，相机调整图像的颜色以部分或完全补偿照明的主色（有时称为色温），有效地移动图像中的颜色，使其看起来好像场景被照亮中性（白色）光。此过程称为自动白平衡（AWB）。
问题在于白平衡是数学家称之为不适定问题的。这样的雪真的是蓝色的吗？还是白色的雪被蓝天照亮？可能是后者。这种模糊性使白平衡变得困难。在非夜视模式下使用的AWB算法很好，但在非常昏暗或强烈色彩的照明（想想钠蒸汽灯）中，很难确定照明的颜色。
为了解决这些问题，我们开发了一种基于学习的AWB算法，该算法经过训练以区分良好平衡的图像和不平衡的图像。当捕获的图像不平衡时，算法可以建议如何移动其颜色以使照明看起来更中性。训练此算法需要使用Pixel手机拍摄各种场景，然后在彩色校准显示器上查看照片时手动校正其白平衡。您可以通过使用Pixel 3比较使用两种方式捕获的相同低光场景来查看此算法的工作原理：
2. 太暗无法看到的场景的色调映射。
夜景的目标是拍摄如此黑暗的场景照片，让你无法用自己的眼睛清楚地看到它们 - 简直就是一股神秘力量！一个相关的问题是，在非常昏暗的照明中，人类不再看到颜色，因为我们的视网膜中的视锥细胞停止运作，只留下杆细胞，这不能区分不同波长的光。夜晚的场景仍然丰富多彩;我们只是看不到他们的颜色。我们希望Night Sight图片色彩丰富 - 这是神秘力量的一部分，但另一个潜在的冲突。最后，我们的杆状细胞具有低空间敏锐度，这就是为什么晚上看起来模糊不清的原因。我们希望Night Sight图片清晰，比夜晚更能看到细节。
例如，如果你将一个数码单反相机放在三脚架上并进行很长时间的曝光 - 几分钟，或者将几个较短的曝光叠加在一起 - 你可以使夜间看起来像白天。阴影将有细节，场景将是丰富多彩和锐利的。看下面的照片，用DSLR拍摄;它必须是夜晚，因为你可以看到星星，但草是绿色的，天空是蓝色的，月亮从树上投下阴影，看起来像太阳投射的阴影。这是一个很好的效果，但它并不总是你想要的，如果你和朋友分享照片，他们会在你拍摄它时感到困惑。
几个世纪以来，艺术家们已经知道如何使画像看起来像夜晚; 看下面的例子
1766年由德比的约瑟夫·赖特讲授Orrery的哲学家（图片来源：维基数据）。 艺术家使用从黑到白的颜料，但描绘的场景显然是黑暗的。 他是如何做到这一点的？ 他增加对比度，用黑暗环绕场景，并将阴影投射到黑色，因为我们无法在那里看到细节。
我们在Night Sight中使用了一些相同的技巧，部分是通过在我们的色调映射中投射S曲线。但是在给你“神秘力量”之间达到有效平衡是很棘手的，同时在拍摄照片时仍会提醒你。 下面的照片在这方面特别成功。
像素3，夜间拍摄6秒，带三脚架（此处为全分辨率图像）。 （亚历克斯萨武）
夜视有多黑暗？
低于0.3 lux时，自动对焦开始失败。如果您在地板上找不到按键，则智能手机也无法对焦。为了解决这个限制，我们为Pixel 3上的Night Sight添加了两个手动对焦按钮 - “近”按钮聚焦在大约4英尺处，而“远”按钮聚焦在大约12英尺处。后者是我们镜头的超焦距，这意味着从该距离的一半（6英尺）到无限远的一切都应该是焦点。我们还在努力改善Night Sight在低光照条件下自动对焦的能力。低于0.3勒克斯你仍然可以用智能手机拍摄惊人的照片，甚至可以像这篇博文所展示的那样进行天文摄影，但为此你需要一个三脚架，手动对焦以及使用Android的Camera2 API编写的第三方或自定义应用程序。
我们能走多远？最终达到一个亮度级别，其中读取噪声淹没了该像素聚集的光子数量。还有其他噪声源，包括暗电流，随着曝光时间的增加而增加，并随温度而变化。为了避免这种生物学家知道在拍摄弱荧光标本时将相机冷却到零度以下（华氏温度） - 我们不建议您对Pixel手机进行操作！超级噪声图像也很难可靠对齐。即使你可以解决所有这些问题，风也会吹，树木摇摆，星星和云层移动。超长曝光摄影很难。
如何充分利用夜视
夜视不仅可以拍摄低照度的照片;它使用起来也很有趣，因为它拍摄的照片几乎看不到任何东西。当场景足够暗时，我们会在屏幕上弹出一个“芯片”，使用Night Sight可以获得更好的画面，但不要局限于这些情况。在日落之后，或在音乐会或城市中，夜视拍摄清晰（低噪音）拍摄，使它们比现实更亮。这是一个“外观”，如果做得好，这看起来很神奇。以下是夜视图片的一些示例，以及一些A / B比较，主要由我们的同事拍摄。以下是使用夜视的一些提示：
- 夜视无法在完全黑暗的环境中操作，因此选择一个落在其上的光线的场景。
- 柔和，均匀的照明比恶劣的照明更好，这会产生黑暗的阴影。
- 为避免镜头眩光伪影，请尽量将非常明亮的光源保持在视野范围之外。
- 要增加曝光，请点按各种对象，然后移动曝光滑块。再次点按即可停用。
- 为了减少曝光，请在Google的照片编辑器中拍摄并稍后变暗;它会减少嘈杂。
- 如果太暗，相机无法对焦，请点击高对比度边缘或光源边缘。
- 如果这对您的场景不起作用，请使用近（4英尺）或远（12英尺）对焦按钮（见下文）。
- 为了最大限度地提高图像清晰度，请将手机靠在墙上或树上，或将其放在桌子或岩石上。
- Night Sight也适用于自拍，如A / B专辑，可选择屏幕本身的照明。
Night Sight在Pixel 3上表现最佳。我们也将它带到Pixel 2和原始Pixel，虽然在后者我们使用更短的曝光，因为它没有光学图像稳定（OIS）。 此外，我们基于学习的白平衡器已针对Pixel 3进行了培训，因此在旧手机上的准确性会降低。 顺便说一下，我们在夜视中使取景器变亮以帮助您在低光下拍摄，但取景器基于1/15秒的曝光，因此它会产生噪音，并且不是最终照片的合理指示。 所以抓住机会 - 拍摄一张照片，然后按下快门。 你经常会感到惊讶！
