Es septiembre, lo que significa otra generación de iPhones de Apple . Este año, el iPhone XS (pronunciado “ten ess”) agrega un sensor ligeramente más grande y una potencia de cálculo significativamente mayor a través del chip Bionic A12 para mejorar el procesamiento de la señal de imagen del teléfono.

Pero a pesar de la capacidad de realizar 5 billones de operaciones por segundo, el iPhone todavía no puede hacer algo que su cámara dedicada de ILP puede, es decir, recolectar tanta luz. Y cuando se trata de fotografía, verdadera exposición (es decir, la cantidad total de fotones capturados) está directamente relacionada con la calidad de la imagen.

Por supuesto, esa gran potencia de cálculo proporciona algunas soluciones potentes.

El modo de retrato es solo una máscara (realmente buena)

Una de las nuevas funciones del iPhone es la capacidad de alterar la captura de la imagen posterior a la profundidad de campo (el modo de retrato de primera generación solo proporciona una configuración predeterminada). La interfaz de usuario emplea un dial f-stop, pero esto es solo una característica skeuomorphic que utiliza una referencia de apertura de fotograma completo para correlacionar aproximadamente el grado de profundidad de campo.

Un dial de apertura permite a los usuarios ajustar la captura de la profundidad de campo

La gran mayoría de los teléfonos inteligentes tienen aberturas fijas, y el tamaño del sensor en relación con la distancia focal de la lente significa que todo en la escena tiende a estar enfocado. Por lo tanto, los teléfonos inteligentes crean mapas de profundidad utilizando dos cámaras (por ejemplo, el iPhone) o un diseño subpíxel (por ejemplo, Pixel2) combinado con una red neuronal para determinar los elementos de primer plano y de fondo.

Aunque el iPhone XS le permite alterar la profundidad de campo en la publicación, no es una cámara de campo claro (aka plenóptico) que captura tanto la intensidad de la luz como la dirección de la luz. El sofisticado procesador del iPhone le permite enmascarar de manera más inteligente los elementos de primer plano y de fondo al tiempo que tiene en cuenta las características faciales, el cabello, etc. El dial de apertura combinado con el procesador significa que puede aumentar el radio de desenfoque de los elementos fuera de la máscara en real -hora.

Sin dudas, el software continuará mejorando, pero aún podría encontrarse con errores que nunca obtendría con la captura óptica.

La fotografía computacional ayuda a hacer excelentes fotos, pero …

La fotografía computacional supera las verdaderas limitaciones de exposición a través de una serie de trucos, incluido el apilamiento de imágenes y la IA. El apilamiento de imágenes (más comúnmente utilizado para HDR) no solo conserva los reflejos y mejora los detalles de las sombras, sino que también se puede utilizar como una estrategia de reducción de ruido utilizando el filtrado mediano.

AI trae una caja de herramientas completa de opciones a la fotografía computacional. Aunque el uso de la IA en la fotografía computacional aún es incipiente, ya hemos visto pruebas de conceptos sorprendentes como la reducción de ruido y la eliminación de marcas de agua de NVIDIA.

La fotografía computacional podría, en teoría, combinar varias fotos para obtener la toma de grupo perfecta en la que todo el mundo esté sonriendo (el iPhone usa redes neuronales para una mejor detección facial). También podría tomar teóricamente una sola imagen y reconstruir partes de la imagen para que parezca como si todo el mundo estuviera sonriendo. Este tipo de tecnología presenta una consideración ética (especialmente para fotoperiodistas), pero también amplía dramáticamente las posibilidades creativas.

¿Cuándo los fabricantes tradicionales de cámaras adoptarán un enfoque de fotografía centrado en el software?

Empresas como Nikon, Canon, Sony, Fuji y Hasselblad han seguido desarrollando sistemas de cámara increíbles, pero continúan centrándose en la captura RAW de exposición única en su mayor parte. En este paradigma, los ajustes de tonificación y otras manipulaciones de imágenes ocurren fuera de la cámara. El apilamiento de imágenes y las panorámicas deben capturarse como exposiciones individuales con un disparo manual del obturador.

Pero para muchos fotógrafos, la velocidad es esencial, y la capacidad de cargar algo similar a un Lightroom preestablecido en la cámara o permitir el apilamiento de imágenes en la cámara (con reducción de ruido instantáneo, por ejemplo) sería bastante revolucionario. Las cámaras independientes continúan siendo dispositivos de hardware dedicados en lugar de máquinas de computación más flexibles con capacidades de captura de luz.

Es difícil imaginar que Apple esté fabricando un sistema ILP, y es igualmente difícil imaginar a Nikon / Canon / Sony desarrollando software de fotografía computacional y chips con capacidades de redes neuronales a bordo. Pero imagina las posibilidades …