La nueva función de Detalles mejorados disponible en Camera Raw, Lightroom Classic y Lightroom CC se aproxima a la demostración de una nueva manera de resolver mejor los detalles finos y solucionar problemas como los colores falsos y el cierre de cremallera. Enhance Details utiliza el aprendizaje automático, una red neuronal convolucional (CNN) ampliamente capacitada, para proporcionar una calidad de vanguardia para las imágenes que realmente importan. Los detalles de mejora funcionan bien en los archivos de mosaico sin procesar de Bayer (Canon, Nikon, Sony, etc.) y X-Trans (Fujifilm).

La animación anterior muestra la diferencia en un área de detalle ampliada al 200% de un archivo basado en Fuji X-Trans. Observe el aumento de la definición en detalles finos en los paneles de la ventana, así como con las luces de la calle en el fondo.

Cómo las cámaras ven el mundo.

Para comprender cómo funcionan los Detalles de mejora, es útil comprender primero cómo un sensor de cámara digital típico realmente ve el mundo.

El ojo humano puede distinguir millones de colores. La mayoría de nosotros somos tricromáticos, con diferentes tipos de conos (células fotorreceptoras sensibles al color) presentes en nuestras retinas que pueden percibir los colores rojo, verde y azul. Cada tipo de cono permite al ojo distinguir aproximadamente 100 tonos de color y nuestro sistema visual luego mezcla las señales para ver esos millones de colores.

Pero no es así como las cámaras ven el mundo.

Todas las fotografías digitales comienzan en monocromo. Luego se convierten en color a través de un proceso algorítmico llamado demostración .

Los sensores de cámara digital constan de dos partes. Primero, está la matriz principal del fotosensor. Las cavidades microscópicas sensibles a la luz miden la intensidad de la luz para un píxel dado. Intensidad de la luz, pero sin color. Digamos que estás en la playa y contemplas el Océano Pacífico en una puesta de sol espectacular.

Mientras ves algo como esto:

Lo que recuerdas haber visto.

La serie de fotosensores de su cámara vería una imagen monocromática (bueno, sería mucho más oscura ya que los sensores fotográficos perciben la luz de manera diferente a la del ojo humano y el procesamiento en bruto se encarga de esto, pero una imagen súper oscura no habría sido tan interesante por lo que …):

Lo que tu cámara vería sin una matriz de filtro de color.

Y tomar en consideración la matriz de filtros de color que se encuentra en la parte superior de la matriz del fotosensor daría lugar a algo diferente. Los filtros de color permiten que el sensor registre el color de cualquier píxel dado, como por ejemplo:

La matriz de filtros de color registra un solo valor rojo, verde o azul para cada píxel. La imagen aparece en verde ya que la matriz de Bayer tiene el doble de píxeles verdes que los rojos y azules para imitar la forma en que el ojo humano percibe los colores.

Su cámara digital solo registra uno de los tres valores de color para cualquier píxel dado. Por ejemplo, para un píxel rojo, los filtros de color eliminarán toda la información azul y verde, lo que dará como resultado que el píxel solo registre el rojo. Por lo tanto, cada píxel individual en una imagen en bruto falta toda la información sobre los otros dos colores.

Cómo el software recrea la imagen.

El valor compuesto de rojo, verde y azul de cada píxel en una foto digital se crea a través de un proceso que se denomina demostración.

Hay un arte y una ciencia para crear un método demosaic. Hay muchas formas de hacer una foto. Las opciones de diseño de Demosaic pueden impactar todo, desde la resolución general de sus fotos, a la fidelidad de áreas de color pequeñas, a la interpretación precisa de detalles finos.

En su forma más básica, las demostraciones promedian los valores de color de los píxeles vecinos. Por ejemplo, un píxel con un filtro rojo sobre él solo proporcionaría un registro de la intensidad de los colores rojos para ese píxel. El algoritmo de evaluación promedia los valores de los cuatro píxeles azules vecinos para determinar cuál sería la cantidad más probable de azul, y luego hacer lo mismo para que los píxeles verdes circundantes lleguen al valor verde. Este proceso de adivinar cuál sería el valor más probable se llama interpolación y es una parte importante del proceso de demostración.

Demosaicing puede ser relativamente sencillo en las áreas de una imagen que tienen gradientes suaves o color constante. Piensa en cielos azules y nubes blancas hinchadas. Sin embargo, el proceso se vuelve mucho más complicado en las regiones más complicadas de una imagen. En áreas con textura, detalles finos, patrones repetidos y bordes afilados, los métodos de demostración estándar pueden ser difíciles, produciendo una resolución más baja y artefactos problemáticos.

Los métodos avanzados de demostración pueden manejar estas áreas complicadas, pero pueden ser muy costosos computacionalmente. Se requieren miles de cálculos matemáticos para realizar la interpolación necesaria para construir una imagen. Esto lleva tiempo, incluso en el hardware de computadora más poderoso.

Como resultado, un software como Lightroom está equilibrando constantemente el equilibrio entre la fidelidad de la imagen y la velocidad.

Problemas de demostración

En realidad, solo hay un puñado de problemas importantes de demostración que deben resolverse. Pero siguen apareciendo una y otra vez, imagen tras imagen, en formas nuevas y complicadas.

Detalles a pequeña escala: las imágenes con pequeños detalles cerca del límite de resolución del sensor de la cámara son un gran problema. Si tienes suerte, simplemente pierdes los detalles en un sinfín de colores. Si no lo eres, puedes encontrar patrones de moiré, donde los artefactos de color se organizan en sorprendentes patrones de laberinto.

Colores falsos: cuando un algoritmo de demostración se interpola incorrectamente , en lugar de a lo largo de un borde afilado, puede ver cambios bruscos o poco naturales en el color.

Cremallera: en los bordes de una imagen, donde pierde la mitad de los píxeles que normalmente usaría para interpolar sus datos de color, puede ver que los bordes aparecen borrosos.

En Adobe, nos esforzamos constantemente por mejorar nuestros algoritmos de demostración. A lo largo de los años, hemos podido refinar nuestros algoritmos hasta el punto de que lo estamos haciendo muy bien para la gran mayoría de las imágenes. Pero estos casos especiales y difíciles requieren que pensemos en el problema de una manera diferente.

Mejorar los detalles

Introduzca Adobe Sensei. Sensei integra todas las ramas de la inteligencia artificial, incluido el poder en bruto del aprendizaje automático, lo que denominamos “aprendizaje profundo”.

Enhance Details utiliza una red neuronal convolucional (CNN) con amplia capacitación para optimizar la máxima calidad de imagen. Formamos una red neuronal para imágenes en bruto demostrativas utilizando ejemplos problemáticos, y luego aprovechamos los nuevos marcos de aprendizaje automático integrados en los últimos sistemas operativos Mac OS y Win10 para ejecutar esta red. La red neuronal profunda para mejorar los detalles fue entrenada con más de mil millones de ejemplos.

Cada uno de estos mil millones de ejemplos contenía uno o más de los principales problemas enumerados anteriormente que dan graves problemas a los métodos de demostración estándar. Formamos dos modelos: uno para los sensores Bayer y otro para los sensores Fujifilm X-Trans.

Como resultado, los detalles mejorados ofrecerán resultados sorprendentes, incluida una resolución más alta y una representación más precisa de los bordes y los detalles, con menos artefactos como los colores falsos y los patrones de moiré.

Calculamos que los Detalles de mejora pueden proporcionarle una resolución hasta un 30% mayor en los archivos sin formato de Bayer y X-Trans utilizando los gráficos de resolución Star de Siemens. Si desea probarlo por su cuenta, no dude en descargar este archivo RAW de Fujifilm .

Mejores prácticas

Para aprovechar al máximo los detalles de mejora, aquí hay algunos consejos y sugerencias …

  • Enhance Details requiere Core ML de Apple y Windows ML de Microsoft, por lo que no funcionará en sistemas operativos más antiguos. Asegúrate de actualizar a macOS 10.13 o Win 10 (1809) o posterior.+
  • Mejorar los detalles requiere un procesamiento intensivo, y puede llevar algún tiempo hacer su trabajo.+
  • GPU más rápida significa resultados más rápidos. Una eGPU (GPU externa) puede hacer una gran diferencia.+
  • Encontrarás los detalles de mejora más efectivos en los siguientes tipos de imágenes:
    • Imágenes que desea imprimir o mostrar en gran tamaño.+
    • Imágenes que muestran artefactos.+
    • Imágenes con muchos detalles finos.