NVIDIA está llevando el «estilo contenido consciente» de Photoshop al siguiente nivel. La compañía ha presentado una nueva técnica de vanguardia que usa la inteligencia artificial para reconstruir fotos de manera realista. Este video de 2 minutos presenta la tecnología y contiene ejemplos que pueden impresionar.

Lo que es sorprendente del sistema de NVIDIA y el actual «Content-Aware Fill» en Photoshop es que la herramienta de NVIDIA no solo obtiene la información de los píxeles circundantes para descubrir qué rellenar: entiende cómo debe verse el tema .

Por ejemplo, si ejecutara Content-Aware Fill en un espacio en blanco donde debería estar el ojo de un sujeto, el resultado será el espacio relleno con las características que lo rodean, como la piel, la ceja o la nariz. NVIDIA utiliza aprendizaje profundo y sabe que el espacio debe llenarse con un ojo , por lo que agrega un ojo generado por computadora.

Por ejemplo, al dar esta foto de retrato con grandes secciones faltantes …

foto con partes faltantes

Esto es lo que le proporciona el relleno de Content-Aware de Photoshop:

foto photoshop, borrosa

Y esto es lo que crea la técnica de NVIDIA:

foto nvidia

La función se puede usar para rellenar agujeros en fotos y eliminar elementos existentes en una foto (al igual que el relleno de contenido consciente).

Los investigadores de NVIDIA han publicado un nuevo documento que detalla su creación, titulado » Infiltración de imágenes para agujeros irregulares utilizando circunvoluciones parciales «.

«Nuestro modelo puede manejar con solidez orificios de cualquier forma, tamaño de ubicación o distancia de los bordes de la imagen», escriben los investigadores. «Los enfoques previos de aprendizaje profundo se han centrado en regiones rectangulares ubicadas alrededor del centro de la imagen y, a menudo, dependen del costoso procesamiento posterior. Además, nuestro modelo maneja con gracia orificios de mayor tamaño «.

Los investigadores entrenaron a su IA utilizando 55.116 máscaras aleatorias de agujeros y rayas que se aplicaron a grandes colecciones de fotos. Al examinar tanto las versiones con áreas faltantes como las fotos originales, la red neuronal aprendió a reconstruir los píxeles que faltan de las fotos.

Se usaron más de 25,000 máscaras para la fase de prueba para validar la precisión.

Aquí hay algunos ejemplos adicionales de antes y después de fotos muy borradas reconstruidas por el sistema de NVIDIA:

«Hasta donde sabemos, somos los primeros en demostrar la eficacia de la imagen de aprendizaje profundo en modelos de pintura en orificios de forma irregular», escriben los investigadores.

Todavía no se sabe si veremos o no esta tecnología lanzada en un programa de software del mundo real.