GANs: Inteligencia Artificial para colorear videos
Un equipo de La Paz utiliza U-Net-GAN para dar color a vídeos históricos de Bolivia y comparte su proceso, resultados y limitaciones.
Proyecto de aprendizaje compartido por la comunidad. El artículo documenta el equipo, el método y los resultados; no acredita que el prototipo esté listo para su uso fuera del entorno de aprendizaje.

La Paz. Deep Learning. 2021
Durante la última década, la explosión de la cantidad de datos disponibles, la optimización de algoritmos y la evolución constante de la potencia informática han permitido que la inteligencia artificial (IA) realice cada vez más tareas humanas [1]. Y desde hace un tiempo la inteligencia artificial se ha convertido en una poderosa herramienta para devolvernos al pasado. Lo demuestran la cada vez mayor cantidad de imágenes y videos restaurados a través de diferentes técnicas de inteligencia artificial, como por ejemplo la capacidad de colorear videos en blanco y negro.
En términos de coloración de imágenes y videos la Inteligencia artificial ha evolucionado y durante los últimos años se ha observado una mejora significativa. Ya que la coloración manual requiere una gran cantidad de tiempo y es un proceso costoso, la aplicación de técnicas de inteligencia artificial es una gran opción para este tipo de tareas porque es capaz de trabajar por sí misma y colorear automáticamente en un corto periodo de tiempo [2].
Problemática
Existen pocos registros filmográficos que capturen la vida cotidiana de antaño de nuestro país es por ello que quisimos tener otra perspectiva de estos videos añadiendo color a los pocos que encontramos.
Objetivo
Extraer imágenes de videos antiguos para darles color haciendo uso de una red GAN, para posteriormente generar un video a color.
Dataset
Construimos el dataset a partir de diez vídeos de YouTube: documentales y grabaciones de paisajes de Bolivia. Incluimos material antiguo en color, con tonos apagados, vídeos de hasta 480p y otros de mayor calidad. Seleccionamos fotogramas representativos para evitar repetir muchas imágenes de una misma escena.





Selección del modelo y técnicas usadas
La arquitectura usada para colorear mediante Inteligencia Artificial fue la de Unet-GAN por su gran capacidad para sintetizar las características de las imágenes lo que mejora ampliamente los resultados finales.
Una red generativa adversaria (GAN) combina un generador y un discriminador. El generador crea imágenes y el discriminador intenta distinguirlas de las reales. El entrenamiento busca que las imágenes generadas se parezcan a la distribución de los datos originales.
U-Net se utiliza habitualmente en segmentación, con entradas y salidas de tamaño similar. También puede actuar como generador de una GAN condicionada, como en pix2pix, donde la salida depende de una imagen de entrada en vez de partir únicamente de ruido aleatorio.
En este caso, generará imágenes falsas no a partir de ruido aleatorio sino de otra imagen de referencia. Tiene otras opciones como red deconvolución, codificador automático, etc.
Extraímos fotogramas de los vídeos, unificamos sus dimensiones y conservamos las imágenes RGB como referencias. Después las convertimos a escala de grises para utilizarlas como entradas. Una vez coloreados los fotogramas, los unimos para reconstruir el vídeo.
Análisis de resultados
En la gráfica 1 podemos observar la pérdida del discriminador y la del generador y se puede ver que existe una tendencia exponencial y que la pérdida es estacionaria en el valor 0.4 para el discriminador y 0 para el generador.

Gráfica 1. Pérdida del discriminador y del generador
Tras 600 épocas, los ejemplos de entrenamiento mostraban colores plausibles, aunque menos intensos que los originales. También aparecían errores en zonas muy luminosas, como rayos de sol o superficies blancas.



En las imágenes de prueba persistían los errores en zonas luminosas y cierta tendencia hacia tonos rojos y azules.




El vídeo en blanco y negro utilizado como prueba mostraba edificios de La Paz. La colorización nos pareció visualmente plausible y el cielo destacó por su intensidad. Estos colores son una estimación del modelo, no una recuperación comprobada de los colores históricos.

Conclusión y recomendaciones
Implementamos un modelo U-Net-GAN para colorear fotogramas en blanco y negro y reconstruir un vídeo. El proceso nos permitió practicar preparación de datos, Python, deep learning y Google Colab. Quedan errores en zonas brillantes y colorizaciones incompletas. Ampliar la variedad de colores y escenas del dataset es una línea de mejora que habrá que evaluar.Ver el vídeo coloreado
Bibliografía
[1] Una introducción básica a las GAN (Generative Adversarial Networks). (s. f.). Consultado el 4 de diciembre de 2021 en https://ichi.pro/es/una-introduccion-basica-a-las-gan-generative-adversarial-networks-217887110266867
[2] colorear películas, colorear videos, colorear videos en blanco y negro, software para colorear videos, software para colorear películas, colorear películas. (s. f.). Consultado el 4 de diciembre de 2021 en https://pixbim.com/film-colorization
Códigos
- Código para la recoleccion del dataset a partir de videos descargados de youtube
Notebook de recopilación del dataset en GitHub
- Código para el entrenamiento del modelo
Notebook de entrenamiento del modelo en GitHub
- Código para la implementación de los pesos del modelo previamente guardados
Notebook de inferencia del modelo en GitHub
Presentación del proyecto: DemoDay
Repositorio
En el siguiente repositorio se encuentra el código usado para desarrollar esa aplicación: https://github.com/SaturdaysAI/Projects/tree/master/Lapaz/2021.DL/Coloracion-de-videos-main
¡Más inteligencia artificial!
Saturdays.AI acerca la IA a más personas a través del aprendizaje en comunidad y de proyectos con impacto social. Nuestro lema es AI4ALL IS AI4GOOD.
Explora los cursos disponibles
Conoce la comunidad de Saturdays.AI
Autoría
Daniela Centellas Yucra
Saturdays.AI
Saturdays.AI es una comunidad abierta donde aprendemos inteligencia artificial, colaboramos y creamos proyectos con impacto social.
Una historia de la comunidad Saturdays.AI. Publicada originalmente el 2 ene 2022.
← Más historias de la comunidad



