Fast Face-swap Using Convolutional Neural Networks

[MarioAlfonso]

Fast Face-swap Using Convolutional Neural Networks

¿Qué problema trata?
Se considera el problema del intercambio de rostros en imágenes, donde una identidad de entrada se transforma en una identidad de destino mientras conserva la pose, la expresión facial y la iluminación. Para realizar este mapeo, se usa redes neuronales convolucionales para capturar la apariencia de la identidad del objetivo de una colección no estructurada de sus fotografías.
Este enfoque se habilita al enmarcar el intercambio de rostros problema en términos de transferencia de estilo, donde el objetivo es presentar una imagen en el estilo de otra. Sobre la base de reciente avances en esta área, ideamos una nueva función de pérdida que permite a la red producir imágenes altamente fotorrealistas resultados. Al combinar redes neuronales con pre-e pasos posteriores al procesamiento, nuestro objetivo es hacer que el trabajo de intercambio de caras tiempo real sin entrada del usuario.
El reemplazo facial o el intercambio de rostros es relevante en muchos escenarios que incluyen la provisión de privacidad, apariencia transfiguración en retratos, composición de video y otras aplicaciones creativas. La formulación exacta de este problema varía según la aplicación, con algunos objetivos más fácil de lograr que otros.
¿Qué trabajos revisa?
Bitouk et al., revisa este trabajo como base, este sustituye una cara de entrada por otra cara seleccionada de una gran base de datos de imágenes basadas en la similitud de apariencia y pose.
El método reemplaza los ojos, la nariz y la boca de la cara y además hace ajustes de color e iluminación en orden para mezclar las dos caras. Este diseño tiene dos limitaciones principales que abordamos en este documento: no hay control sobre la identidad de salida y la expresión de la entrada está alterado.
Un trabajo similar fue abordado por Dale et al. Alabama. Su trabajo se centró en la sustitución de caras en videos, donde se muestran videos de dos sujetos interpretando roles similares están disponibles. Comparado con imágenes estáticas, secuenciales los datos presentan dificultades adicionales de alineación temporal, rastrear el rendimiento facial y garantizar la coherencia temporal del metraje resultante.
¿Qué solución propone?
El método de solución, teniendo una imagen de la persona A, se busca transformar su cara a la persona B, mientras se mantiene la posición de su cabeza y la iluminación intacta. Se utiliza redes neuronales convolucionales parametrizadas con un peso W para transformar el contenido de la imagen X. Con una gran cantidad de imágenes de entrenamiento con Y(i) se tiene como dataset Y= {y1,y2,….,yN}. Estas imágenes describen la cara que nos gustaría cambiar y es solamente usado para el entrenamiento de la red neuronal.
El sistema tiene dos componentes adicionales que funcionan entre la alineación de la cara y segmentación del fondo, cabello y piel. Se tomó en cuenta que todas las caras tienen una referencia de vista frontal. Los puntos claves faciales fueron extraídos utilizando CNN, La segmentación se usa para restaurar el fondo y el de la imagen de entrada X que actualmente no está preservado por nuestra red neuronal. Utilizan la librería OPENCV para unir el fondo y el resultado de la imagen intercambiada. A continuación, se describe la arquitectura del proceso de transformación.
Link: http://openaccess.thecvf.com/content_IC ... _paper.pdf