Hablan los creadores del ‘deepfake’ de Lola Flores: “Pese a usar Inteligencia Artificial fue un proceso bastante artesanal”
El deepfake de Lola Flores que protagoniza la nueva campaña de Cruzcampo es sencillamente espectacular. Dejando atrás valles inquietantes y fallas técnicas, la réplica virtual de una de nuestras artistas más legendarias demuestra —como ya lo hicieron las impresionantes versiones juveniles de los protagonistas de ‘30 monedas‘— que España es una auténtica potencia en la creación de deepfakes. En este caso, el resultado lo tenía todo a su favor: apoyo de la familia (también aportando material gráfico), tiempo suficiente y una marca potente detrás para financiar el proceso.
Ogilvy es la agencia publicitaria que se encuentra detrás del proyecto, y Metropolitana el estudio de efectos especiales y postproducción que lo ha llevado a cabo. Un deepfake made in Barcelona. Hemos hablado con Juan Pedro Moreno y Javi Senovilla, directores creativos de la campaña de la primera; y Ramon Arteman y Nico Roig, director y miembro del departamento de 3D respectivamente de la segunda para que nos den detalles sobre el proceso y expliquen qué dificultades han tenido que ir superando hasta llegar al resultado final.
5.000 imágenes de Lola y dos softwares para pulir la imagen
El proyecto, nos cuenta Juan Pedro Moreno, director creativo del spot, ha sido largo, ya que el plan era que la campaña saliera en marzo del año pasado, “pero la pandemia nos ha dado margen para tener cierto margen de maniobra y pulir hasta el más mínimo detalle”. El proceso técnico del deepfake en sí, no obstante, ha sido mucho más breve: apenas “tres o cuatro semanas”, que se alargaron algo más porque sus clientes quisieron “ir haciendo pruebas, cambiando fondos, viendo distintos ajustes”. Y al contar con tiempo extra gracias al retraso provocado por la pandemia, pudieron aumentar el tiempo dedicado a los retoques finales y los detalles más nimios.
Para empezar, Metropolitana tuvo que recopilar imágenes que sirvieran de base: “La idea era tener la mayor cantidad posible de rangos de ángulos de la cara y expresiones. Todas las horas que teníamos de metraje se reducían a unas 5.000 imágenes aproximadamente con las que alimentamos la inteligencia artificial“, cuenta Ramón Arteman, director y cofundador de Metropolitana. Ese metraje traía un problema: “Lo delicado era la resolución, las imágenes estaban en PAL en baja resolución, lo que llevó a la obtención de un material que no siempre tenía la mejor calidad que queríamos para el plano”, así que hubo que retocar muchas de ellas para optimizarlas.
El hecho de que Lola Flores tuviese una carrera tan prolongada en el tiempo fue, paradójicamente, problemático: “Una dificultad añadida fue que había muchas imágenes de toda la vida de Lola Flores, pero teníamos que escoger una época concreta que sirviera de referencia, algo que hicimos entre nosotros, la agencia y la propia familia. Nos presentaron unas cien fotos y nos preguntaron cuál nos gustaba. Cogimos una imagen de Lola que fue como un tótem”, explica Ramón.
Primera imagen pactada entre todas las partes de la producción y la familia de Lola Flores que serviría como referencia para crear el deepfake. Imagen cedida por Metropolitana. Esa primera referencia fue una foto de Lola cuando tenía unos cincuenta años, pero finalmente se consensuó otra algo posterior y en mayor calidad. “Esa foto la tenemos como el Santo Grial. A partir de ella comparábamos ojos, cejas, el mentón, la figura general… Esa fue la foto que no dejábamos de mirar para comparar el resultado que íbamos logrando“, explica el director de Metropolitana.
El siguiente paso fue grabar a una actriz creando un modelo 3D, “un molde sobre el que se iría tejiendo un entramado quirúrgico sobre el que se recrearía el rostro de Lola”, nos comenta Javier Senovilla, uno de los directores creativos del spot. La actriz sería la base de todos los gestos sobre los que luego irían las imágenes de la Lola Flores real, “que luego se perfilaría retocando digitalmente expresiones de la cantante y detalles de la piel, como la parte de la unión del cabello con la frente, que hubo que retocar por separado para salvar las diferencias entre el físico de la modelo y el de Lola Flores”, afirma Roig.
A la izquierda, la imagen que fue finalmente la usada como referencia por parte del equipo encargado del deepfake, con Lola Flores en torno a su cincuentena. A la derecha, un frame del resultado final. Imagen cedida por Metropolitana. En este proceso se usaron dos programas específicos para crear deepfakes. Por un lado, FaceSwap, un software de código abierto basado en TensorFlow, Keras y Python. Tiene una apariencia muy visual que facilita el trabajo, al menos en una primera fase. Para la segunda fase se requería algo que permitiese profundizar mucho más en los detalles, de forma más artesanal, y usando código. Ese segundo software fue DeepFaceLab, utilizado para esos largos retoques finales.
Nico Roig, del departamento 3D de Metropolitana y uno de los encargados de devolver a Lola Flores a la vida en cierta forma, explica que “DeepFaceLab nos daba mejor resultado a la hora de controlar todos los parámetros, que es el quid de la cuestión”, y que “el retoque final, no solo del deepfake sino de su integración final, composición, etc; nos llevó casi tanto tiempo como el propio deepfake. El último 10% supuso casi tanto tiempo como todo lo anterior. Tener tiempo es lo que permitió trabajarlo así para tener contento a todo el mundo: a Cruzcampo, a la agencia, al equipo de producción, al director, a la familia de Lola…”.
Arriba, grabaciones de la actriz en la que se basa el ‘deepfake’. Abajo, metraje de Lola Flores en posiciones similares a las de la actriz. Esta última parte, la familia, fue clave desde el mismo principio, cuando era solo un guión: Javier Senovilla, codirector creativo del spot, nos cuenta que “Rosario Flores nos dijo que no cambiáramos ni una coma, son cosas que mi madre habría podido decir”. A partir de ahí fueron asesorando en detalles tan nimios como la corrección de gestos, la forma de las cejas “o comentarios que nosotros nunca habríamos tenido en cuenta, como que la raya del peinado nunca la habría llevado enmedio”, comenta. Incluso Lolita imitó la voz de su madre en un proceso que también pasó por una profunda postproducción. “Luego íbamos experimentando con la grabación”, afirma Moreno, “haciendo pruebas con limitadores para modificar el tono, y mediante un software especial fuimos modulando el timbre para acercarlo al original”
En ese trabajo final entraron retoques poco apreciables para quien ve el anuncio, pero propios de quien presta atención al detalle, como optimizar la mirada para que fuese “más felina” o ajustar el tamaño de las orejas, ya que las de la actriz no encajaban del todo en las de Lola. También hicieron a propósito una obstrucción de la cara con las manos, algo que no se hace en el deepfake “tradicional” (todas las comillas del mundo para hablar de un “deepfake tradicional”) para, según Nico, “convencer a los indecisos”. “Fue un proceso bastante artesanal y subjetivo”, concluye.
Durante los últimos meses, con el vídeo en desarrollo o ya creado y a la espera de que arrancase la campaña publicitaria, desde Metropolitana esperaban con ganas el momento de que viese la luz. “No esperábamos que hiciese tanto ruido, la respuesta está siendo genial”, cuenta Ramón. 16.000 retuits y 30.000 ‘me gusta’ en sus primeras cinco horas publicado en Twitter. En ese tiempo de espera pudieron probar su efectividad enseñando el spot a quienes no conocieran la naturaleza del deepfake, siempre con buenos resultados: pero comenta Moreno que “se nos disipaban todas las dudas cuando sus propias hijas daban el visto bueno a la recreación que habíamos hecho”.
–
La noticia
Hablan los creadores del ‘deepfake’ de Lola Flores: “Pese a usar Inteligencia Artificial fue un proceso bastante artesanal”
fue publicada originalmente en
Xataka
por
Javier Lacort y John Tones
.
