Herramientas del oficio: cómo Buck y Takashi Murakami usaron Spark AR para dar vida al trabajo del artista
En nuestra serie Tools Of The Trade , los artistas y cineastas de la industria hablan sobre su herramienta preferida en un proyecto reciente, ya sea una herramienta digital o física, nueva o antigua, de lujo o muy barata.

En nuestra serie Tools Of The Trade , los artistas y cineastas de la industria hablan sobre su herramienta preferida en un proyecto reciente, ya sea una herramienta digital o física, nueva o antigua, de lujo o muy barata. En esta entrega, Helena Dong se unió a nosotros para hablar sobre cómo ella y su equipo en Buck usaron Spark AR, una herramienta de creación de realidad aumentada de la caja de herramientas Meta, para producir el programa de realidad aumentada de Takashi Murakami en The Broad en Los Ángeles, abierto hasta el 25 de septiembre.
Pasando a Dong:

Helena Dong: Soy diseñadora, tecnóloga creativa y directora de arte con sede en la ciudad de Nueva York, y entrelazo corrientes conceptuales de la moda, el rendimiento y la realidad aumentada (ar). Anteriormente, desarrollé y dirigí activaciones de arte para A24, Coachella, Nike, Prada, Selfridges y Vogue. Ahora, junto con un equipo global en Buck, colaboro en proyectos experienciales que adoptan varias tecnologías inmersivas.
La instalación
En asociación con Instagram, creamos seis efectos de arte específicos para el sitio y la exhibición para "Takashi Murakami: Stepping on the Tail of a Rainbow", que se inauguró en The Broad Museum en mayo de 2022.
Cuando se experimentan en el contexto de la exhibición de Murakami, su primera exhibición en un museo de EE. UU. que tiene un componente de ar, estos efectos de ar evolucionan hasta convertirse en instalaciones que se desbloquean a través de vinilos de activación personalizados en el lugar. Los visitantes escanearían los vinilos para lanzar los efectos Instagram Spark AR que utilizan la capacidad de seguimiento de objetivos para colocar objetos 3D a su alrededor.
En los seis efectos de arte, aprovechamos los personajes vibrantes y expresivos de Murakami para aplicar el espacio físico con capas adicionales de riqueza, incluidas las icónicas Ohana Flowers, Mr. DOB, los demonios "Um" y "A", Pom & Me, My Lonesome Cowboy y HIROPON. — unificando aún más su visión artística con la arquitectura y el espíritu de The Broad, mientras apoya el viaje del visitante desde East-West Bank Plaza fuera del museo hasta el espacio de la galería "Land of the Dead".
La herramienta
Spark AR Studio es una herramienta de creación de realidad aumentada que permite a los usuarios crear efectos ar para una variedad de plataformas dentro de la familia Meta, incluidas Instagram, Facebook, Messenger y Portal. Las experiencias están dirigidas principalmente a dispositivos móviles o tabletas. Spark AR comprende varias aplicaciones de escritorio para creación y simulación, y un portal en línea para publicación y análisis.
Desde el lanzamiento de su versión beta pública en 2019, Spark AR ha democratizado el proceso de desarrollo para que cualquiera pueda crear efectos AR, independientemente de su experiencia en programación.
Desde la perspectiva de la creación, Spark AR permite prototipos de alta y baja fidelidad; la herramienta es flexible y mantiene un nivel de facilidad en el transporte de ideas del papel al espacio virtual. De hecho, esto acelera nuestro proceso de iteración y permite que los comentarios se implementen rápidamente sin mucha desconexión entre nuestros líderes creativos y los tecnólogos creativos.
Un elemento central de la herramienta es también su amplia disponibilidad; hacer que las experiencias ar estén disponibles en Instagram mejora el alcance, incluso si dichas experiencias son específicas del sitio. Al alinear las activaciones con una plataforma de redes sociales existente, la mayoría de los visitantes no necesitarían descargar aplicaciones adicionales para disfrutar de la experiencia. Los efectos se abren a través de la cámara de Instagram, otorgando instantáneamente a los visitantes la posibilidad de compartir lo que ven.
Dentro de Spark AR, la lógica de un efecto a menudo se construye utilizando un sistema de secuencias de comandos visuales llamado Patch Editor, esencialmente conectando nodos entre sí. Los creadores pueden optar por desarrollar a través del Editor de parches o mediante secuencias de comandos tradicionales, o una combinación de ambos. Si bien las habilidades de codificación no son imprescindibles, una comprensión de la lógica de programación sería muy beneficiosa, ya que se refleja en gran medida en la disposición de los nodos. Las secuencias de comandos también le permitirían incorporar técnicas más avanzadas en sus efectos.
Ejemplos
Usando Spark AR, el equipo de Buck Creative Technology, dirigido por Kirin Robinson y Daniel Vettorazi, calibró los efectos para que los objetos 3D se instanciaran después de que el visitante escaneara el vinilo del piso. Estos objetos fueron dispuestos con precisión en relación con la posición y el ángulo de cada vinilo.

Los activos de parches son nodos agrupados que optimizan nuestro flujo de trabajo en el editor de parches, lo cual es crucial para crear efectos de ar avanzados. Kirin y Daniel crearon un "sistema de combinaciones de colores procedimentales" utilizando activos de parches personalizados que nos permitieron aplicar doce conjuntos de colores diferentes a las mismas animaciones faciales para las flores de Ohana. ¡Doce combinaciones de colores se condensaron en cuatro hojas de sprites con capacidad para ocho segundos de animación!

Al aplicar un modelo escaneado en 3D del vestíbulo de The Broad con una textura de oclusión, pudimos tallar nichos en las paredes donde se encuentran los demonios gemelos.

Usando la misma técnica de oclusión, el piso se abre a un portal subterráneo con profundidad volumétrica, del cual emergen los avatares de Murakami, HIROPON y My Lonesome Cowboy.

Configuramos un temporizador para activar una animación de flores en 3D que florecen junto al Sr. DOB y construimos un sistema de partículas con sprites animados que caen de la nube del Sr. DOB, mostrando cada flor despertando, bostezando y sonriendo antes de disolverse.
Puntas
Para cualquier persona interesada, la plataforma Spark AR ofrece una gran cantidad de recursos de aprendizaje, plantillas de proyectos y activos reutilizables. Además de su documentación, Spark también ofrece un plan de estudios para obtener una certificación profesional.
Cuando descargué el software por primera vez en septiembre de 2019, no tenía conocimientos de programación ni comprensión del diseño 3D. Mi primer efecto ar publicado fue decididamente simple, con solo un png transparente sobre la cara.
Ese primer paso parecía bastante simple, pero con el tiempo me di cuenta de la amplia variedad de disciplinas afiliadas con ar, dadas las cualidades espaciales e interactivas del medio. Por un lado, el conocimiento de la tubería de activos 2d y 3d es integral tanto para el flujo de trabajo Spark AR como para la experiencia final. Esta lista se extiende a la animación, el diseño visual, la escenografía, la mecánica del juego y más... ¿Qué hace que una experiencia ar sea inmersiva y convincente? ¿Qué técnicas elevan su fidelidad visual? ¿Qué configuraciones son las más adecuadas para optimizar el rendimiento en tiempo real? Estos son los tipos de preguntas que puede hacer mientras explora la herramienta, preguntas para las que necesitará encontrar respuestas cuando comience a usar Spark AR profesionalmente.
Si no está seguro de por dónde empezar, le sugiero que se sumerja en la documentación y el plan de estudios oficiales. Únase al grupo comunitario Spark AR en Facebook; es un centro para que los creadores de todos los niveles compartan proyectos, intercambien ideas y aprendan unos de otros.
Pensamientos finales
Spark AR es una herramienta fascinante que nos permite anotar el mundo con un nuevo lenguaje visual. A medida que exploramos y creamos con esta herramienta, también debemos afinar qué es lo que maximiza el valor de ar para las personas. A veces, dar un paso atrás para evaluar el "por qué" es clave para garantizar que nuestro uso de tecnologías incipientes siempre se justifique dentro de una intención genuina. Pero antes de llegar a ese punto, lo animo a que simplemente lo intente con una mente abierta: un sentido de curiosidad es todo lo que necesita para comenzar.