-
La compañía dirigida por Sam Altman subrayó que el modelo puede llevar a cabo escenas tan precisas porque no solo comprende lo que el usuario solicita en sus indicaciones de texto, sino que también es capaz de comprender cómo existen esas cosas en el mundo físico para añadir realismo.
OpenAI, empresa referente en el desarrollo y aplicación de la inteligencia artificial generativa, presentó Sora, su nuevo modelo impulsado por IA capaz de crear “escenas realistas de video” de hasta 60 segundos a partir de instrucciones de texto, con un resultado detallado, un movimiento de cámara complejo y múltiples personajes con emociones.
La tecnológica estadounidense pretende continuar avanzando en las capacidades de la IA, en concreto, entrenando modelos que ayuden a las personas a resolver problemas que requieran interacción con el mundo real. Para ello, ha estado trabajando en formas de enseñar a la IA a comprender y simular el “mundo físico en movimiento”.
Como resultado, OpenAI presentó Sora, un modelo de texto a video con el que se permite la creación de videos realistas de hasta un minuto a partir de las indicaciones que aporte el usuario.
Así, tal y como detalló la compañía en su web y compartió a través de una publicación en X, antes Twitter, Sora permite la creación de escenas “altamente detalladas”, así como movimientos cinematográficos “complejos” capaces de integrar múltiples personajes que, incluso, muestran emociones.
Para hacer estos videos, el usuario tan solo deberá escribir una serie de indicaciones detallando que características tiene que incluir la escena, como los personajes y las acciones que llevarán a cabo, el entorno, el clima, y los movimientos de cámara que se deban recrear.
Por ejemplo, uno de los videos de muestra compartidos por la propia compañía, cuenta con las siguientes indicaciones: “una mujer elegante camina por una calle de Tokio llena de neones que brillan con luz cálida y letreros animados de la ciudad. lleva una chaqueta de cuero negra, un vestido largo rojo y botas negras, y lleva un bolso negro. lleva gafas de sol y pintalabios rojo. camina segura y despreocupada. la calle está húmeda y es reflectante, lo que crea un efecto espejo de las luces de colores. muchos peatones caminan alrededor”.
En concreto, la compañía dirigida por Sam Altman subrayó que el modelo puede llevar a cabo escenas tan precisas porque no solo comprende lo que el usuario solicita en sus indicaciones de texto, sino que también es capaz de comprender cómo existen esas cosas en el mundo físico para añadir realismo.
Siguiendo esta línea, se debe tener en cuenta su amplio conocimiento del lenguaje, lo que permite que Sora interprete todas las indicaciones de texto con “precisión”, por ejemplo, creando personajes realistas que expresan “emociones vibrantes“.
Incluso, es capaz de generar un video a partir de una imagen física existente, animando el contenido de la imagen con precisión y sin perder detalle. De la misma forma, también permite alargar la duración de un video existente o completar algunos fotogramas.
En cuanto a su funcionamiento, Sora genera un video a partir de otros videos que, según OpenAI, parecen “ruido estático”. De esta manera, el modelo lo transforma gradualmente eliminando el ruido en muchos pasos, hasta llegar a la visualización de las imágenes realistas.
Asimismo, al igual que los modelos GPT, utiliza una “arquitectura de transformador” con la que, según la compañía, de desbloquea un rendimiento de escalado superior. Concretamente, las imágenes del vídeo se representan como “colecciones de unidades de datos más pequeñas”, a las que se refiere como parches. Así, cada parche es el equivalente a un token en GPT.
Por el momento, el uso del nuevo modelo solo está disponible para los miembros del equipo rojo de OpenAI, el equipo dedicado a la investigación del servicio, de cara a ponerlo a prueba y comprobar qué fallos presenta y cuáles son sus posibles riesgos.
Igualmente, Sora también está siendo probado por un grupo de artistas visuales, diseñadores y cineastas, de cara a conocer las posibles mejoras del modelo y hacer que sea lo más útil posible para los profesionales creativos, según ha explicado la compañía.
De hecho, tal y como ha compartido OpenAI, el modelo todavía presenta algunas dificultades para representar cuestiones relacionadas con el espacio, la física o las acciones de causa y efecto. Por ejemplo, si se detalla que en el vídeo debe aparecer una persona mordiendo una galleta, es posible que la galleta aparezca posteriormente en otra escena sin el mordisco.
- De la misma forma, también pueden surgir errores como que el modelo mezcle la izquierda con la derecha, o que no sea capaz de seguir una trayectoria de cámara específica.
Con todo ello, OpenAI subrayó que están tomando varias medidas de seguridad que implementarán en Sora antes de que el modelo esté disponible de forma general para más usuarios. Para ello, están trabajando junto al equipo rojo, que también dispone de expertos en áreas de desinformación, contenido que incita al odio y perjuicios.
Por otra parte, la compañía de Altman está desarrollando herramientas para detectar contenido engañoso. Se trata de una serie de funciones que permitirán clasificar los vídeos generados por Sora, para identificarlos frente a otro tipo de vídeos o vídeos reales. Una de estas funciones es la implementación de metadatos de C2PA, un estándar que verifica el origen del contenido y la información relacionada.
Además de todo ello, actualmente también se están utilizando los métodos de seguridad que ya utilizan otros productos de la tecnológica impulsados por DALL·E 3 que, según ha dicho, también son aplicables a Sora.
Estos métodos de seguridad verifican y rechazan las solicitudes de ingreso de texto que infrinjan las políticas de uso, como es el caso de cuestiones relacionadas con violencia extrema, contenido sexual, imágenes de odio o imágenes personales. Igualmente, también disponen de clasificadores de imágenes que revisan los fotogramas de cada vídeo para garantizar que se cumplan las políticas de la compañía, antes de mostrarlo al usuario.
