La comunicación entre personas que hablan diferentes idiomas es un reto que ha existido desde hace siglos y para mí es uno de los campos donde el papel de la IA va a jugar un papel protagonista en los próximos meses consiguiendo que el viejo mito del traductor universal de la ciencia ficción clásica se convierta en una realidad y nos permita mantener una conversación con cualquier persona, hable el idioma que hable.
Meta AI ha presentado Seamless, una familia de modelos que utiliza tecnologías de reconocimiento de voz, traducción automática y síntesis de voz para convertir el habla de un idioma a otro de forma instantánea y natural, respetando el significado así como el tono y el estilo del original lo que ayuda a transmitir las emociones y la intención.
Según Meta AI, Seamless es capaz de traducir más de 100 idiomas y dialectos con una alta precisión y fluidez. Además, el traductor se adapta al contexto, al tono y al estilo de cada hablante, lo que mejora la calidad y la naturalidad de la traducción. Seamless también puede detectar y traducir el lenguaje no verbal, como las expresiones faciales y los gestos, lo que añade más información y matices a la comunicación.
El modelo Seamless se apoya en SeamlessExpressive, un modelo que preserva la expresividad de la conversación y SeamlessStreaming, el modelo de traducción de alta calidad de baja latencia.
A diferencia de los sistemas convencionales que traducen cuando el orador ha terminado su oración, SeamlessStreaming traduce mientras el orador todavía está hablando. Esto significa que la persona con la que están hablando puede escuchar una traducción casi en tiempo real, con un retraso de apenas 2 segundos, en lugar de esperar hasta que el hablante haya terminado su oración.
SeamlessStreaming admite la reconocimiento automático de voz y la traducción de voz a texto para casi 100 idiomas de entrada y salida, y la traducción de voz a voz para casi 100 idiomas de entrada y 36 idiomas de salida.
Fiel a su compromiso de desarrollo de soluciones de IA como open source, Meta ha publicado los modelos, código y datos.
🟣 Puedes probar la demostración en su web
Fuente: Introducing a suite of AI language translation models that preserve expression and improve streaming
