Ya no necesitarás estudiar idiomas; las gafas de Meta traducen por ti al instante

Meta explicó cómo funcionan las traducciones instantáneas de sus gafas con inteligencia artificial (IA), capaces de transcribir, traducir y reproducir audio en cuestión de segundos directamente desde el dispositivo. Su desarrollo se enfocó en un diseño centrado en las personas y en superar diversos obstáculos para adaptarse a las necesidades del usuario y facilitar la comunicación.

La barrera del idioma ha sido un reto constante para la sociedad, que busca formas de satisfacer la necesidad básica de comunicarse y ser comprendida.

La primera vez que la compañía liderada por Mark Zuckerberg presentó funciones impulsadas por IA en tiempo real para sus gafas inteligentes fue durante su evento anual Meta Connect 2024, donde mostró una demostración de traducciones instantáneas en una conversación.

Expansión y compatibilidad multilingüe

Desde entonces, Meta ha ampliado la disponibilidad de la traducción simultánea en toda su línea de gafas con inteligencia artificial, incluidos los modelos Ray-Ban Meta, Oakley Meta Vanguard, Oakley Meta HSTN y las nuevas Meta Ray-Ban Display, presentadas en septiembre.

Actualmente, las gafas ofrecen compatibilidad con varios idiomas, entre ellos inglés, francés, alemán, italiano, portugués y español, lo que permite una comunicación más accesible en distintas regiones.

Esta funcionalidad es especialmente útil: basta con llevar las gafas activas para que, al conversar en otro idioma, los altavoces reproduzcan las traducciones casi de inmediato. No obstante, cómo se logra realmente esta tecnología de traducción sigue siendo una incógnita para muchos.

Funcionamiento: transcripción, traducción y audio

La traducción comienza al captar la conversación. Las gafas Ray-Ban Meta integran cinco micrófonos que recogen tanto el sonido ambiente como las voces del interlocutor y del usuario.

Según el director de producto, Nish Gupta, la disposición de los micrófonos permite identificar quién está hablando, lo que garantiza traducciones más precisas.

Una vez realizada la traducción, en lugar de depender de una pantalla para mostrar el texto, las gafas reproducen el audio traducido mediante altavoces integrados, en tiempo casi real.

Este proceso se ejecuta de forma local, en el propio dispositivo. Por ejemplo, al detectar una frase en francés, el sistema la transcribe a texto, la traduce al español y convierte ese texto traducido en audio, que se reproduce al instante.

Diseño y desafíos técnicos

Aunque el proceso puede parecer sencillo, Meta sostiene que se trata de una función compleja. El enfoque centrado en el usuario implicó prever su uso en contextos diversos, como viajes internacionales, espacios de trabajo o entornos de aprendizaje.

El equipo de desarrollo también consideró escenarios atípicos, según explicó Ashish Garg, director de gestión de producto. Por ejemplo, pensaron en situaciones sin conexión a internet y plantearon opciones como descargar los idiomas con anticipación o utilizar la función en modo avión.

Este enfoque llevó a que la traducción no se procese en servidores remotos, sino mediante un modelo de IA integrado en las propias gafas.

Integrar un modelo tan avanzado en un dispositivo portátil fue un reto. Emerson Qin, gerente de producto, explicó que trabajar sin conexión limita el acceso a información adicional y complica el desarrollo.

También fue necesario optimizar los modelos de IA para que funcionaran con la capacidad de memoria disponible, sin causar sobrecalentamiento. Otro desafío fue reducir la latencia de más de cinco segundos a 2.7 segundos, lo que mejoró la fluidez de las conversaciones en un 46 %.

Los desarrolladores también repensaron la forma en que las gafas interactúan con el usuario para lograr una experiencia más natural tanto para quien las usa como para su interlocutor.

“La innovación más destacable es que el modelo comprende, traduce y genera audio en tiempo real, incluso antes de que termine una frase”, señaló Qin.

Perspectivas futuras

Meta reconoce que aún hay margen de mejora: la latencia persiste y la precisión no es perfecta. Su meta es ofrecer traducciones más rápidas, precisas y en más idiomas.

Para añadir nuevos idiomas, el equipo debe entrenar y evaluar modelos personalizados para el formato de gafas inteligentes, lo que dificulta la escalabilidad de esta tecnología.

Pese a ello, las traducciones en tiempo real ya se usan para conectar con familiares, orientarse en lugares nuevos, comunicarse en comunidad y superar barreras laborales.

Meta asegura que esta función ha sido bien recibida, a la par de otras tecnologías de IA, y destaca que también puede complementarse con transcripciones de texto en ambos idiomas dentro de la aplicación Meta AI. Esto permite una interacción más natural que con auriculares, los cuales pueden aislar al usuario.

“A medida que se añaden más idiomas, la industria tecnológica ayuda a que el mundo se sienta más conectado, una conversación a la vez”, concluyó la empresa.