22 de noviembre de 2024

MediaTek aprovecha Llama 2 de Meta para mejorar la IA generativa en los dispositivos Edge

Escucha este Artículo

MediaTek, una empresa líder mundial en semiconductores sin fábrica que habilita anualmente más de dos mil millones de dispositivos conectados en el borde, anunció hoy que está colaborando estrechamente con Meta en Llama 2, el modelo de lenguaje grande de código abierto de próxima generación de la organización (abreviado LLM por Lenguaje Grande). Modelo en inglés). MediaTek tiene como objetivo crear un ecosistema informático de vanguardia para acelerar el desarrollo de aplicaciones de IA en teléfonos inteligentes, IoT, automóviles, hogares, teléfonos inteligentes y otros dispositivos de vanguardia utilizando el LLM de Meta, las APU MediaTek más recientes y la plataforma de IA NeuroPilot.

En la actualidad, la mayor parte del procesamiento de IA generativa se realiza a través del cómputo en la nube; sin embargo, el uso de MediaTek de modelos Llama 2 permitirá que las aplicaciones de IA generativa también se ejecuten directamente en el dispositivo. Esto ofrece varias ventajas a los desarrolladores y usuarios, incluyendo un rendimiento perfecto, mayor privacidad, mejor seguridad y confiabilidad, menor latencia, la capacidad de trabajar en áreas con poca o ninguna conectividad y menor costo de operación.

Para aprovechar verdaderamente la tecnología de IA generativa en el dispositivo, los fabricantes de dispositivos de borde deberán adoptar procesadores de IA con alto desempeño de cómputo, bajo consumo y una conectividad más rápida y confiable, para mejorar las capacidades informáticas. Todos los SoC para teléfonos inteligentes 5G con tecnología de MediaTek que hoy se envían están equipados con APUs diseñadas para realizar una amplia variedad de funciones de IA generativa, como reducción de ruido de IA, superresolución de IA, MEMC de IA y más.

Además, la próxima generación de chipsets insignia de MediaTek, que se presentará a finales de este año, contará con software optimizado para ejecutar Llama 2, así como una APU mejorada con aceleración de red troncal del transformador, acceso reducido de huella y uso de ancho de banda DRAM, además de mejorar aún más el LLM y el rendimiento AIGC. Estos avances facilitan un ritmo acelerado para crear casos de uso para la IA Generativa en el dispositivo.

“La creciente popularidad de la IA Generativa es una tendencia importante en la transformación digital, y nuestra visión es proporcionar a la comunidad de desarrolladores y usuarios de Llama 2 las herramientas necesarias para innovar por completo en el espacio de la IA”, dijo JC Hsu, Vicepresidente Senior Corporativo y Gerente General de la Unidad de Negocios de Comunicaciones Inalámbricas de MediaTek. “A través de nuestra asociación con Meta, podemos ofrecer hardware y software con mucha más capacidad en el borde”.

MediaTek espera que las aplicaciones de IA basadas en Llama 2 estén disponibles para los teléfonos inteligentes impulsados ​​por el SoC insignia de próxima generación, cuyo lanzamiento al mercado está programado para finales de año.