Investigadores de la Escuela Politécnica Federal de Lausana en Suiza (EPFL) han desarrollado un nuevo software —ahora una empresa emergente— que elimina la necesidad de enviar datos a servicios en la nube de terceros cuando se utiliza IA para completar una tarea. Esto podría desafiar el modelo de negocio de las grandes tecnológicas.
El uso de la inteligencia artificial en las tareas cotidianas ha crecido rápidamente en los últimos tres años. Los modelos de IA son cada vez más útiles para procesar datos sensibles, como historiales clínicos, solicitudes de clientes o cualquier documento confidencial relacionado con el trabajo.
Cada vez que se solicita a la IA que realice una tarea, la consulta se inicia localmente en el ordenador del usuario y se envía a la nube, donde la IA genera una respuesta mediante hardware potente, un proceso conocido como inferencia. La respuesta finalmente se envía al ordenador local del usuario.
Hoy en día, se utilizan enormes capacidades de procesamiento de datos para lograrlo, lo que requiere enormes centros de datos, necesarios también para entrenar modelos de IA, como ChatGPT, Gemini y Claude. Esto significa que tanto la inferencia como el entrenamiento están controlados casi exclusivamente por las grandes tecnológicas.
Plug and Play: IA distribuida simplificada
Ahora, los investigadores de la EPFL Gauthier Voron, Geovani Rizk y Rachid Guerraoui, del Laboratorio de Computación Distribuida (DCL) de la Facultad de Ciencias de la Computación y la Comunicación, han lanzado un nuevo software que permite a los usuarios descargar modelos de IA de código abierto y usarlos localmente, sin necesidad de la nube para responder preguntas o completar tareas. El nuevo software, llamado Anyway Systems, coordina y combina máquinas distribuidas en una red local en un clúster local. Utiliza robustas técnicas de autoestabilización para optimizar el uso del hardware local subyacente, contradiciendo la creencia popular de que se necesitan grandes centros de datos para implementar modelos de IA.
Se puede instalar en tan solo media hora en una red de máquinas locales sin que los datos salgan de la red, lo que garantiza la privacidad y la soberanía. Un modelo de IA de gran tamaño como GPT-120B, el modelo abierto más reciente y de mayor tamaño de OpenAI, se puede descargar e implementar en Anyway Systems en cuestión de minutos, requiriendo tan solo cuatro máquinas con una GPU estándar cada una (con un coste aproximado de 2.300 CHF o US$2.800 cada una), en lugar de un costoso rack especializado (con un coste aproximado de 100.000 CHF o US$125.600), que hasta ahora se consideraba necesario para ejecutar un modelo de IA.
“Durante años se ha creído que no es posible disponer de grandes modelos lingüísticos y herramientas de IA sin grandes recursos, y que la privacidad, la soberanía y la sostenibilidad de los datos son sólo víctimas de ello, pero no es así y es posible adoptar enfoques más inteligentes y económicos”, afirmó el profesor Rachid Guerraoui, director del DCL.
Privacidad, soberanía y sostenibilidad
Cuando los datos de un usuario se envían a la nube, surgen preguntas cruciales sobre seguridad y privacidad, en particular si esos datos se utilizan para entrenar o mejorar los modelos de IA. Asimismo, la dependencia de grandes proveedores globales de servicios de IA en la nube plantea interrogantes sobre la soberanía de la IA, ya que transfiere el control sobre activos nacionales críticos (datos, algoritmos e infraestructura) de una entidad nacional a corporaciones transnacionales. Además, la inmensa potencia informática necesaria para responder a las consultas de IA en la nube (se estima que la inferencia representa entre el 80 y el 90% de la potencia informática relacionada con la IA) está impulsando la rápida expansión de los enormes centros de datos para IA que consumen enormes cantidades de energía y agua.
“Anyway Systems destaca en inferencia, pero también podría ayudar a reducir los recursos necesarios para el entrenamiento”, explicó Guerraoui. “Las pruebas piloto han demostrado que cuando un modelo se descarga y se ejecuta en máquinas locales dispersas en lugar de en una nube enorme, podemos perder algo de latencia (es decir, el tiempo necesario para responder a una solicitud), pero no precisión”.
¿De blockchain a IA?
“Decimos que Anyway Systems es simple, escalable y seguro”, continúa Guerraoui. El DCL desarrolló variantes anteriores del algoritmo Anyway hace muchos años, donde los investigadores se han centrado durante mucho tiempo en la computación distribuida, la tolerancia a fallos, la optimización y la privacidad.
Los algoritmos anteriores del DCL eran soluciones existentes para otros desafíos de tecnologías como la cadena de bloques y las criptomonedas. Hace tres años, Guerraoui y sus colegas tuvieron la idea de aplicar técnicas de autoestabilización a la IA, encontrando una solución casi perfecta.
Como laboratorio, podríamos ser únicos al trabajar juntos en computación distribuida robusta y aprendizaje automático, tanto desde una perspectiva teórica como práctica, y centramos nuestra atención en el uso de técnicas de autoestabilización para IA. Funcionaron. Pensamos: “‘Optimicemos y optimicemos'”, y funcionaron aún mejor. El resultado es casi demasiado bueno para ser verdad”, afirmó Guerraoui.
Mirando hacia el futuro: tu propia IA en casa
De todos modos, Systems fue elegido recientemente como uno de los seis beneficiarios inaugurales del Startup Launchpad AI Track, impulsado por UBS, el primer programa de subvenciones de Suiza dedicado a la IA.
El software ha superado la fase de prototipo y ahora se está probando en empresas y administraciones de toda Suiza, incluida la EPFL. Los primeros usuarios están evaluando las ventajas y desventajas en términos de velocidad, precisión y calidad.
“Anyway Systems representa una tecnología interesante y atractiva que optimiza el uso de recursos al tiempo que garantiza la seguridad y soberanía de los datos y podría ser un punto de inflexión en la IA”, dijo el profesor David Atienza, vicepresidente asociado de centros de investigación y plataformas tecnológicas de la EPFL.
Su enfoque sostenible se alinea perfectamente con las necesidades de las plataformas informáticas avanzadas de la EPFL y desempeñará un papel fundamental a la hora de definir la trayectoria del futuro desarrollo de la IA en la EPFL para consumir menos recursos con la nueva implementación de modelos LLM como Apertus. Por ahora, Anyway Systems no funcionará en una sola computadora de escritorio o portátil en casa, pero la historia de la informática muestra que la optimización a menudo ocurre rápidamente.
Tu teléfono contiene cantidades increíbles de información que habrían sido inimaginables hace unos años, y ahora lo haces todo con él. Puede vencer a los 100 mejores campeones de ajedrez a la vez, mientras que el ordenador necesario para vencer a Kasparov era enorme.
“La historia nos dice que así son las cosas. Lo que decimos es que podremos hacerlo todo localmente en términos de IA. Podríamos descargar la IA de código abierto que prefiramos, adaptarla a nuestras necesidades, y nosotros, y no las grandes tecnológicas, podríamos controlarlo todo”, concluyó Guerraoui.
¿Cuál es la diferencia entre Anyway Systems y Google AI Edge?
Google AI Edge está diseñado para funcionar en teléfonos móviles con modelos muy específicos y pequeños creados por Google, donde cada usuario ejecuta un modelo limitado por la capacidad del teléfono. No existe computación distribuida que permita la implementación de los mismos modelos de IA grandes y potentes que comparten muchos usuarios de la misma organización de forma escalable y con tolerancia a fallos. El sistema Anyway puede gestionar cientos de miles de millones de parámetros con solo unas pocas GPU.
¿Cuál es la diferencia entre Anyway Systems y otras soluciones que permiten a las personas ejecutar LLM locales como Llama o msty.ai?
La mayoría de estos enfoques permiten implementar un modelo en una sola máquina, lo cual representa una única fuente de fallos. Para implementar los modelos más potentes, es necesario comprar e invertir en máquinas muy costosas, básicamente las mismas que se encuentran en un centro de datos. Por lo tanto, si se cuenta con una sola máquina, las soluciones mencionadas son útiles para implementar modelos pequeños.
Si se tienen varias máquinas comunes, no es posible combinarlas eficientemente con las soluciones mencionadas para implementar un modelo grande; incluso si se pudiera, se requeriría un equipo para administrar y mantener el sistema. Anyway Systems lo hace de forma transparente, robusta y automática. En Anyway Systems, el hecho de que una máquina falle, abandone o se una a la red es transparente, salvo por un pequeño cambio en la latencia (el tiempo de respuesta a una solicitud).
Los modelos de IA se mejoran y actualizan constantemente. ¿Cómo se reflejan estas mejoras a nivel local?
Como el sistema Anyway permite que cualquier modelo de IA de código abierto se implemente localmente, alimentarlo con datos locales y confidenciales se vuelve completamente seguro y aceptable, devolviéndole el control al usuario.
Fuente: Tech Xplore.