Las computadoras analógicas podrían entrenar la IA 1000 veces más rápido y reducir el uso de energía

Las computadoras analógicas que resuelven rápidamente un tipo clave de ecuación utilizada en el entrenamiento de modelos de inteligencia artificial podrían ofrecer una solución potencial al creciente consumo de energía en los centros de datos causado por el auge de la IA.

Las computadoras portátiles, los teléfonos inteligentes y otros dispositivos familiares se conocen como computadoras digitales porque almacenan y procesan datos como una serie de dígitos binarios, ya sea 0 o 1, y pueden programarse para resolver una variedad de problemas. Por el contrario, los ordenadores analógicos normalmente están diseñados para resolver un solo problema específico. Almacenan y procesan datos utilizando cantidades que pueden variar continuamente, como la resistencia eléctrica, en lugar de ceros y unos discretos.

Las computadoras analógicas pueden sobresalir en velocidad y eficiencia energética, pero anteriormente carecían de la precisión de sus contrapartes digitales. Ahora, Zhong Sun de la Universidad de Pekín, China, y sus colegas han creado un par de chips analógicos que funcionan juntos para resolver con precisión ecuaciones matriciales, una parte fundamental del envío de datos a través de redes de telecomunicaciones, la ejecución de grandes simulaciones científicas o el entrenamiento de modelos de inteligencia artificial.

El primer chip genera muy rápidamente una solución de baja precisión para los cálculos matriciales, mientras que un segundo ejecuta un algoritmo de refinamiento iterativo para analizar las tasas de error del primer chip y así mejorar la precisión. Sun dice que el primer chip produce resultados con una tasa de error de alrededor del 1 por ciento, pero que después de tres ciclos del segundo chip, esta cifra cae al 0,0000001 por ciento, lo que, según él, coincide con la precisión de los cálculos digitales estándar.

Hasta ahora, los investigadores han construido chips capaces de resolver matrices de 16 por 16, o aquellas con 256 variables, que podrían tener aplicaciones para algunos problemas pequeños. Pero Sun admite que abordar las cuestiones utilizadas en los grandes modelos de IA actuales requeriría circuitos mucho más grandes, tal vez de un millón por un millón.

Pero una ventaja que tienen los chips analógicos sobre los digitales es que las matrices más grandes no tardan más en resolverse, mientras que los chips digitales luchan exponencialmente a medida que aumenta el tamaño de la matriz. Eso significa que el rendimiento (la cantidad de datos procesados ​​por segundo) de un chip de matriz de 32 por 32 superaría al de una GPU Nvidia H100, uno de los chips de gama alta que se utilizan hoy en día para entrenar la IA.

En teoría, una mayor escala podría hacer que el rendimiento alcance 1.000 veces el de los chips digitales como las GPU, mientras se utiliza 100 veces menos energía, afirma Sun. Pero se apresura a señalar que las tareas del mundo real pueden desviarse de las capacidades extremadamente limitadas de sus circuitos, lo que lleva a ganancias menores.

«Es sólo una comparación de velocidad, y para aplicaciones reales, el problema puede ser diferente», dice Sun. «Nuestro chip sólo puede realizar cálculos matriciales. Si el cálculo matricial ocupa la mayor parte de la tarea informática, representa una aceleración muy significativa del problema, pero si no, será una aceleración limitada».

Sun dice que debido a esto, el resultado más probable es la creación de chips híbridos, donde una GPU presenta algunos circuitos analógicos que manejan partes muy específicas de los problemas, pero incluso eso probablemente tardará algunos años.

James Millen, del King’s College de Londres, afirma que los cálculos matriciales son un proceso clave en el entrenamiento de modelos de IA y que la computación analógica ofrece un impulso potencial.

«El mundo moderno está construido sobre computadoras digitales. Estas increíbles máquinas son computadoras universales, lo que significa que pueden usarse para calcular absolutamente cualquier cosa, pero no todo necesariamente puede calcularse de manera eficiente o rápida», dice Millen. «Las computadoras analógicas están diseñadas para tareas específicas y, de esta manera, pueden ser increíblemente rápidas y eficientes. Este trabajo utiliza un chip informático analógico para acelerar un proceso llamado inversión de matriz, que es un proceso clave en el entrenamiento de ciertos modelos de IA. Hacer esto de manera más eficiente podría ayudar a reducir las enormes demandas de energía de nuestra dependencia cada vez mayor de la IA».