Redefiniendo la eficiencia de la IA con compresión extrema

Los vectores son la forma fundamental en que los modelos de IA entienden y procesan la información. Los vectores pequeños describen atributos simples, como un punto en un gráfico, mientras que los vectores de «altas dimensiones» capturan información compleja como las características de una imagen, el significado de una palabra o las propiedades de un conjunto de datos. Los vectores de alta dimensión son increíblemente poderosos, pero también consumen grandes cantidades de memoria, lo que genera cuellos de botella en el caché de valores clave, una «hoja de trucos digital» de alta velocidad que almacena información de uso frecuente bajo etiquetas simples para que una computadora pueda recuperarla instantáneamente sin tener que buscar en una base de datos lenta y masiva.

La cuantificación de vectores es una poderosa técnica de compresión de datos clásica que reduce el tamaño de vectores de alta dimensión. Esta optimización aborda dos facetas críticas de la IA: mejora la búsqueda vectorial, la tecnología de alta velocidad que impulsa la IA y los motores de búsqueda a gran escala, al permitir búsquedas de similitudes más rápidas; y ayuda a desatascar los cuellos de botella de la caché de valores clave al reducir el tamaño de los pares clave-valor, lo que permite búsquedas de similitudes más rápidas y reduce los costos de memoria. Sin embargo, la cuantificación vectorial tradicional generalmente introduce su propia «sobrecarga de memoria», ya que la mayoría de los métodos requieren calcular y almacenar (con total precisión) constantes de cuantificación para cada pequeño bloque de datos. Esta sobrecarga puede agregar 1 o 2 bits adicionales por número, anulando parcialmente el propósito de la cuantificación vectorial.

Hoy presentamos TurboQuant (que se presentará en ICLR 2026), un algoritmo de compresión que aborda de manera óptima el desafío de la sobrecarga de memoria en la cuantificación vectorial. También presentamos Quantized Johnson-Lindenstrauss (QJL) y PolarQuant (que se presentará en AISTATS 2026), que TurboQuant utiliza para lograr sus resultados. En las pruebas, las tres técnicas demostraron ser muy prometedoras para reducir los cuellos de botella de valores clave sin sacrificar el rendimiento del modelo de IA. Esto tiene implicaciones potencialmente profundas para todos los casos de uso que dependen de la compresión, incluidos y especialmente en los dominios de la búsqueda y la inteligencia artificial.