Investigadores del MIT desarrollan un modelo de IA que aprende continuamente

El sistema SEAL permite a los modelos de lenguaje ajustar sus parámetros en tiempo real. Científicos del MIT han creado un método para que las IA aprendan de forma autónoma, superando una limitación clave de los modelos actuales. La técnica se probó con éxito en versiones reducidas de Llama y Qwen.

«Como un estudiante que repasa sus apuntes»

El equipo del MIT, liderado por el profesor Pulkit Agrawal, diseñó SEAL para que los modelos generen sus propios datos de entrenamiento y actualicen sus parámetros. «Queríamos explorar si la salida del modelo podía usarse para entrenarlo», explica Jyothish Pari, uno de los investigadores. El sistema funciona como un ciclo de retroalimentación: produce información, la evalúa y se ajusta para mejorar.

Pruebas y limitaciones

SEAL se probó en tareas de razonamiento abstracto y procesamiento de texto, mostrando mejoras continuas. Sin embargo, los modelos aún sufren de «olvido catastrófico», un fenómeno donde el aprendizaje nuevo borra conocimientos anteriores. Además, el proceso requiere gran potencia computacional y no está optimizado para programar ciclos de aprendizaje eficientes.

De lo estático a lo adaptable

Los modelos de lenguaje actuales, como ChatGPT o Gemini, tienen conocimientos congelados en el momento de su entrenamiento. SEAL representa un avance hacia IA que evolucionan con el tiempo, aunque Agrawal advierte que aún falta resolver desafíos fundamentales antes de aplicarlo a modelos de escala industrial.

Un sueño (artificial) para el futuro

La investigación abre la puerta a IA más personalizadas y capaces de integrar preferencias de usuarios. Zweiger sugiere que, como los humanos, estos modelos podrían necesitar «periodos de sueño» para consolidar información. El camino es prometedor, pero el olvido catastrófico y los costes computacionales siguen siendo obstáculos clave.