Investigadores proponen una nueva técnica para mejorar la \»razón\» de los modelos de IA, pero expertos son escépticos

Un equipo de investigadores de Google y la Universidad de California en Berkeley ha propuesto una nueva técnica llamada \»búsqueda en tiempo de inferencia\», que promete mejorar el rendimiento de los modelos de inteligencia artificial (IA) en tareas de razonamiento. Sin embargo, expertos en el campo expresan dudas sobre su aplicabilidad en escenarios reales, argumentando que la técnica solo funciona en contextos donde es fácil definir qué constituye una respuesta correcta.

¿Qué es la \»búsqueda en tiempo de inferencia\»?

La técnica, descrita en un artículo reciente, consiste en que un modelo de IA genere múltiples respuestas posibles a una consulta y luego seleccione la mejor entre ellas. Según los investigadores, este enfoque puede mejorar el rendimiento de modelos antiguos, como Gemini 1.5 Pro de Google, hasta superar a modelos más avanzados como o1-preview de OpenAI en pruebas de ciencia y matemáticas. \»La magia es que la autoverificación se vuelve más fácil a gran escala\», explicó Eric Zhao, coautor del estudio, en una serie de publicaciones en X.

Limitaciones y escepticismo

A pesar del entusiasmo inicial, varios expertos han expresado reservas sobre la utilidad de esta técnica. Matthew Guzdial, investigador de IA y profesor asistente en la Universidad de Alberta, señaló que \»si no podemos escribir código para definir lo que queremos, no podemos usar esta búsqueda\». Además, destacó que la mayoría de las consultas en el mundo real no son tan claras como las pruebas de matemáticas o ciencia, lo que limita su aplicabilidad.

Mike Cook, investigador especializado en IA del King’s College de Londres, coincidió con esta perspectiva, añadiendo que \»esto no eleva el proceso de razonamiento del modelo, sino que es una forma de trabajar alrededor de sus limitaciones\». Cook explicó que, si un modelo comete errores el 5% de las veces, revisar 200 intentos de resolver el mismo problema podría ayudar a detectar esos errores, pero no resuelve el problema de fondo.

El costo de la \»razón\» en la IA

Uno de los mayores desafíos en el desarrollo de modelos de IA capaces de razonar es el alto costo computacional. Los autores del estudio señalan que los modelos actuales pueden gastar miles de dólares en recursos de computación para resolver un solo problema matemático. La búsqueda en tiempo de inferencia podría ofrecer una solución más eficiente, pero su utilidad práctica sigue siendo cuestionada.

Contexto histórico: La evolución de las leyes de escalamiento en IA

Hasta hace un año, el enfoque dominante en el entrenamiento de modelos de IA era el escalamiento previo al entrenamiento, que consistía en entrenar modelos cada vez más grandes con conjuntos de datos cada vez más extensos. Sin embargo, en los últimos meses, han surgido dos nuevas leyes de escalamiento: el escalamiento posterior al entrenamiento y el escalamiento en tiempo de prueba. La propuesta de los investigadores de Google y Berkeley representa un intento de añadir una cuarta ley: la búsqueda en tiempo de inferencia.

Fuentes y transparencia

La información presentada en esta noticia se basa en el artículo publicado por los investigadores de Google y UC Berkeley, así como en declaraciones de expertos independientes como Matthew Guzdial y Mike Cook. También se han consultado publicaciones en redes sociales y análisis de medios especializados como TechCrunch.

Implicaciones y cierre

Aunque la búsqueda en tiempo de inferencia representa un avance interesante en la búsqueda de técnicas más eficientes para mejorar el razonamiento de los modelos de IA, su aplicabilidad en escenarios complejos y del mundo real sigue siendo limitada. Los expertos coinciden en que, mientras no se resuelvan las limitaciones inherentes de los modelos actuales, la búsqueda de nuevas técnicas de escalamiento continuará siendo un desafío clave para la industria de la inteligencia artificial.