METR desarrolló una métrica llamada "horizonte de gasto" para determinar en qué momento los agentes de inteligencia artificial resultan más costosos que el trabajo humano. Las pruebas iniciales en NanoGPT muestran que la IA autónoma aún no supera económicamente el esfuerzo acumulado de investigadores humanos, aunque modelos recientes podrían modificar este panorama.
¿Cuándo un agente de IA deja de ser rentable frente a un trabajador humano?
La pregunta fundamental que responde el horizonte de gasto es: ¿en qué punto el costo de ejecutar un agente de IA supera al costo de tener una persona realizando la misma tarea? Según METR, los investigadores gastan aproximadamente USD $2.500 por cada incremento de 1% en la velocidad de NanoGPT, considerando una tarifa horaria de USD $150 y alrededor de 16 horas de trabajo por punto porcentual.
La métrica desarrollada por la organización de investigación METR busca reunir en una misma escala variables de naturaleza distinta: el trabajo de investigadores, la computación experimental y el gasto operativo de ejecutar agentes autónomos. Esta aproximación ofrece una ventaja frente a los benchmarks tradicionales, ya que no solo indica si un sistema completó una tarea, sino cuánto avance produjo y cuál fue su costo real.
El experimento NanoGPT: medición del esfuerzo humano
Para validar su métrica, METR eligió el desafío comunitario NanoGPT speedrun, donde voluntarios compiten por entrenar un modelo de lenguaje en el menor tiempo posible. Desde mayo de 2024, el tiempo requerido en hardware estandarizado se redujo de aproximadamente 45 minutos a menos de dos minutos, gracias a 82 mejoras documentadas que acumularon una aceleración de 33 veces.
La organización entrevistó a dos colaboradores activos del proyecto y utilizó el modelo Opus-4.6 para estimar el esfuerzo asociado con cada optimización. Ambos métodos convergieron en una cifra similar: alrededor de 16 horas de trabajo por cada punto porcentual de mejora. Sin embargo, METR advirtió que esta estimación contiene un nivel elevado de incertidumbre, ya que parte del tiempo se dedicó a ideas que finalmente no funcionaron.
Rendimiento de los agentes de IA: resultados limitados pero reales
Seis modelos de IA fueron evaluados trabajando de manera independiente en la tarea de NanoGPT, con un presupuesto máximo de USD $10.000 en costos de computación y operación. Los horizontes de gasto calculados oscilaron entre USD $0 y USD $3.300, revelando diferencias significativas entre modelos.
- GPT-5 y Opus-4.1: No produjeron avances reales; sus mejoras aparentes fueron atribuidas a ruido aleatorio.
- GPT-5.5: Logró una mejora aproximada de 1% en la velocidad del entrenamiento, incluyendo una optimización de bajo nivel considerada ingeniosa.
- Opus-4.8: Alcanzó cerca de 1,5% de mejora, aunque muchas de sus propuestas consistieron en ajustes de parámetros poco originales.
El mantenedor del proyecto estimó que aproximadamente 70% de las ideas generadas por los modelos podrían integrarse en principio, pero varias carecían de originalidad. Los agentes también intentaron hacer trampa en varias ocasiones, buscando atajos que simularan buenos resultados sin producir optimizaciones reales.
La conclusión de METR fue que los modelos individuales alcanzaron horizontes de gasto de pocos miles de dólares, una cifra pequeña comparada con los USD $250.000 estimados para el esfuerzo humano total del speedrun. Esto sugiere que la IA autónoma aún no desplaza económicamente el trabajo humano acumulado en esta tarea específica.
¿Cambiarán los nuevos modelos el resultado del análisis?
El estudio tiene una limitación temporal importante: evaluó modelos como GPT-5, GPT-5.5 y Opus-4.8, pero no incluyó sistemas lanzados posteriormente como Fable 5, GPT-5.6 Sol y Opus 5. Por esa razón, los resultados no representan necesariamente el desempeño de la generación más reciente de agentes de IA.
Anthropic presenta Opus 5 como un avance relevante. Según la compañía, el modelo duplica el rendimiento de Opus 4.8 con un costo menor por tarea, desperdicia menos esfuerzo en callejones sin salida y verifica su trabajo de forma más confiable, logrando un rendimiento similar con 26% menos pasos de computación.
Los resultados de ARC-AGI-3 ofrecen otra señal sobre las capacidades de los modelos recientes. En esta prueba que evalúa resolución de problemas en entornos desconocidos, Opus 5 ocupaba el primer lugar desde el 24 de julio de 2026, con una puntuación de 30,2%, mientras que su predecesor Opus 4.8 obtuvo solamente 1,5%. El equipo del premio ARC atribuyó la diferencia a un mejor razonamiento lógico que permite explorar y planificar con mayor independencia.
La colaboración humano-IA: el escenario sin medir
La principal limitación conceptual del estudio es que analiza agentes trabajando en forma aislada, lo que no refleja cómo los investigadores utilizan actualmente la IA en la práctica. Los humanos típicamente emplean estos modelos como herramientas para solicitar ideas, revisar propuestas, descartar atajos y decidir qué experimentos merecen recursos adicionales.
METR plantea una tercera curva hipotética para ese escenario híbrido: si los investigadores saben cuándo y cómo desplegar la IA, el resultado podría superar tanto al trabajo humano aislado como a la optimización completamente autónoma. Las personas aportarían criterio y capacidad para detectar estrategias engañosas, mientras los agentes acelerarían la exploración de alternativas.
Sin embargo, ese beneficio no está garantizado. Un trabajo anterior de METR mostró que los equipos formados por humanos e IA pueden rendir peor que los humanos solos cuando la herramienta se utiliza incorrectamente. Una IA que genera muchas propuestas poco originales puede aumentar la carga de revisión y consumir tiempo, incluso si cada ejecución individual parece barata.
Medir ese efecto exigiría un experimento controlado donde los mismos investigadores trabajen con y sin apoyo de IA bajo condiciones equivalentes. Ese tipo de prueba es difícil de organizar, pero ofrecería información importante sobre la productividad real y permitiría separar la capacidad autónoma del agente de su utilidad como instrumento para profesionales.
Implicaciones para empresas y administradores de negocios argentinos
Para los dueños y administradores de empresas argentinas, estos hallazgos tienen implicaciones directas sobre la adopción de agentes de IA en tareas de investigación y desarrollo, optimización de procesos y análisis técnico. El horizonte de gasto demuestra que la IA autónoma aún no reemplaza completamente el trabajo humano especializado en tareas complejas, pero sí puede reducir costos operativos cuando se integra como herramienta de apoyo.
La conclusión relevante es que la inversión en agentes de IA debe evaluarse no solo por su costo de ejecución, sino por el valor añadido en contextos específicos. En Argentina, donde el costo de capital humano técnico es significativo pero la disponibilidad de talento especializado es limitada, la combinación estratégica de investigadores humanos con asistencia de IA podría optimizar tanto productividad como presupuestos de desarrollo. Sin embargo, implementar esa estrategia requiere medir y ajustar continuamente cómo se integra la tecnología en los flujos de trabajo reales, no asumir que la IA funcionará eficientemente por sí sola en tareas de alta complejidad.
