Nemotron 3 Ultra: mejorar agentes de IA sin reentrenar

Los sistemas de agentes suelen enfrentar un dilema entre precisión y costo. Los modelos propietarios de frontera y sus arneses entregan la mayor precisión, pero son caros. El fine-tuning es una salida clásica: se enseña a un modelo abierto, más pequeño o eficiente, a rendir mejor con agentes específicos. El problema es que reentrenar exige experiencia y hardware tanto para el entrenamiento como para el alojamiento del modelo.

NVIDIA y LangChain plantean otro camino: la ingeniería de arnés (harness engineering). En lugar de tocar los pesos del modelo, se ajusta el entorno que lo rodea, es decir, los prompts del sistema, las descripciones de las herramientas y el middleware que intercepta las llamadas. Con este enfoque, un modelo abierto como NVIDIA Nemotron 3 Ultra puede aproximarse a la inteligencia de los modelos propietarios de frontera usando los mismos endpoints ya disponibles en la nube.

¿Qué hace posible este ajuste?

Dos desarrollos recientes habilitan el método:

YouTube

• Benchmarks de evaluación construidos para un arnés específico, que permiten verificar si un cambio mejora el rendimiento.
• Puntos de personalización por modelo, como los perfiles de arnés de LangChain, un primer ejemplo de su tipo que deja adaptar el comportamiento del agente según el modelo.

El procedimiento para ajustar un deep agent con Nemotron 3 Ultra es un bucle: establecer una línea base corriendo el benchmark sin perfil de arnés, analizar las fallas, proponer cambios al perfil que las corrijan y volver a correr el benchmark para verificar que el cambio mejora sin introducir regresiones.

Un ejemplo concreto de falla

En una prueba, Nemotron 3 Ultra falla el test de la herramienta read_file. La tarea pide la última línea no vacía de un archivo grande. La primera lectura devuelve solo la primera página, y el modelo responde con datos de esa página en vez de continuar leyendo con paginación. La solución no es reentrenar, sino insertar un middleware que avise al modelo cuando el resultado probablemente continúa:

class ReadFileContinuationNoticeMiddleware(AgentMiddleware):
    """Avisa al modelo cuando un resultado de read_file probablemente continua."""
    name = "ReadFileContinuationNoticeMiddleware"
    def wrap_tool_call(self, request, handler):
        return self._annotate(request, handler(request))

El perfil se registra y se vuelve a correr la prueba fallida. Con el test en verde, se ejecuta el benchmark completo para descartar regresiones. Como el modelo y el juez del benchmark son estocásticos, la línea base y el cambio propuesto deben correrse varias veces.

Automatizar el bucle de mejora

El procedimiento manual (correr el benchmark, leer las fallas, cambiar el perfil, repetir) es exactamente el tipo de tarea que los agentes ejecutan bien sin supervisión. El ingeniero Geoffrey Huntley llama a esto el "ralph loop": un modelo lee el estado actual, hace un cambio y usa el sistema de archivos, no la conversación, como memoria.

Cuatro decisiones separan un bucle confiable de una máquina de sobreajuste: verificar antes de creer (un arreglo se acepta solo tras pasar el mismo test varias veces seguidas), respaldar y revertir (el perfil se guarda antes de cada intento), aprender del intento anterior (se le entrega al siguiente intento qué se probó y cómo falló) y rechequear toda la suite tras cada arreglo para cazar regresiones.

LangSmith Engine es la versión gestionada de este bucle: detecta fallas en las trazas de producción, diagnostica su causa raíz contra el código fuente, redacta un arreglo y agrega un evaluador para frenar la regresión. Cada cambio propuesto pasa por revisión humana antes de desplegarse.

Cómo probarlo

Para desarrolladores en Chile y Latinoamérica, la barrera de entrada es baja: NVIDIA ofrece acceso gratuito a la API en build.nvidia.com para pruebas, y para producción hay endpoints de proveedores como Baseten, Crusoe, Fireworks, Nebius o Together AI. El código de referencia vive en el repositorio comunitario NemoClaw. El valor práctico es directo: acercar un modelo abierto a la precisión de frontera sin pagar el costo de entrenar ni alojar un modelo propio.