El ecosistema de código abierto está facilitando que entusiastas y desarrolladores de IA puedan crear, personalizar y ejecutar agentes cada vez más capaces de forma local.

Durante agosto, NVIDIA celebra a los socios y comunidades de código abierto que impulsan la IA local, junto con los modelos, aplicaciones y herramientas que emergen en el ecosistema. Esto incluye los modelos abiertos, software y herramientas de desarrollo más recientes de NVIDIA, además de la computación acelerada, librerías y recursos educativos que ayudan a los usuarios a comenzar.

Se perfila como un mes importante para los agentes. Siga de cerca los últimos desarrollos en esta serie de blogs de edición especial sobre IA Local de NVIDIA, con nuevas actualizaciones que se añadirán en las próximas semanas.

Siga a NVIDIA RTX Spark en X, Instagram, TikTok y Facebook, y manténgase informado suscribiéndose al boletín de noticias RTX AI PC. Siga a NVIDIA Workstation en LinkedIn y X.

¿Qué ofrece NVIDIA Nemotron 3.5 Lightning para agentes locales?

Hoy, NVIDIA amplió su familia de modelos Nemotron 3 con Nemotron 3.5 Lightning, un modelo personalizable de 30B parámetros basado en mixture-of-experts (MoE) diseñado para agentes que requieren ejecución constante.

Nemotron 3.5 Lightning entrega hasta 4 veces más velocidad en la generación de tokens y un tiempo de finalización 30% más rápido en comparación con otros modelos abiertos de su clase.

Debido a que Nemotron 3.5 Lightning cuenta con pesos abiertos, los entusiastas y desarrolladores pueden realizar ajustes finos (fine-tuning) con sus propios ejemplos para adaptarse mejor a tareas, intereses y flujos de trabajo específicos. Por ejemplo, pueden entrenar el modelo para:

  • Escribir con un estilo preferido: Seguir tonos, formatos y terminología establecidos al redactar correos, informes u otros documentos.
  • Aprender una especialidad: Comprender mejor el lenguaje y las tareas comunes asociadas a áreas como la fotografía, los videojuegos o el diseño 3D.
  • Programar de cierta forma: Seguir convenciones de código, frameworks y enfoques de prueba preferidos al escribir, revisar o refactorizar software.

Al combinarse con acceso a aplicaciones, archivos y otras herramientas, estos modelos ajustados pueden potenciar experiencias de IA local más personalizadas, desde un asistente que gestiona correos y calendarios, hasta un agente de hogar inteligente que maneja rutinas diarias o un compañero de programación que trabaja junto a los desarrolladores en una base de código local.

NVIDIA colaboró con vLLM, Ollama, llama.cpp y LM Studio para ofrecer la mejor experiencia de despliegue local para los modelos Nemotron 3.5 Lightning, brindando a los desarrolladores la opción de usar formatos NVFP4 y GGUF. Unsloth también proporciona soporte desde el primer día con modelos optimizados y cuantizados para un despliegue local eficiente a través de Unsloth Studio.

Nemotron 3.5 Lightning se ejecuta localmente en NVIDIA RTX PCs, NVIDIA DGX Spark y sistemas OEM GB10, además de NVIDIA Jetson, escalando hasta estaciones de trabajo RTX PRO, sistemas NVIDIA DGX Station y GB300 deskside, centros de datos y entornos en la nube. Con los sistemas NVIDIA Blackwell disponibles a través de Acer, ASUS, Dell Technologies, Exxact, GIGABYTE, HP, Lenovo, MSI y Supermicro, los usuarios pueden elegir entre una amplia gama de dispositivos y factores de forma.

¿Cómo ayuda NeMo Switchyard a reducir costos de IA?

A medida que crece la adopción de IA generativa, las empresas buscan formas de controlar los crecientes costos de tokens sin sacrificar el acceso a la inteligencia de frontera. NVIDIA NeMo Switchyard, una librería de enrutamiento de código abierto, dirige automáticamente cada paso del flujo de trabajo de un agente hacia el modelo más adecuado según precisión, velocidad y costo. También ofrece a los desarrolladores la flexibilidad de trabajar con diversos modelos y proveedores para distintas tareas.

Los benchmarks internos muestran que NeMo Switchyard, al enrutar cada paso a través de un sistema de modelos, ayudó a mantener la finalización de tareas al nivel de modelos de frontera, reduciendo el costo de benchmark a aproximadamente un tercio de lo que costaría usar Opus 4.8 por sí solo. NeMo Switchyard está disponible en GitHub.

Visite los blogs técnicos de Nemotron 3.5 Lightning, NeMo Switchyard y Jetson AI para comenzar. Para construir en el edge, inicie con los tutoriales de Jetson AI Lab y descubra proyectos reales de Jetson. Nemotron 3.5 Lightning también está disponible a través de OpenRouter, en build.nvidia.com como un microservicio NVIDIA NIM, y mediante un amplio ecosistema de socios en la nube, plataformas de post-entrenamiento e inferencia. NeMo Switchyard está disponible en GitHub.

Vía NVIDIA Blog.