Amazon Web Services lanzó el lunes una herramienta llamada TorchNeuron que permite a las startups de IA trasladar sus aplicaciones al chip propio de Amazon, Trainium. Con eso Amazon apunta directo contra la ventaja de software que convirtió a Nvidia en el hardware por defecto para las aplicaciones de IA y que impulsó su ascenso como proveedor preferido del sector.
TorchNeuron funciona con PyTorch, el conjunto de herramientas libre y de código abierto que los desarrolladores usan para construir, entrenar y ejecutar modelos de IA. Según Amazon, permite que una aplicación escrita con PyTorch corra en Trainium cambiando una sola línea de configuración, sin reescribir código.
Amazon calcula que cerca del 85% de las aplicaciones de IA están escritas con PyTorch. Facebook lo desarrolló en su origen y desde 2022 forma parte de la Linux Foundation, la entidad que mantiene proyectos de código abierto. Nvidia pasó años asegurándose de que CUDA, la capa de software que permite a las aplicaciones correr en sus GPU y en el resto de su hardware, soportara sin fricción todo lo escrito en PyTorch. El resultado es que el hardware de Nvidia quedó incrustado en la herramienta, prácticamente por defecto.
¿Qué cambia para quien ya usa PyTorch?
TorchNeuron es una adaptación de PyTorch, así que quien ya sabe usar PyTorch ya sabe usar TorchNeuron. Amazon no es la primera empresa que intenta llevar sus chips a la plataforma con poco esfuerzo. Los usuarios de PyTorch también pueden portar sus aplicaciones a GPU de AMD, o incluso a los chips de Apple, con un cambio de configuración.
El argumento de Amazon es que portar a Trainium no solo es fácil. Además da a las startups acceso a toda su nube. Como era de esperar, AWS sostiene que es mejor opción que las neoclouds, muchas de ellas atadas a Nvidia y a su hardware, como Coreweave, Nebius y Firmus.
"Estás construyendo sobre AWS. No estás apostando por un proveedor de cómputo de propósito único y corriendo para armar todo lo demás a su alrededor", dijo a TechCrunch por correo Colin Brace, vicepresidente de Software de Tecnología en AWS Annapurna Labs, la unidad que fabrica los chips propios de Amazon. "En AWS", continuó, "la infraestructura para pasar del prototipo a producción ya está ahí, lo que permite a un fundador moverse rápido y escalar cuando lo necesita".
El argumento del precio
AWS afirma que su nube les ahorrará dinero a las startups aunque no ofrezca el precio por token más bajo. La razón que da es que el mismo chip se encarga del entrenamiento (enseñarle al modelo) y de la inferencia (poner el modelo terminado a trabajar, como cuando responde la pregunta de un usuario), y que está integrado con la infraestructura de nube que esas empresas necesitan.
"El valor de Trainium es la relación precio rendimiento, más el hecho de que es una sola plataforma para entrenamiento e inferencia, lo que mejora la economía de toda la carga de trabajo", dijo Brace. "Miren a Deepgram. Se movieron a Trainium usando PyTorch nativo y están procesando 70% más audio por dólar con precisión de nivel productivo."
Deepgram es un proveedor de aplicaciones de voz con IA y compite con ElevenLabs.
Cambios que llegan al propio PyTorch
Amazon no se conforma con dar a los desarrolladores de PyTorch una vía fácil hacia su nube. También dice que está empujando a PyTorch a depender menos de Nvidia de forma automática, y que aportará ese código al proyecto principal. En el anuncio de la herramienta, la empresa escribió lo siguiente.
"El enfoque de Amazon va más allá de su propio hardware. La compañía está aportando cambios aguas arriba al propio PyTorch, trabajando con la comunidad de PyTorch para eliminar código que ata el framework a chips específicos. El objetivo es hacer que PyTorch sea más agnóstico respecto del hardware para toda la comunidad de desarrolladores, no solo para los usuarios de Trainium."
Esa táctica favorece a quienes venden hardware y servicios de nube que compiten con Nvidia. Pero uno de los propósitos de PyTorch es esconder las complicaciones de hacer correr código de IA sobre un hardware concreto. TechCrunch deja abierta la duda de si sacar a Nvidia de ese lugar dará a los desarrolladores más opciones y precios más bajos, como promete Amazon, o solo más dolores de cabeza de configuración.
Si Amazon logra desacoplar a fondo PyTorch de Nvidia, el efecto para el fabricante de GPU sería mayor que enfrentar a un competidor de chips más. Como dijo Brace, "la verdadera historia es eliminar el encierro que impedía a los desarrolladores tener una opción real".
