Anthropic publicó el 28 de septiembre Claude Sonnet 5.5, el segundo modelo de su familia 5.5 después de Opus 5.5. La empresa asegura que genera texto más de 30% más rápido, que cuesta hasta 30% menos por tarea y que en varias pruebas queda casi al nivel de Opus 5.5, según contó Matthias Bastian en The Decoder.
Opus 5.5 está pensado para tareas complejas que exigen criterio fino. Sonnet 5.5 apunta al trabajo diario bien definido, como corregir errores de código, escribir documentación, armar presentaciones o crear planillas. Anthropic también anunció Claude Haiku 5.5 para las próximas semanas, un modelo orientado a volumen alto y costo bajo.
Con Fable, Opus y Sonnet, Anthropic ya tiene equivalentes para GPT-6 Astra, Sol y Luna de OpenAI, los modelos que abrieron la última guerra de precios. A grandes rasgos, Opus queda un poco por encima de Sol, Sonnet por encima de Luna y Fable por encima de Astra, aunque Anthropic cobra más en todos los niveles. Las diferencias de rendimiento entre niveles equivalentes son tan chicas que el precio puede terminar decidiendo, y Haiku podría ayudar a Anthropic a cerrar esa brecha.
¿Cuánto mejora en programación?
El salto frente al modelo anterior es más grande en código, según Anthropic. En Terminal-Bench 4.0, una prueba de programación con agentes, Sonnet 5.5 llega a 70,6% contra el 10,3% de Sonnet 5. En CursorBench 4.0, que reproduce sesiones reales del editor Cursor, marca 55,5% frente a 34,1%, apenas dos puntos por debajo de Opus 5.5 (57,8%).
En FrontierCode 1.1 con el ajuste "High", Sonnet 5.5 supera por diez puntos a Sonnet 5 con cerca de un quinceavo del costo por tarea, dice Anthropic. Los primeros usuarios de prueba destacaron lo rápido que el modelo entiende una base de código. Sonnet 5.5 además agrupa más llamadas a herramientas que su antecesor, lo que reduce el número de pasos necesarios.
El nivel de razonamiento trae una rareza. En el esfuerzo máximo, "Max", Sonnet 5.5 rinde peor en FrontierCode que en "Xhigh". Anthropic explica que al máximo esfuerzo el modelo activa con más frecuencia una función de revisión de código que reparte el trabajo entre varios subagentes. En algunos casos eso produjo tiempos agotados o cambios fuera del alcance de la tarea, y FrontierCode castiga ambas cosas.
Trabajo de oficina casi al nivel de Opus 5.5
En GDPval-AA, una prueba de trabajo del conocimiento desarrollada por OpenAI que cubre tareas de 44 profesiones y nueve industrias, Sonnet 5.5 obtiene 1.844 puntos. Opus 5.5 marca 1.846 y Sonnet 5 se quedaba en 1.449, unos 400 puntos más abajo. GPT-6 Sol llega a 1.487, según las cifras de Anthropic. En Chartography, una prueba de lectura de gráficos, Sonnet 5.5 pasa de 15,6% a 61,6%.
| Categoría | Prueba | Sonnet 5.5 | Sonnet 5 | Opus 5.5 | GPT-6 Sol |
|---|---|---|---|---|---|
| Programación con agentes | Terminal-Bench 4.0 | 70,6% | 10,3% | 66,4% (1) | sin dato |
| Programación con agentes | FrontierCode 1.1 (Main) | 46,2% (Max), 52,1% (Xhigh) | 42,4% | 54,4% | 49,3% |
| Programación con agentes | CursorBench 4.0 | 55,5% | 34,1% | 57,8% | sin dato |
| Trabajo del conocimiento | GDPval-AA v2.1 (2) | 1.844 | 1.449 | 1.846 | 1.487 |
| Trabajo del conocimiento | AA Briefcase v1.1 (2) | 1.811 | 1.359 | 1.822 | 1.483 |
| Razonamiento interdisciplinario | Humanity's Last Exam (con herramientas) | 64,5% | 54,9% | 67,7% | sin dato |
| Uso de computador | OSWorld 2.1 (evaluación parcial) | 80,1% | 57,0% | 81,8% | sin dato |
| Lectura de diagramas | Chartography (sin herramientas) | 61,6% | 15,6% | 64,4% | 53,6% |
(1) En Opus 5.5, el resultado de Terminal-Bench 4.0 corresponde al ajuste "Xhigh". (2) Los valores de Sonnet 5.5 vienen de una versión previa al lanzamiento, en la que un error ya corregido pudo afectar las salidas estructuradas.
Los primeros usuarios describieron a Sonnet 5.5 como un interlocutor más natural y con buen ojo para el diseño. Anthropic sostiene que el modelo rehace interfaces y aplica plantillas de diapositivas con resultados que casi no necesitan retoques.
Anthropic también afirma que Sonnet 5.5 es el primer Sonnet capaz de terminar Pokémon Red usando solo capturas de pantalla. Astra, de OpenAI, mostró hace poco avances parecidos en pruebas con videojuegos. Hace unos años esas tareas se consideraban difíciles y muchas veces pedían algoritmos hechos a medida. Hoy las resuelve incluso un modelo de gama media dentro de una familia.
¿Cuánto cuesta Sonnet 5.5?
El precio por millón de tokens es el mismo de Sonnet 5, con 2 dólares por los tokens de entrada, 10 dólares por los de salida y 0,20 dólares por lectura de caché. Como el modelo usa menos tokens por tarea, el costo efectivo baja hasta 30%, según Anthropic. La generación de texto también es más de 30% más rápida. Falta que pruebas independientes confirmen esas cifras.
| Precio por millón de tokens | Claude Sonnet 5.5 | GPT-6 Sol | GPT-6 Luna |
|---|---|---|---|
| Tokens de entrada | 2 dólares | 2 dólares | 0,10 dólares |
| Tokens de salida | 10 dólares | 10 dólares | 0,50 dólares |
| Lectura de caché | 0,20 dólares | 0,20 dólares | 0,01 dólares |
| Escritura de caché | 2,50 dólares | 2,50 dólares | 0,125 dólares |
Opus 5.5 cobra 20 dólares por millón de tokens de salida y 5 dólares por escritura de caché, según la misma comparación de The Decoder.
Como los demás modelos de Anthropic y sus equivalentes de OpenAI, Sonnet 5.5 tiene un ajuste de esfuerzo que permite cambiar costo y velocidad por calidad de respuesta. En los niveles bajo o medio, Sonnet 5.5 ya supera los mejores resultados de Sonnet 5 en varias pruebas con cerca de un décimo del costo por tarea, dice Anthropic. Encontrar el nivel justo para cada tarea sigue siendo más oficio que ciencia.
Nuevos resguardos de ciberseguridad
Claude Sonnet 5.5 ya está disponible en las principales nubes, entre ellas Amazon Web Services, Google Cloud y Microsoft Azure. Igual que Opus 5.5 y Sonnet 5, Anthropic lo ofrece con retención cero de datos. Los desarrolladores pueden usarlo a través de Claude Platform.
Como Sonnet 5.5 es bastante más capaz en ciberseguridad que su antecesor, Anthropic agrega por primera vez resguardos a un modelo Sonnet. Las solicitudes que involucran tareas de ciberseguridad de alto riesgo se derivan de forma visible a Sonnet 5. Mediante una versión ampliada del Cyber Verification Program, los profesionales calificados pueden pedir acceso por niveles.
Anthropic sumó además clasificadores de seguridad contra ataques de destilación, los mismos que usa en sus modelos de gama más alta. Si los laboratorios chinos se han beneficiado de ese tipo de ataques, cerrar esa vía podría volver a ampliar la distancia con los laboratorios occidentales, escribió Bastian.
