54 notas publicadas
Vals AI comparó a GPT-6 Sol y Claude Opus 5.5 trabajando solos y en equipo, y solo uno de cuatro casos mostró una mejora significativa.
En la prueba InnovationEval, Claude Fable 5 y GPT-5.6 Sol reciclaron técnicas conocidas y reportaron solo sus mejores corridas.
El modelo llevó el auto hasta la ventanilla de un In-N-Out sin entrenamiento previo, y un benchmark nuevo mide cuánto les falta a los modelos para aprobar un examen de manejo.
Un equipo de la Universidad de Maryland y AWS midió cuánto aciertan los agentes de código al convertir una foto en un programa de Blender, y cuánto se equivocan al juzgar su propio trabajo.
El método RRSI limita cuánto puede cambiar un agente su propio entorno de trabajo y descarta los trucos hechos a la medida de cada benchmark.
Artificial Analysis le da 53 puntos, igual que GPT-6 Astra y Claude Fable 5.1, mientras Claude Opus 5.5 y Sonnet 5.5 siguen arriba con 58 y 56.
Anthropic mantiene el precio por token de Sonnet 5, pero el modelo nuevo usa menos tokens por tarea y genera texto más de 30% más rápido.
El Furniture Assembly Benchmark de Epoch AI pasó de un mejor puntaje de 28% en noviembre de 2025 a 80% diez meses después, aunque cada foto toma tres minutos.
Un agente investigador revisó trazas, probó 152 direcciones y dejó cuatro mecanismos que ahorran hasta 49% de tokens con un puntaje parecido.
OpenAI dejó Sol en 2 dólares por millón de tokens de entrada y Luna en 0,10, pero los índices de Artificial Analysis siguen en los valores de GPT-5.6.
El informe RoboHarm de Robocurve puso tres modelos a mandar un par de brazos robóticos reales, sin jailbreak de por medio, y publicó las 300 corridas con video de tres cámaras.
NVIDIA reescribió su cliente de carga desde cero, con procesos de trabajo separados y coordinación por ZMQ, para que el propio medidor deje de ser el cuello de botella.
El benchmark RoboHarm midió si tres modelos de frontera se niegan a ejecutar instrucciones dañinas cuando manejan un par de brazos robóticos. Casi nunca dijeron que no.
El informe pone a los mejores modelos chinos de pesos abiertos a tres puntos del líder cerrado, pero su propio gráfico de hardware muestra una distancia mayor.
El modelo de OpenAI cerró Pokémon FireRed, Factorio y Fallout 3 antes que cualquier modelo previo, y después pasó horas sembrando papas en Minecraft por una regla que se escribió solo.
El Consistency Analyzer encuentra los pasos donde el modelo quedó a un token de decidir otra cosa, y las guías que genera bajan la brecha de 24,4 a 12 puntos.
Andon Labs midió al modelo de OpenAI en dos pruebas de agentes y quedó primero en las dos, aunque una corrida completa del dron tiene apenas 2,8% de probabilidad de terminar bien.
El laboratorio chino AllSpark publicó los pesos de dos agentes construidos sobre modelos Qwen, con ventana de 256.000 tokens y la receta completa de entrenamiento.
El modelo de OpenAI terminó 7 de las 100 pruebas de manipulación de StationeryBench, mientras MolmoAct2 no cerró ninguna con el mismo robot de dos brazos.
Fugu Max cobra 2 dólares por millón de tokens de entrada y 6 de salida, entre 40% y 60% menos que Sonnet 5, GPT 5.6 Terra y Kimi K3, según Sakana.
El comité movió los sistemas ParaStor F9000 a la lista de investigación porque no cumplían el nivel más alto de reproducibilidad que exige la lista de producción.
HarnessDev, de ByteDance Seed y cuatro instituciones más, evalúa el andamiaje que el modelo construye en vez de la respuesta que entrega. El resultado deja mal parada la autooptimización.
Un análisis de Arena.ai sobre decenas de miles de respuestas midió cuánto cambió el estilo de escritura del modelo de Anthropic entre Fable 5 y Fable 5.1.
El modelo activa 25.000 millones de parámetros por token, cubre 50 idiomas y promedia 83,6 en la evaluación WMT26 de la propia compañía.
El modelo encabezó el ErdosBench con 106 problemas resueltos, aunque el científico jefe de OpenAI, Jakub Pachocki, admite que la compañía decidió no priorizar la investigación matemática.
La grilla de Simon Willison enfrenta al nuevo modelo de OpenAI contra GPT-5.6 Sol, Terra y Luna en cinco niveles de razonamiento, y deja a la vista una diferencia de precio que no es la que aparenta.
El laboratorio de MBZUAI publicó además el corpus de preentrenamiento, los checkpoints intermedios, el código de entrenamiento y una auditoría de sus propios resultados.
La versión 4.2 del Intelligence Index suma dos pruebas nuevas, jubila GPQA-Diamond y sube a 40 por ciento el peso de los datos de prueba privados.
El cuarto modelo Spark en cinco meses apunta a tareas agénticas largas y programación, con menos idas y vueltas por tarea, pero con los pesos cerrados y su mejor modo de razonamiento bloqueado.
Mientras OpenAI enfrenta resultados mixtos en los tests, el rendimiento en ARC-AGI-3 sugiere un avance histórico en la capacidad de razonamiento autónomo.
La cuarta versión en cinco meses mejora en tareas de agentes, sigue detrás de Claude Fable 5.1 en casi todas las pruebas y cobra 0,55 dólares por tarea, cerca de la mitad que sus rivales.
Anthropic lanzó Fable 5.1 y Mythos 5.1 como sus modelos tope para programación y trabajo de conocimiento, con el precio por token intacto y un recorte fuerte en la lectura de caché.
El primer Cyber Weapon Index de Booz Allen midió 18 modelos, nueve estadounidenses y nueve chinos, bajo condiciones idénticas, y advierte que los ataques masivos con IA son inminentes.
Simon Willison corrió su prueba del pelícano en bicicleta en los cinco niveles de razonamiento del modelo de Anthropic: del más barato al más caro hay 33 veces de diferencia en costo.
Anthropic lanzó Fable 5.1 y Mythos 5.1, bajó la lectura de caché de 1 a 0,25 dólares por millón de tokens y duplicó su puntaje en investigación científica con agentes.
Google publicó su tercer modelo económico en seis semanas, pero el nuevo Flash razona más y quema cerca de 30% más tokens de salida por tarea.
El modelo de texto a voz quedó activo por defecto en la API y el estudio de la empresa, y apunta al punto donde fallan los agentes de voz: números de pedido, correos y códigos de referencia.
El tiempo hasta el primer token es la métrica con la que los equipos eligen su API de inferencia, y también la que más los confunde: la síntesis no habla hasta recibir una cláusula completa.
La capa programable envuelve entornos congelados sin tocar el simulador ni los verificadores humanos, y suma hasta 9 puntos en tareas que el agente nunca vio.
Un nuevo marco llamado Mental World Modeling agrega creencias, intenciones y normas sociales al estado del mundo, y con eso un modelo débil supera a uno más potente que solo simula física.
La arquitectura de NVIDIA resolvió los 183 niveles de la prueba pública con 12% menos acciones que VISTA, y llevó a un modelo que por sí solo rendía 30% hasta el puntaje perfecto.
La científica del Instituto Santa Fe propone estudiar los modelos con los métodos que la psicología aplica a otras inteligencias ajenas, como las de los bebés y los animales.
Artificial Analysis midió el modelo abierto de NVIDIA: la mayor velocidad de su clase, un salto de nueve puntos en inteligencia y un Elo agéntico superior al de modelos cuatro veces más grandes.
El nuevo modelo insignia de Anthropic lidera en programacion agentica y trabajo de conocimiento, y cuesta la mitad por token que Fable 5.
Moonshot AI lanzó su modelo más capaz, con pesos abiertos prometidos para el 27 de julio; supera a GPT-5.5 y Opus 4.8 en sus propios benchmarks, pero cobra como la gama Claude Sonnet.
La plataforma de NVIDIA Research busca resolver uno de los problemas sin resolver de la robótica: cómo medir de verdad si una política de control funcionará fuera del laboratorio.
El modelo de xAI queda detrás de Fable 5 y GPT-5.5 en varios benchmarks de programación, pero cuesta 2 dólares por millón de tokens de entrada y usa 4,2 veces menos tokens que Opus 4.8.
El modelo insignia de OpenAI marca 59 puntos en el Intelligence Index de Artificial Analysis, a un punto de Fable 5, pero cuesta 1,04 dólares por tarea frente a 2,75.
Un benchmark de genómica lista por primera vez Luna Pro, Terra Pro y Sol Pro; Sol Pro alcanza 31,5% de pass rate en la prueba.
Consume 40% más tokens de salida que Sonnet 4.6 y triplica los ciclos de agente. El costo promedio salta de USD 1,20 a USD 2,29, aún más caro que el propio Opus 4.8.
El nuevo tope de gama de Anthropic lidera el Artificial Analysis Intelligence Index con 64,9 puntos, pero su corrida completa de benchmarks bordea los USD 10.000, el doble que Opus 4.8.
El benchmark STAC-AI LANG6 con Llama 3.1 8B y 70B muestra hasta 2,8x más rendimiento por GPU frente a Hopper en cargas de inferencia con documentos EDGAR.
El modelo más rápido en su clase de inteligencia consume tantos tokens en tareas de agentes que supera incluso al Gemini 3.1 Pro en costo total.
Otros temas que aparecen junto a #benchmarks en nuestra cobertura editorial.
