Saltar al contenido
Etiqueta

#llama cpp

1 nota publicada

Optane PMem usada corre Kimi K2.5 a 4 tokens/s en una RTX 3060
Electrónica

Optane PMem usada corre Kimi K2.5 a 4 tokens/s en una RTX 3060

Un usuario del subreddit Local LLaMA muestra que seis módulos Intel Optane DCPMM de segunda mano alcanzan para alojar un mixture-of-experts de un billón de parámetros con una sola GPU.

Tom's Hardware

Etiquetas relacionadas

Otros temas que aparecen junto a #llama cpp en nuestra cobertura editorial.