IA
Meta supera a FlashAttention-4 en Blackwell con un kernel escrito en Tri
El kernel de atención irregular de su modelo de anuncios GEM, escrito con las extensiones TLX, mide 3.200 líneas y gana 13% en la pasada hacia adelante y 50% en la de retropropagación.
PyTorch Blog