Attention Mekanizmasının Lineerleştirilmesi: Mamba-2 State Space Duality
Transformer mimarisinin 1 milyon tokenlık çıkarım yaparken karşılaştığı devasa KV-Cache bellek darboğazı, Mamba-2 State Space Duality formülasyonu ile yarı-ayrılabilir matris çarpımına dönüştürülüyor. Bu monografi, SSD mimarisinin matematiksel ispatını ve donanım tensör çekirdekleri üzerindeki blok matris paralelleştirmesini ele alıyor.