#оптимизация

Все теги →

Неделя 42

  1. FlashAttention: как ускорить внимание, ничего не приближая Узкое место не в умножении матриц, а в перекладывании их по памяти. Разбор алгоритма, который учитывает, где лежат данные. разбор

Неделя 41

  1. Спекулятивное декодирование: маленькая модель угадывает, большая проверяет Ускорение генерации в 2–3 раза без потери качества. Идея из процессоров, которая теперь работает в поиске Google. разбор