#трансформеры

Все теги →

Неделя 42

  1. FlashAttention: как ускорить внимание, ничего не приближая Узкое место не в умножении матриц, а в перекладывании их по памяти. Разбор алгоритма, который учитывает, где лежат данные. разбор

Неделя 40

  1. KV-cache: почему генерация не пересчитывает весь текст заново Ускорение в 5 раз за счёт памяти. Разбираю, что именно кеширует трансформер и почему длинный контекст съедает видеокарту. разбор

Неделя 39

  1. Как нейросеть отделяет голос от музыки: Hybrid Transformer Demucs Две ветки, по времени и по частоте, и трансформер между ними. Разбор архитектуры, которая держала рекорд в разделении источников. разбор