#инференс

Все теги →

Неделя 41

  1. Спекулятивное декодирование: маленькая модель угадывает, большая проверяет Ускорение генерации в 2–3 раза без потери качества. Идея из процессоров, которая теперь работает в поиске Google. разбор

Неделя 40

  1. KV-cache: почему генерация не пересчитывает весь текст заново Ускорение в 5 раз за счёт памяти. Разбираю, что именно кеширует трансформер и почему длинный контекст съедает видеокарту. разбор
  2. Что значит Q4_K_M: как устроено квантование k-quants в llama.cpp Суперблоки по 256 весов, масштабы внутри масштабов и смеси точности. Почему модель на 4 бита почти не глупеет. разбор

Неделя 39

  1. Candle: машинное обучение на Rust без Python Почему Hugging Face написали свой минималистичный фреймворк и почему Eva считает модели именно на нём. разбор