#llm

Все теги →

Неделя 42

  1. Eva: оркестратор локальных LLM без единой строчки Python Общая память вместо HTTP, песочницы bwrap и вытесняющий планировщик WSJF для нескольких моделей на 8 ГБ VRAM. проект
  2. Mamba и Jamba: что будет после трансформеров (или вместе с ними) Модели пространства состояний, избирательность и гибрид, в котором на восемь слоёв приходится один слой внимания. разбор
  3. FlashAttention: как ускорить внимание, ничего не приближая Узкое место не в умножении матриц, а в перекладывании их по памяти. Разбор алгоритма, который учитывает, где лежат данные. разбор
  4. Mixture of Experts: почему у модели 47 миллиардов параметров, а работают 13 Роутер, эксперты, балансировка нагрузки и главный подвох для владельцев маленьких видеокарт. разбор

Неделя 41

  1. Спекулятивное декодирование: маленькая модель угадывает, большая проверяет Ускорение генерации в 2–3 раза без потери качества. Идея из процессоров, которая теперь работает в поиске Google. разбор
  2. Контекстная инженерия: внимание модели — это бюджет Чем больше токенов, тем хуже модель их помнит. Разбор того, как собирать контекст агенту, по материалу Anthropic. разбор

Неделя 40

  1. Contextual Retrieval: как дать каждому куску документа память о целом Кусок текста «выручка выросла на 3%» бесполезен, если непонятно, чья и когда. Разбор метода Anthropic, который уменьшил провалы поиска на 67%. разбор
  2. LLM Wiki Карпати: перестать искать и начать компилировать знания Сырые источники, вики, которую ведёт модель, и файл с правилами. Почему эта короткая заметка породила тысячи форков. разбор
  3. KV-cache: почему генерация не пересчитывает весь текст заново Ускорение в 5 раз за счёт памяти. Разбираю, что именно кеширует трансформер и почему длинный контекст съедает видеокарту. разбор
  4. Что значит Q4_K_M: как устроено квантование k-quants в llama.cpp Суперблоки по 256 весов, масштабы внутри масштабов и смеси точности. Почему модель на 4 бита почти не глупеет. разбор

Неделя 39

  1. SSE или WebSocket: как правильно стримить токены LLM ChatGPT использует простой HTTP-поток, а не сокеты. Разбираю, когда хватает Server-Sent Events и когда нужен WebSocket. разбор
  2. Candle: машинное обучение на Rust без Python Почему Hugging Face написали свой минималистичный фреймворк и почему Eva считает модели именно на нём. разбор
  3. Векторы персоны: где у языковой модели живёт характер Anthropic нашли направления в активациях, отвечающие за подхалимство, «злобу» и галлюцинации, и научились ими управлять. разбор