#квантование

Все теги →

Неделя 40

  1. Что значит Q4_K_M: как устроено квантование k-quants в llama.cpp Суперблоки по 256 весов, масштабы внутри масштабов и смеси точности. Почему модель на 4 бита почти не глупеет. разбор