#архитектура
Неделя 42
- Mamba и Jamba: что будет после трансформеров (или вместе с ними) Модели пространства состояний, избирательность и гибрид, в котором на восемь слоёв приходится один слой внимания. разбор
- Mixture of Experts: почему у модели 47 миллиардов параметров, а работают 13 Роутер, эксперты, балансировка нагрузки и главный подвох для владельцев маленьких видеокарт. разбор
Здесь пусто.