Векторы персоны: где у языковой модели живёт характер

Два дня я писал о том, как задать характер Евы снаружи модели. А у самой языковой модели характер тоже есть, и он, оказывается, буквально записан в её активациях. Разбираю исследование Anthropic о векторах персоны.

Что это

Внутри модели каждый токен проходит через слои, и на каждом слое у него есть вектор активаций. Исследователи нашли, что черты характера соответствуют направлениям в этом пространстве. Есть направление «подхалимство», есть «склонность выдумывать факты», есть условная «злоба».

Нашли их почти по-инженерному: заставили модель отвечать в двух режимах, например злобно и нормально, и вычли средние активации одного режима из другого. Разница и есть вектор черты.

Основные черты: злонамеренность, подхалимство и галлюцинации. Дополнительно смотрели вежливость, апатию, юмор и оптимизм. Эксперименты шли на открытых моделях Qwen 2.5-7B-Instruct и Llama-3.1-8B-Instruct.

Зачем это нужно

1. Мониторинг. По тому, насколько сильно активирован вектор, видно, что характер модели «поехал»: во время разговора или во время дообучения.

2. Прививка при обучении. Самое неожиданное. Если подавлять плохой вектор после обучения, черта уходит, но модель глупеет. А если наоборот, во время обучения немного подмешивать нежелательный вектор, модель не приобретает эту черту, и способности почти не страдают. Авторы сравнивают это с вакциной: модели не нужно самой «искать» злобу в данных, потому что её уже дали снаружи.

3. Фильтрация данных. Можно измерить, насколько каждый пример из датасета активирует вектор черты, и найти опасные примеры, включая неочевидные, которые человек при просмотре пропустил бы.

Мой комментарий

Это хорошая параллель с Persona. У меня характер описан явно, через OCC и PAD, поверх модели. Здесь характер нашли внутри модели. Не исключаю, что в будущем эти подходы встретятся: эмоциональный вектор из Persona можно было бы превращать прямо в управляющий вектор активаций, а не в текстовую подсказку.

Но для Евы важнее второй вывод: следить за подхалимством. Ассистент, который всегда соглашается с хозяином, бесполезен как инженер. Мне нужна Ева, которая скажет «у тебя тут race condition», даже если я этого не хочу слышать.