Реестр промптов / Рабочие заметки
Набор оценки, который ловит регрессии
Организация примеров для осмысленного сравнения версий.
Разделите сценарии
Сгруппируйте примеры по задаче, языку и сложности. Сохраняйте редкие, но важные ошибки отдельной категорией, чтобы средняя оценка их не скрывала.
Не подгоняйте проверку
Держите часть примеров вне повседневного редактирования. Новый промпт должен улучшать поведение на независимых случаях, а не только на знакомом наборе.
Разберите расхождения
Сравнивайте ответы попарно с исходным контекстом. Проверяйте расхождения оценщиков вручную и записывайте причину решения рядом с примером.