Самая частая ошибка не в выборе модели. Она появляется, когда организации пытаются автоматизировать вопрос, для которого не определили владельца, данные и цену ошибки.
Сначала разобрать работу, потом выбирать инструмент
Фраза «нам нужен AI» сама по себе ничего не объясняет. Нужен поиск по документам, подготовка статуса, разбор обращений, сверка данных, проект решения или автоматическое действие? Это разные задачи с разной ценой ошибки.
Если процесс не имеет ясного владельца и ожидаемого результата, модель только ускорит хаос. Она будет быстро собирать версии документов, которые никто не считает актуальными, или готовить рекомендации для решения, на которое у человека нет полномочий.
Четыре уровня риска
Первый уровень это личная продуктивность: черновик письма, структура встречи, поиск идей. Второй это внутренний процесс: классификация обращений, поиск по проверенной базе, подготовка материалов. Третий это рекомендация, которая влияет на клиента, сотрудника или деньги. Четвертый это действие без человека в контуре.
Для каждого следующего уровня растут требования к качеству данных, проверке, журналу действий и возможности остановить сценарий. Нельзя управлять ими одной политикой «можно или нельзя пользоваться ChatGPT».
AI готовит, человек решает
Это не лозунг против автоматизации. AI может сравнить большой набор документов, увидеть пропуск в карточке, предложить варианты и подготовить черновик. Но у него нет полномочия взять на себя последствия неверного решения.
Поэтому в каждом сценарии важно явно назвать три роли: кто владеет задачей, кто проверяет результат AI и кто принимает решение, если цена ошибки существенна. Если роли совпадают, это тоже должно быть осознанным выбором.
Набор кейсов важнее общей оценки модели
Лидерборд показывает средний результат на чужой задаче. Вашей команде нужен свой набор из обычных, сложных и пограничных кейсов. В нем должны быть реальные термины, документы, исключения и ошибки, которые нельзя допустить.
Оценивайте не только точность. Смотрите, сколько времени занимает проверка, какие ответы звучат уверенно, но ошибочны, как инструмент работает с конфиденциальными данными и сколько стоит один полезный результат.
Журнал использования, а не журнал промптов
Нет смысла заставлять людей сохранять каждый запрос. Журнал нужен для сценариев, которые меняют процесс или решение. В нем достаточно указать цель, владельца, используемые данные, версию инструмента, способ проверки и известные ограничения.
Так организация получает возможность воспроизвести решение, заметить повторяющуюся ошибку и обновить правило без охоты на виноватого.
С чего начать за месяц
Выберите одну повторяющуюся задачу с понятным результатом и низким риском. Например, подготовку структуры статуса по проверенным данным или поиск по ограниченной базе документов. До запуска измерьте время, качество и количество возвратов.
Через две недели сравните результат с прежним способом работы. Если выигрыш требует постоянной ручной правки или создает новый риск, остановите сценарий и исправьте процесс. Умение отказаться от плохого пилота это тоже зрелость.