«Мне кажется, ты врёшь». Что сочиняет мой ИИ-агент

Я поднял свою переписку с ИИ и выписал случаи, где он сочинял. Не ошибался в расчётах, а именно придумывал: мне, коллегам, клиентам. Вот четыре самых показательных.

1. Коллеги, которые «не заходили»

Мы с коллегой ведём общий проект в системе учёта задач. Я попросил ИИ сделать сводку по проекту.

ИИ написал: учётки заведены, но ни один человек ни разу не входил в систему. И отдельно подчеркнул это как тревожный сигнал.

Я ответил: мне кажется, ты врёшь, я точно заходил, и коллега тоже. Оказалось, система просто не отдала ему данные о входах: такого поля в ответе не было вовсе. Пустое место ИИ прочитал как «никто не входил» и сразу сделал вывод. Потом пошёл смотреть журнал, где входы записаны.

2. Цены, которые «актуальны»

Разбирали сайт жилого комплекса. ИИ уверенно сказал, что цены квартир на сайте актуальные.

Он их не проверял. Цены были не актуальны. Я спросил: почему ты просто так это придумал? ИИ честно ответил, что домыслил и оснований так говорить не имел.

3. Отдел продаж внутри дома

Готовили письмо от застройщика агентствам недвижимости. ИИ написал, что в доме работает отдел продаж.

Дом это дом, никакого отдела продаж внутри нет. Он стоит рядом, в вагончике.

А ещё ИИ раз за разом вставлял в письмо абзац про договор и эскроу-счёт в конкретном банке, хотя об этом никто не просил. Убирал, он появлялся снова в следующей версии. Пришлось прямо записать ему в память: это нигде не использовать.

4. Мои чувства, которых не было

ИИ писал за меня пост про агентство из ИИ-агентов и вставил фразу: первые недели я просто радовался.

Я не радовался. Я жёстко упирался в лимиты и не понимал, почему так происходит.

Откуда это берётся

ИИ не врёт нарочно. Он не выносит пустых мест.

Когда не знает, как было, он берёт самый типичный вариант. Обычно основатель проекта сначала радуется. Обычно у застройщика есть отдел продаж. Обычно в письмах о новостройках пишут про эскроу. Модель видела миллионы похожих текстов и достраивает по ним.

Когда не видит данных, он придумывает им объяснение. Нет записей о входах, значит, никто не входил. Хотя правильный вывод другой: данных нет, надо посмотреть в другом месте.

И выдумка звучит убедительнее правды. Правда бывает странной, как вагончик вместо отдела продаж. Выдумка всегда гладкая, потому что собрана из самого типичного.

Что я сделал

Почти каждая такая выдумка теперь записана ему в память отдельным запретом: эскроу не писать, отсутствие данных не считать ответом, цены проверять, а не угадывать.

А главное правило одно: не знаешь, так и скажи «не знаю». Звучит хуже уверенного ответа. Зато потом не приходится спрашивать, почему ты это придумал.

В следующей, последней части серии соберу всё вместе: почему ИИ так уверенно ошибается и как научиться в нём сомневаться.