Как поймать ИИ на выдумке. 5 вопросов, которые я теперь задаю ему каждый раз

Коротко, что было в серии.

• Самый вежливый лжец в моей команде сидит у меня в компьютере: ИИ обещал «завтра проверю», а между нашими разговорами его просто не существует.
• «Мне кажется, ты врёшь». Что сочиняет мой ИИ-агент: коллеги «не заходили» в систему, цены «актуальны», отдел продаж «внутри дома».

Были и другие случаи, которые в отдельные части не вошли.

Месяц вместо года. ИИ показал статистику сайта клиента: 12 428 визитов за год, и сделал вывод, что счётчик копит данные всего месяц. На деле из-за неверного параметра это были последние 30 дней. Счётчик работает с 2018 года, а за год там около 166 тысяч визитов. Ошибка в 13 раз, и под неё уже был готов вывод.

Ошибки, которых не было. ИИ сверил справочник телефонов с официальным сайтом и записал расхождения: такого адреса там нет, этот номер относится к другому отделу. Я чуть не переписал живую страницу. Второй официальный источник подтвердил всё, что было у нас. Расходились подписи на первом сайте.

Почему так происходит

Причин четыре, и все они не про злой умысел.

1. ИИ не выносит пустых мест. Не знает, как было, и берёт самый типичный вариант. Модель видела миллионы похожих текстов и достраивает по ним.

2. Пустоту он принимает за ответ. Нет данных о входах, значит, никто не входил. Нет адреса на одном сайте, значит, адрес неверный. Хотя правильный вывод другой: данных нет, надо искать в другом месте.

3. Тон у него всегда одинаковый. Он говорит одинаково уверенно, когда знает и когда угадывает. По голосу не отличить.

4. Он пишет как аккуратный человек. «Проверю», «учту», «актуально» звучат как дело, хотя за ними может ничего не стоять.

5 вопросов, которые я задаю

Откуда ты это знаешь? Проверил или вывел? Если вывел, это гипотеза, а не факт.

Покажи, где это видно. Запись, файл, ссылка. Нет источника, значит, нет и факта.

А если данных просто нет? Пусто не значит «нет». Может, ты смотришь не туда.

Чем обеспечено обещание? «Проверю завтра» без задачи по расписанию это просто вежливое слово.

Есть второй источник? Особенно перед тем, как что-то исправить на живом сайте или в отчёте клиенту.

Как сделать, чтобы не повторялось

Каждую пойманную выдумку записывать ему в память правилом. Не «будь внимательнее», а конкретно: эскроу не писать, пустой ответ не считать ответом, цены проверять, прежде чем называть их актуальными. ИИ читает эти правила в начале каждой работы.

Разрешить ему говорить «не знаю». Прямо написать это в инструкции. Честное «не знаю» дешевле любой красивой выдумки.

Всё, что ИИ сделал от моего имени, читать самому. Отчёт клиенту, письмо, пост, правку на сайте. Он ускоряет работу, но подпись остаётся моя.

На этом серия закончена. Спасибо, что читали.

В следующей серии расскажу про безопасность: что бывает, когда даёшь ИИ доступ к своему компьютеру, сервисам и ключам, и как я его ограничиваю.