«Бесплатные нейросети ни с чем не справляются». А самая дорогая модель Яндекса справилась хуже бесплатной на моём ноутбуке

Пятая и последняя часть серии про мифы об искусственном интеллекте. В прошлой части я обещал проверить этот миф на своих задачах. Проверил, и здесь все цифры: по каждой модели, по каждому тесту и по деньгам.

Что проверял и на чём

Задачи взял из работы:

• договоры: достать реквизиты и сумму и занести в базу, чтобы никто не перебивал их руками;
• почта: разобрать рабочий ящик, чтобы заявка покупателя не утонула среди рассылок;
• таблицы: клиент присылает Excel в своём формате, а программа принимает только свой шаблон;
• новый договор: проверить по правилам компании, нет ли ошибок и невыгодных условий.

В документах персональные данные, отдавать их в чужие сервисы не хочется. Значит, нейросеть должна стоять прямо на компьютере. Такие модели бесплатные: скачал и пользуешься, без подписки и без оплаты за запрос.

Бесплатные, на ноутбуке с 16 ГБ памяти: Gemma 4 12B от Google и Qwen 3.5 9B от Alibaba. Каждая весит около 8 ГБ и работает без интернета, ставятся через бесплатную программу Ollama.

Платные, в облаке Яндекса (AI Studio), десять моделей: Алиса AI и её лёгкая версия Flash, YandexGPT Pro 5, Pro 5.1 и Lite 5, DeepSeek V4.1 Flash и V4 Flash, Qwen 3.6 35B, gpt-oss-120b и gpt-oss-20b. Логирование запросов на стороне Яндекса я выключил.

Как считал: у каждой задачи был эталон, правильные ответы. Каждое расхождение с ним я разбирал по самому документу, а программу сравнения сначала проверял «ломкой»: подсовывал заведомо испорченные ответы и смотрел, что она их ловит. Проверка, которая не может провалиться, ничего не проверяет.

Договоры: 20 штук, половина из них сканы

20 настоящих договоров. 10 в Word и PDF, а ещё 10 это сканы бумажных договоров, от 2 до 19 страниц. Сканы сначала прочитало встроенное в ноутбук распознавание текста, тоже бесплатное, а модель уже работала с текстом. Из каждого договора нужно достать номер, дату, заказчика, ИНН, сумму и тип договора. Всего 117 полей.

Бесплатная Gemma отстала от лучших платных на одно поле, и оно на сканах. Самая дорогая модель, YandexGPT Pro 5, набрала меньше бесплатной и обошлась в 10 раз дороже лучшей.

Что ещё всплыло:

• Отказ. Один обычный договор подряда YandexGPT Pro 5 и 5.1 разбирать отказались: «Я не могу обсуждать эту тему». Сработал их фильтр, хотя в договоре ничего такого нет.
• Выдумки. Где в договоре не проставлен день («__» марта), бесплатная Qwen придумала дату. Gemma честно написала «00», такое легко поймать проверкой.
• Подсказки вредят. В инструкции было «исполнитель обычно наша компания». В договоре, где мы сами заказчик, часть моделей поверила подсказке, а не тексту. Gemma прочла текст.
• Потолок задачи. Остаток до 100 % у лучших моделей почти целиком из спорных мест: допсоглашения с несколькими номерами и датами и рукописные поля, которые неверно прочитало распознавание.

Почта: 20 свежих писем

20 писем, которых модели раньше не видели. Каждое нужно отнести к «требует ответа», «к сведению» или «рассылка» и отметить, если это заявка клиента.

На двух письмах обе ошиблись, и ошибки спорные: приглашение на мероприятие ушло в «к сведению», а по моим правилам это рассылка.

Главное здесь даже не модель. Сначала я дал Qwen простую инструкцию, и она разобрала верно 14 писем из 20. Потом дописал три правила: сообщение покупателя с Авито или Циана это заявка; жилой комплекс ставить, только если он прямо назван; подписочные дайджесты это рассылка. Стало 18 из 20, и заявки перестали теряться. Три строчки текста дали 20 процентных пунктов.

Таблицы: разложить чужой Excel по шаблону

Клиент присылает таблицу на 67 столбцов со своими названиями. Программа принимает только свой шаблон. Модель должна сказать, какой столбец куда класть.

Потом я добавил словарь частых названий столбцов. Это обычная программа, без ИИ: она узнаёт привычные названия столбцов. Со словарём вышло 100 %, а модели достаются только незнакомые столбцы. Проверил и на таблице, где словарь не знал 10 названий: обе бесплатные модели разложили их верно, Gemma после правки инструкции. Оговорка честная: словарь написан по этим же таблицам, настоящая проверка будет на файлах других клиентов.

Вычитка нового договора по правилам компании

Самое сложное я дал только облачным моделям, а бесплатные на ноутбуке здесь не мерил. Собрал три договора (аренда, услуги связи, поставка) с вымышленными компаниями, написал 13 правил компании и спрятал 28 ошибок:

• ошибки в самом договоре: сумма прописью не сходится с цифрами, срок заканчивается раньше, чем начинается, дата «31 ноября», ссылка на пункт и приложение, которых нет, 60 × 640 = 36 400 в спецификации, НДС посчитан сверху, разные ИНН и названия поставщика в шапке и в реквизитах;
• невыгодные условия: предоплата 50 % и 100 %, пени 0,5 % и 1 % в день без потолка, одностороннее изменение цены, суд в Москве, на приёмку один-два дня, поставщик не отвечает даже за умышленное нарушение;
• то, чего в договоре нет: встречной неустойки для второй стороны.

И ещё 9 правильных пунктов-ловушек на самой границе правил: пени ровно 0,1 %, претензия ровно 30 дней. Отметила такой пункт модель, значит, ложное срабатывание. Для контроля тот же вопрос вслепую получил Claude: если сильная модель находит почти всё, тест решаемый.

Ещё три модели ответили не по всем договорам: Qwen 3.6 на одном нашла 10 из 10, а на двух других зациклилась; gpt-oss-120b на одном нашла 9 из 9; DeepSeek V4 Flash на двух нашла 18 из 19, но с пятью неверными утверждениями, а на третьем завис на 22 минуты.

Что всплыло:

• Модели Яндекса ловят условия и пропускают счёт и сверку. Предоплату, пени и суд в Москве нашли почти все. А 60 × 640, «31 ноября», ссылку на несуществующий пункт и отсутствие встречной неустойки пропустили.
• НДС правильно не посчитала ни одна модель Яндекса. В договоре абонентская плата 18 000 рублей, и в ней указан НДС 22 % в размере 3 960 рублей. Верно 3 245,90: 3 960 это 22 %, начисленные сверху. Алиса объявила ошибкой саму ставку 22 % и предложила исправить на 20 %, хотя с 1 января 2026 года основная ставка 22 % (Федеральный закон от 28.11.2025 № 425-ФЗ). YandexGPT Pro 5 назвала «верной» сумму 3 129,77. YandexGPT 5.1 написала, что «22 % от 18 000 не равно 3 960», хотя это ровно 3 960.
• Ловушки. Пункт «отказ от договора с уведомлением за 10 дней» две модели YandexGPT сочли нарушением правила «не более 30 дней». Алиса отметила аванс за один месяц аренды, который правила прямо разрешают.
• Цитат никто не выдумал. Все цитаты, которые программа не нашла в договоре, на деле там есть: отличались пробелами и кавычками или были склеены из двух мест.

Где бесплатные проигрывают

• Скорость. На ноутбуке договор разбирается почти 30 секунд, в облаке от 2 до 14.
• Железо. Gemma занимает 10 ГБ памяти из 16, это впритык: ноутбук в это время заметно тормозит, поэтому я гоняю модели только на зарядке. Для потока документов нужен сервер с видеокартой, по нашему расчёту от 265 тысяч рублей за сборку. Это уже не бесплатно.
• Выдумки и потери. На другом тесте Qwen разбирала скриншоты ответов Алисы: потеряла до 37 % текста, а в одном ответе сочинила два источника. Сводить много материала и делать выводы маленькой модели пока рано.

Сколько стоили проверки

Цена одного обычного договора на разборе: от 0,37 ₽ у Алисы AI Flash до 4,36 ₽ у YandexGPT Pro 5. На тысячу договоров это 370 ₽ против 4 360 ₽.

Где деньги сгорели впустую: Qwen 3.6 зацикливалась трижды, один раз на договорах и два раза на вычитке. Каждый раз долго думала, упиралась в предел и выдавала пустой ответ, примерно за 10 ₽. DeepSeek V4 Flash на вычитке завис на 22 минуты, и прогон пришлось перезапускать.

Что из этого следует

Миф не подтверждается. На рутине вроде договоров и почты бесплатная модель на ноутбуке работает почти как платная в облаке. Проигрывает она в скорости и в железе, а не в уме.

Дороже не значит лучше. Самая дорогая модель из десяти оказалась ниже бесплатной. На сложной вычитке модели разошлись в разы, и цена тут не подсказка: выбирать надо по замеру на своих задачах.

Больше всего дала инструкция. Три правила для почты дали 20 процентных пунктов. Это больше, чем разница между любыми двумя моделями на договорах.

Суммы, даты и ИНН проверяйте кодом, а не моделью. Именно там ошибались почти все.

Серия целиком

1. Миф «ИИ только для мелких проектов»
2. Миф «для работы с ИИ нужно быть программистом»
3. Миф «надо успевать за всеми новинками ИИ»
4. Миф «ИИ тупой и постоянно ошибается»
5. Миф «бесплатные нейросети ни с чем не справляются» (вы здесь)

Пять мифов, и ни один не выдержал проверки цифрами. Спасибо, что читали.

В следующей серии про смерть SaaS: правда ли ИИ убивает сервисы по подписке, за которые бизнес платит каждый месяц.