«ИИ тупой и постоянно ошибается». А GigaChat сдал ЕГЭ лучше среднего выпускника

14 октября 2026Кирилл КривицкийТемы: Безопасность и ошибки ИИ, С чего начать

Содержание

Экзамены
Медицина
Дороги
Где люди пока сильнее
Почему же он кажется тупым
Как это у меня
Что из этого следует

Четвёртая часть серии про мифы об искусственном интеллекте. Этот миф я слышу чаще всех остальных: ИИ тупой, ошибается на каждом шагу, доверять ему нельзя.

Ошибается, спорить не буду. Но давайте честно посчитаем: а мы с вами ошибаемся реже? Ниже цифры, у каждой есть ссылка на источник. Где сравнение нечестное или данные считает заинтересованная сторона, я так и пишу.

Экзамены

В 2023 году GigaChat выполнил все задания ЕГЭ по обществознанию и набрал 67 баллов. Проверяли эксперты Института образования Высшей школы экономики, «так же, как если бы их давал обычный выпускник школы». Средний балл школьников в тот год был 56,4. Источник: ВШЭ.

На международной олимпиаде по математике 2025 года продвинутая версия Gemini от Google решила 5 задач из 6 и набрала 35 баллов из 42. Это уровень золотой медали: порог золота для школьников в тот год был ровно 35 баллов. Результат ИИ подтвердили координаторы олимпиады. Источники: Google DeepMind, британский олимпиадный комитет.

Медицина

В США 50 врачам дали сложные клинические случаи. Врачи с обычными справочниками набрали 74%, врачи с ИИ под рукой 76%, а ИИ сам по себе 92%. Авторы честно оговариваются: это дополнительный результат, и ставить диагнозы без врача из него не следует. Главный их вывод другой: врач, у которого ИИ просто открыт рядом, работает не лучше. Источник: JAMA Network Open, 2024.

В Москве ИИ разобрал 575 549 профилактических флюорографий и рентгеновских снимков грудной клетки и больше половины, 54,8%, сам отсеял как норму, врачу их смотреть уже не пришлось. Клинически значимых расхождений 0,05%, это 1 снимок из 2 000. Источник: журнал «Digital Diagnostics», 2025. Заммэра Москвы Анастасия Ракова говорит, что точность ИИ «уже сопоставима с уровнем опытного врача-рентгенолога». Источник: mos.ru.

Честная оговорка: ошибки врачей на тех же снимках в московской работе не мерили. А в отдельном разборе 155 расхождений ИИ с врачом по рентгену грудной клетки половину составили пропуски ИИ (50,3%), около трети ложные тревоги (31%). Источник: «Digital Diagnostics», 2024.

Дороги

В России в 2024 году случилось 132 тысячи аварий с пострадавшими. Из-за того, что водитель нарушил правила, 117,2 тысячи, это 88,8%. Источник: обзор НЦ БДД МВД в пересказе «Профиля».

Беспилотные такси Waymo в США проехали без водителя 271 миллион миль. Аварий с тяжёлыми травмами у них на 95% меньше, чем у людей в тех же городах: 0,01 против 0,21 на миллион миль. Оговорка: цифры публикует сама компания, вина в авариях не учитывается, и это только городские улицы без снега. Источник: Waymo.

Где люди пока сильнее

Реальные заказы с фриланс-бирж лучший ИИ выполняет на уровне нанятого профессионала примерно в 1 случае из 5 (21%). Источник: Remote Labor Index, данные на 12 октября 2026 года.

Стрелочные часы средний человек читает правильно в 91% случаев, лучший ИИ в 77%. Источник: ClockBench, данные на 12 октября 2026 года.

Почему же он кажется тупым

Он ошибается не там, где мы. Человек ошибается на трудном. ИИ может взять золото на олимпиаде и запутаться в стрелках на часах. Такие промахи выглядят глупо и запоминаются.

И ошибку машине мы не прощаем. В исследовании Пенсильванского университета люди, увидев ошибки алгоритма, отказывались от него и выбирали прогноз человека. Хотя видели, что человек ошибается на 15–97% больше. Источник: Dietvorst, Simmons, Massey, 2015.

Как это у меня

Про ошибки своего ИИ я написал серию «Косяки моего ИИ-агента» и всё равно работаю с ним каждый день. Подрядчики и сотрудники тоже ошибаются, просто к этому мы привыкли. Ошибки ИИ я научился ловить: 5 вопросов из финала той серии задаю каждый раз.