Статьи

1. AI-диагноз, отложивший лечение рака

В Ирландии 37-летний мужчина обратился к ChatGPT из-за боли в горле. ИИ заверил: «рак маловероятен». В итоге — диагноз на поздней стадии, когда лечение уже почти невозможно.
Урок: никогда не заменяйте врача на чат-бота.

2. Babylon Health: стартап на хайпе

Разрекламированный британский стартап с ИИ-симптом-чекером обещал диагностировать лучше врачей, но независимые исследования, включая Lancet, показали: система далека от точности и потенциально опасна. В итоге компания обанкротилась.
Урок: хайп не гарантирует безопасность.

3. Алгоритм предупреждений о сепсисе Epic — плохо настроен

Исследование показало, что модель, работающая в сотнях клиник, пропускала 2⁄3 случаев сепсиса и выдаёт множество ложных тревог. Это снижает доверие врачей и замедляет своевременную помощь.
Урок: даже «официальные» алгоритмы могут оказаться ненадёжны.

4. Google Med-Gemini и ложный диагноз по несуществующей части мозга

В научной статье Google AI диагностировала «старый инфаркт в basilar ganglia» — анатомический абсурд, выдуманный ИИ. Ошибка осталась незамеченной и только позднее исправлена.
Урок: проверяйте ИИ-выводы — он может выдумывать.

5. Отказ алгоритма в Университете Пенсильвании

ИИ, предсказывающий риск смерти у онкологических пациентов, резко ухудшил точность в период COVID и не был вовремя подвержен ревизии врачами.
Урок: алгоритмы требуют постоянного мониторинга и ресурсов.

6. Therac-25 — трагедия из прошлого, предупреждающая нас сегодня

В 1980-х радиотерапевтическая машина с программным управлением дозировала пациентам смертельно высокую радиацию из-за сбоев в ПО. Последствия — серьёзные травмы и смерть.
Урок: даже старые ошибки ИИ остаются актуальными — нужна надёжная проверка.

7. Склонность к чрезмерному доверию — «automation bias»

Исследование MIT показало: даже опытные радиологи хуже справляются, если ИИ ошибается — именно из-за доверия машине. Их точность падала до 40 %.
Урок: доверяйте ИИ, но всегда перекрестно проверяйте.

Итог

ИИ может кардинально улучшить медицину, но ошибки случаются — и с тяжёлыми последствиями. Нужных решений не будет без:

• строгого тестирования алгоритмов на практике,
• постоянного мониторинга и контроля,
• критичного отношения врачей и пациентов к ИИ,
• ответственного регулирования и прозрачности.

Любой «умный механизм» — лишь инструмент. А ответственность за жизнь остаётся за человеком.

Источники:

• ChatGPT не заметил рак — Ирландский случай, The Times of India
• Провал Babylon Health — статья The Guardian и Wikipedia
• Алгоритм Epic про сепсис — Wired и TrueAIValues 
• Ошибка Med-Gemini — The Verge 
• ИИ Пенсильвании отказал в критической ситуации — SFChronicle 
• Therac-25 радиационные аварии — Wikipedia 
• Проблема автоматического доверия (automation bias) — MIT study или обсуждение в AI governance