ИИ в медицине

Чем ИИ-медицинские устройства отличаются от обычных приборов?

Внешне разница может быть вообще незаметна. И обычный медицинский прибор, и система с ИИ помогают врачу принять решение. Но внутри всё устроено немного иначе. Обычное устройство обычно работает по заранее заданным правилам. А ИИ может анализировать огромные массивы данных, находить закономерности и, в некоторых системах, меняться после обновлений.

Отсюда и несколько проблем.

•    Алгоритм может обновляться. После выхода устройства на рынок его возможности не обязательно остаются прежними.
•    Не всегда понятно, почему получен именно такой результат. Нейросеть выдала прогноз, а врачу бывает сложно восстановить всю цепочку рассуждений.
•    Данные имеют значение. Модель, хорошо показавшая себя в одной клинике, не обязательно даст такой же результат на пациентах из другой.
•    Технологии доступны не всем одинаково. Крупные медицинские центры могут внедрять современные системы быстрее небольших больниц.

Регуляторам приходится подстраиваться под эту реальность. В США этим занимается, в частности, FDA.

Как это работает в США?

Один из основных принципов — разделение медицинских устройств по уровню риска. Для более опасных систем требования строже. Устройства среднего риска иногда проходят ускоренную процедуру, если уже существует похожий одобренный прибор. И здесь появляется интересный момент: новое поколение может опираться на разрешение старой модели. Потом появляется следующее. И так далее. Получается длинная цепочка изменений, которую необходимо контролировать.

Что происходит, когда ИИ обновляют?

FDA использует подход PCCP — производитель заранее описывает предполагаемые изменения алгоритма и способы контроля их безопасности. На практике всё равно остаётся вопрос: насколько сильно изменилась система после обновления? Если ИИ начал решать совершенно другую задачу или работать с новыми типами данных, простой формальной проверки может оказаться недостаточно. Есть и другие механизмы — например, требования к разработчикам электронных медицинских систем раскрывать информацию о работе некоторых прогностических моделей.

Где чаще всего возникают проблемы?

Ситуаций несколько:
•    алгоритм обучался на пациентах одного региона, а используется в другом;
•    модель отлично работает в тесте, но хуже показывает себя в реальной клинике;
•    в данных есть социальные или демографические перекосы;
•    генеративный ИИ уверенно выдаёт информацию, которой на самом деле нет.

Последний пункт особенно неприятен. Красивое объяснение ещё не означает правильный диагноз.

Почему врачу нельзя просто принять рекомендацию системы?

Потому что ИИ тоже ошибается. При подозрении на инсульт, сепсис, инфаркт или другое критическое состояние цена такой ошибки особенно высока. Врач должен понимать, на каких данных основан вывод, и иметь возможность его перепроверить. Для практики полезное правило довольно простое: ИИ подсказывает, врач проверяет. Нужно смотреть исходные данные, учитывать состояние конкретного пациента и знать ограничения используемой системы.

Что будет дальше?

Вероятно, требования к медицинскому ИИ будут становиться жёстче. Потребуется больше испытаний не только на наборах данных, но и в обычных клиниках. Самой больнице тоже придётся участвовать в контроле: следить за точностью системы, фиксировать ошибки и проверять, не изменилась ли её эффективность после обновлений. ИИ способен заметно облегчить работу врача. Но медицинский алгоритм — всё-таки не самостоятельный специалист. И чем серьёзнее решение, тем меньше места должно оставаться для принципа «раз программа сказала, значит так и есть».

Источник https://pmc.ncbi.nlm.nih.gov/articles/PMC12339208/