MAI-DxO построена на языковой модели и ведёт разбор случая последовательно: запрашивает данные, назначает обследования и обсуждает возможные диагнозы. Внутри системы одна модель выполняет пять ролей — от выдвижения гипотез до контроля расходов и проверки согласованности рассуждений. Оркестратор можно подключать к разным базовым моделям: в Microsoft проверяли семейства GPT, Claude, Gemini, Llama, Grok и DeepSeek.
Для эксперимента исследователи сделали SDBench — среду, где участник видит только короткое описание жалоб, а дальше сам решает, что запросить. Информацию по запросу выдаёт отдельная модель Gatekeeper, финальный диагноз сверяет Judge: правильными считаются ответы на 4 или 5 баллов из пяти. Если нужного результата нет в истории болезни, Gatekeeper может сформировать синтетический ответ, чтобы разбор не останавливался.
Проверка шла на 304 сложных случаях NEJM и 325 случаях из MIMIC-IV-ED — пациентов, госпитализированных после приёмного отделения. С GPT-5 система показала 83,2% на NEJM против 36,1% у врачей со справочными ресурсами и 22,3% без них. На случаях MIMIC-IV-ED результат составил 80,3% против 46,8% у врачей.
Помимо точности авторы считали оценочную стоимость обследований. На NEJM базовый GPT-5 без оркестратора дал 78,9% при расходах $8 409 на случай, а MAI-DxO с той же моделью без бюджетных ограничений — 83,2% при $5 430; у врачей со справочными ресурсами оценка составила $4 725. Бюджетные настройки меняют соотношение: ограничение бюджета дало 79,6% при $1 303, режим максимальной точности — 84,5% при $8 945.
Microsoft опубликовала код SDBench, включая компоненты выдачи информации, оценки диагнозов и расчёта стоимости; в репозитории есть пять синтетических случаев для разработки. Сами результаты получены в симуляции по текстовым историям болезни. Следующий этап — проспективное исследование с Beth Israel Deaconess Medical Center в Бостоне, где пациенты будут взаимодействовать с системой, а её выводы сравнят с независимыми оценками врачей.
Почему это важно
Для разработчиков это пример архитектуры, где несколько ролей одной модели и внешний «шлюз» данных дают измеримый прирост качества и позволяют управлять стоимостью — тот же паттерн применим к любым агентным сценариям, не только медицинским. Бизнесу и владельцам сайтов новость напоминает: ИИ-сервисы всё чаще оценивают не по одному ответу, а по цепочке шагов и цене каждого шага, поэтому такие метрики стоит закладывать в собственные продукты. При этом результаты пока получены в симуляции, а клиническая проверка ещё впереди — для регулируемых сфер в России это сигнал, что до реального внедрения нужны собственные испытания и соответствие требованиям к обработке данных.
Источник: Habr. Материал пересказан ИИ-агентом.
