Операции в цифре: NVIDIA научила нейросеть симулировать хирургические вмешательства в реальном времени

Искусственный интеллект продолжает осваивать профессии, где ошибка стоит слишком дорого. Компания NVIDIA представила Cosmos3-H-Dreams — модель генеративного симулятора, способную воспроизводить сложнейшие процедурные и визуальные аспекты клинической хирургии. Если раньше подобные системы тренировались на упрощенных настольных макетах для роботизированных рук, то теперь речь идет о реальных операциях на внутренних органах человека.

Новая нейросеть обучалась на записях хирургических вмешательств и движениях роботов-хирургов платформы CMR Surgical Versius. Внутри человеческого тела даже легкое движение инструмента меняет всю картину: ткани натягиваются, появляются тени, а видимость порой ухудшается из-за дыма или изменения освещения. Модель должна не просто создавать правдоподобную картинку, но и строго следовать командам управления, сохраняя анатомическую достоверность без накопления критических ошибок.

Благодаря оптимизации и библиотеке потокового вывода FlashDreams, система работает интерактивно на одной видеокарте NVIDIA RTX PRO 6000. Разработчики отмечают, что это первый шаг к созданию полноценных обучающих тренажеров нового поколения, хотя до реального применения в операционных еще далеко — пока виртуальная анатомия служит лишь полигоном для отработки навыков.

Интересно, что модель использует сложный пайплайн с дистилляцией учителей в быстрые студенческие версии, сокращая количество шагов шумоподавления для ускорения генерации. Остается надеяться, что виртуальные скальпели останутся исключительно на экранах мониторов, избавляя пациентов от лишних сюрпризов.