手術現場に革命をもたらす人工知能：ReSurgSAM2で「見る」「追う」「切る」が変わる
近年、AI（人工知能）技術の進歩は医療分野にも大きな影響を与えており、特に「コンピュータ支援手術（computer-assisted surgery）」においてその恩恵は計り知れません。外科手術において術野（手術中に外科医が見る領域）を明確に把握することは、手術の安全性と正確性向上に直結します。今回紹介するのは、そんな高度な要求に応えるために開発された最先端のAI技術「ReSurgSAM2」です。
これは、手術中の映像に登場する臓器や器具などを、テキストなどで指示を与えることでAIが自動的に特定・追跡し、正確に画像分割（セグメンテーション）してくれる新しいシステムです。
この記事ではこのReSurgSAM2の革新性と、それがどう現場の手術に役立っていくのか、技術的な側面も交えてわかりやすく解説します。
ReSurgSAM2とは？──手術映像を読み解くAI
ReSurgSAM2は、「Referring Segment Anything in Surgical Video version 2」の略で、手術中の実際の映像に対して、テキストで「この臓器を認識して追跡して」などの指示を与えることで、AIが自動的にその臓器を見つけ出し、輪郭の抽出や長期間の追跡（ロングタームトラッキング）を行う二段階の枠組みで設計されています。
この技術のコアには、Meta（旧Facebook）が開発したセグメンテーション特化AI「Segment Anything Model 2（SAM2）」があり、ReSurgSAM2はこれを土台として改良を加えています。
技術のポイント①：テキストでの指示 → 正確な検出
ReSurgSAM2の第一段階では、対象物体（例えば「肝臓」や「鉗子」など）をテキストで指定し、それを基にAIが手術映像内から正確にその対象物を特定します。このプロセスには「クロスモーダル時空間Mamba」と呼ばれる新規のAIモデルが活用されています。これは、映像中の空間情報（どこに何があるか）と時間情報（動きの変化）を統合し、非常に精度の高い識別を可能にします。
技術のポイント②：信頼できる「初期フレーム」の選定
対象物の検出が終わったあとは、その対象を映像中で追い続ける「トラッキング」が必要になります。ここで重要なのが「どの場面から追跡をスタートするか」ということです。ReSurgSAM2では、誤検出のリスクを避けるために、映像内で最も信頼性の高い検出が行われたフレーム（初期フレーム）を自動的に選定する独自のアルゴリズムを導入しています。
技術のポイント③：多様性重視の「記憶バンク」で長期追跡
手術は長時間に及ぶことが多く、対象物も時間とともに形や方向を変えます。ReSurgSAM2は、「多様性に富んだ記憶バンク（メモリーモジュール）」を構築して、過去の映像に現れた多様な外観パターンを蓄積。それを活用することで、対象物の見た目が多少変化しても正確に追跡し続けることができます。この記憶バンクの戦略により、ロングターム（長期的）な安定したトラッキングが可能にされています。
リアルタイムで61.2FPSの動作速度
驚くべきはその性能だけではありません。ReSurgSAM2は処理速度にも優れており、1秒間に約61.2フレームという「リアルタイム」を超える高速処理が可能です。これだけのスピードがあれば、実際の手術現場での利用も視野に入ってきます。
これまでの手術映像分析AIの課題
従来の手術映像を対象とした画像処理AIには、次のような課題がありました：
– 短時間の追跡しかできず、すぐに見失ってしまう
– 映像の一部で誤認識をした場合、それがその後も修正されずに悪影響を与える
– ユーザーが細かく調整しなければならなかった
このような問題点に対して、ReSurgSAM2はしっかりと技術的な回答を出しており、精度・安定性・操作のしやすさという三拍子が揃っています。
医療現場へのインパクトと今後の展望
ReSurgSAM2の応用範囲は非常に広く、以下のような活用が期待できます：
– 実際の手術中にAIが臓器や器具をリアルタイムに認識・追跡して、医師の判断をサポート
– 手術後の映像解析による手技評価や教育
– ロボット手術における自動制御技術への応用
さらに、同プロジェクトのソースコードやデータセットはGitHubで公開されており（https://github.com/jinlab-imvr/ReSurgSAM2）、世界中の研究者や開発者が自由にアクセスして学び、発展させていくことが可能です。
おわりに：AIと手術の未来を拓く技術
ReSurgSAM2は画像認識技術と自然言語理解、そしてメモリーモデルという高度なAI技術を組み合わせることで、手術映像の理解を全く新たな次元へと引き上げています。人間の目では見落とすような微細な変化も捉え、医療の安全性と効率性の向上に大きく貢献することが期待されます。
今後、さらに多くの外科手術や手術トレーニング環境へと導入されれば、AIが「医師の目」や「第3の手」として機能する未来もそう遠くないでしょう。
技術の進化が命を救う。ReSurgSAM2は、その最前線に立つ存在だと言えるでしょう。
