近年、生成AIはさまざまな分野で活用が進んでおり、特に医療分野においては、その可能性に大きな注目が集まっています。医療分野で使用される大規模言語モデル（LLM：Large Language Model）は、医療情報の検索、自動診断支援、電子カルテの要約、さらには医療従事者の教育など、さまざまな状況でその有用性が見込まれています。しかし、患者の安全が最優先される医療の現場において、新たなツールが導入されるには、その性能や信頼性に対して綿密なベンチマーク（性能評価）が不可欠です。
そうした背景の中、2024年1月、Hugging Faceと複数の協力研究者たちは「The Open Medical-LLM Leaderboard（オープン メディカル LLM リーダーボード）」を立ち上げました。これは、医療に特化した大規模言語モデルがどのようなパフォーマンスを発揮するのかを測定・比較するための、オープンアクセスで透明性のある評価プラットフォームです。本記事では、このLeaderboardが何を目的として作られたのか、どのような仕組みで評価を行っているのか、そして今後どのような展望があるのかを詳しく見ていきましょう。
オープン、透明、公正な評価を目指す試み
従来、医療用LLMの開発や評価は限られた研究機関や企業によって行われており、多くの情報が非公開のままになっていることがしばしばありました。モデルの性能を公に比較するための標準的なフレームワークが整っておらず、どのモデルを採用すべきか判断する材料が不足していたのです。その結果、新しいLLMを医療現場で導入する際には、多くの不確実性が伴っていました。
そうした問題を解決するために誕生したのが本Leaderboardです。このプラットフォームが目指すのは、他の先駆的なLLM評価プロジェクト──例えばOpen LLM LeaderboardやHelmなど──と同様、誰もがアクセスでき、モデル間で公正な比較が可能なベンチマーク環境を整備することです。誰がどんなモデルをどう評価したのか、結果がどのようになったのかをすべて公開することで、信頼性と再現性を高める狙いがあります。
多面的に構成されるベンチマーク評価
評価対象となる医療用LLMは、多岐にわたる能力を持っている必要があります。診断補助の精度だけでなく、文章をわかりやすく要約できるか、患者への説明を自然な言葉で行えるか、あるいは適切な文献を参照できるかといった多面的なスキルが求められるからです。こうした多様な能力を測るため、Leaderboardでは複数のベンチマークテストを採用しています。
評価は以下の3つのカテゴリーに大別されます：
1. クローズドベンチマーク： オープンアクセスでないが信頼性のある既存の医学系試験を用いた評価。具体的には、米国の医師国家試験USMLE（United States Medical Licensing Examination）の過去問題などが含まれます。
2. 公開ベンチマーク： 一般に公開されているデータセットを用いてモデルを評価します。例えば、MedQA（中国の医師試験）、PubMedQA（生物医学的な質問応答タスク）などが使われ、他の研究者によっても再現が可能です。
3. 応用・下流タスク評価： 実際の医療現場で必要とされる機能を評価するタスクです。たとえば電子カルテの自動要約、診断説明文の生成、臨床文献からの情報抽出などが含まれます。
これらの評価はすべてPythonベースのプログラムによって自動化されており、評価の正確性と一貫性が保たれています。また、誰もがこのコードを確認・利用できるオープンソース化がされていて、開発者や研究者が自分たちのモデルを容易に評価できる環境が整っています。
現時点でのリーダーボードランキング
多数の注目されるモデルがすでにこのリーダーボード上で評価され、ランキングが公開されています。例えば、Meta社が発表したCode Llama、Google DeepMindのMed-PaLMシリーズ、OpenAIのGPT-4を利用した医療特化型モデルなどが参加しています。
特に高スコアを記録しているのが「GPT-4 Med」と呼ばれるモデルで、アメリカの医学試験だけでなく、他言語・他文化ベースの評価でも優れた成績を収めているのが特徴です。さらに、非常に注目されているのは「Open-source vs Closed-source（オープンソースとクローズドソース）」という構図です。リーダーボード上では、多くのオープンソースモデルがクローズドソースモデルと競り合っており、今後のLLM開発の主潮がどちらに向かうかを示唆する重要な資料ともなっています。
ただし、現時点ではオープンソースモデルがクローズドソースモデルに比べてやや性能面で劣る傾向があることも事実です。これは使用されている学習データやチューニング戦略の違いによるものと考えられます。しかし、リーダーボードがオープンであることにより、こうした差が明確になり、それぞれの開発者が改良すべきポイントを可視化できる点が大きなメリットです。
医療応用に向けた課題と展望
リーダーボードの意義は単なるランク付けにとどまりません。医療応用に向けたLLMの課題と限界を明らかにするうえで、非常に貴重な情報源となっています。
例えば、現状の多くのモデルは英語に最適化されており、多言語対応（たとえば日本語や中国語など）にはまだまだ改良の余地があります。さらに、診断や処方といったクリティカルな判断を下す場合には、法律的・倫理的観点からも慎重な取り扱いが求められます。LLMが人間の代わりになるのではなく、医療従事者の判断を補完・支援する形で導入されることが理想とされているのです。
今後の展望としては、より多様な国や言語への対応、評価タスクの拡充、そして実臨床データとの組み合わせによる現場導入シミュレーションなどが挙げられます。Hugging Faceを含む研究コミュニティは継続的にこのリーダーボードを更新していく予定であり、ユーザーや開発者によるフィードバックを通じて改善が進められることが期待されています。
まとめ
Hugging Faceによって立ち上げられた「The Open Medical-LLM Leaderboard」は、医療分野における大規模言語モデルの性能を包括的に評価し、世界中の研究者や開発者が共通の基準で比較できる環境を提供する画期的な取り組みです。オープンで透明性の高いこの試みは、今後のAI医療応用の健全な発展に大きく寄与するとともに、多くの課題に対する建設的な解決策を導く出発点となるでしょう。
革新が求められる医療の世界において、こうした共通基盤を活用することが、安全で信頼性の高いAI医療支援ツールの実現につながることを願ってやみません。今後もリーダーボードの進化に注目し、最新の成果が医療従事者や患者、その双方にとって価値ある形で活かされていくことを期待しています。
