視覚情報からプログラムを書く技術に進化：ChartIRでチャート-to-コード変換がより正確に
近年、大規模マルチモーダル言語モデル（Multimodal Large Language Models, 通称MLLM）が注目を集めています。これらのモデルは、画像やテキストといった多様な形式の情報を一括で処理・理解する能力に優れており、画像認識や文章生成などで高いパフォーマンスを発揮しています。しかし、特にチャート（グラフや図表）をコードに変換する「チャート-to-コード」生成タスクでは、まだ限界があるのが現状です。
このタスクは、チャートに描かれた視覚的な要素を正確に読み取り、それに対応するPythonやJavaScriptのような実行可能なコードとして再現する必要があります。これには単なる画像理解にとどまらず、グラフの構造的な理解や、配色、ラベル、軸のスケールなどの細かな要素の抽出と、それをプログラムの形で正確に書き起こす高度な技術が求められます。
この課題に対し、高性能なソリューションとして新たに提案されたのが「ChartIR（Chart Iterative Refinement）」という技術です。これは、チャート-to-コード生成の精度を向上させるために、「構造化された指示（Structured Instruction）」に基づいてモデル出力を段階的に改善していく手法です。
ChartIR：構造化指示による“分けて考える”アプローチ
ChartIRの最大の特徴は、チャートを理解する工程を2つのフェーズに分けて処理することです。
① 視覚的理解（Visual Understanding）
② コード翻訳（Code Translation）
この“分業的アプローチ”により、モデルが一度に多くのことを処理しなくて良くなり、精度と安定性が大幅に向上します。
① 視覚的理解 — “記述と差分”の2つの指示
まず、入力であるチャート画像からどのようなデータが表現されているのかを、言語的に記述します。これには以下の2つの構造化指示を用います:
– 記述(Description)指示：折れ線グラフ、棒グラフ、円グラフなどのチャート形式や、軸のラベル、凡例、色づけ、データポイントの数など、チャートの構成要素と構造を記述。
– 差分(Difference)指示：チャートの元画像と、現在のモデルが生成したコードにより再現されたチャートとの違いを検出。この差分情報に基づき、どこを修正する必要があるかを判断。
このように視覚的情報を言語化することで、次のプロセスであるコードの生成・修正が言語モデルにとってより扱いやすくなります。
② コード翻訳と反復的改善（Iterative Refinement）
視覚的理解が言語的に整理された後、初回のコード生成が行われます。しかし、初回の出力は完璧ではないため、生成されたチャートを再確認し、前述の差分指示に従ってコードを修正していくという反復プロセスに移行します。このように、数回に渡って出力を微調整（リファイン）することで、最終的には原図とほぼ同一のチャートを再現できるコードに到達します。
実験結果：オープン/クローズド両モデルで画期的な性能向上
ChartIRの効果は実験でも証明されています。具体的には、オープンソースのMLLMである「Qwen2-VL」および、クローズドな高性能モデル「GPT-4o」に対して本手法を適用した結果、従来の方法と比べて生成コードの正確さと視覚再現度が大幅に向上しました。
技術的見解：構造化プロンプトの波とマルチモーダルの融合
この研究から注目すべきは、「構造化された指示」（Structured Prompts）がもたらす効果です。単純な「このチャートを再現するコードを書いてください」というプロンプトではモデルも何を重視すれば良いか判断に迷ってしまいますが、分解されたプロンプト（記述指示→コード生成→差分指定→修正）を与えることで、人間がやるような推論・修正のサイクルを模倣できます。
また、マルチモーダル言語モデルという技術分野自体もまだ発展途上にあり、画像認識と自然言語処理をいかに統合するかが研究トピックの中心です。ChartIRはその融合の一歩先を示しており、”視覚情報をテキストによって表現→コード化”という流れは、将来的なマルチモーダルAIの基盤技術となる可能性があります。
まとめ：ChartIRは、AIと開発の橋渡し技術である
ChartIRはただチャートを再現するためのツールにとどまらず、視覚理解と逐次的な推論を高精度で接続することで、AIをより実用的な開発支援ツールへと進化させるものです。特に、プロンプト設計が高度に構造化されたことで、AIの挙動がより制御しやすく安定性が増している点は、開発者にとって非常に有益な進展です。
今後はこの技術の応用として、PDFからの資料再現、自動レポーティング、教育用グラフ生成など、幅広い分野での活用が期待されます。視覚的な「見る力」と、言語的な「説明する力」を同時に持つAIの可能性が、ChartIRによってまた一歩現実のものになりつつあります。
