タイトル：どのAIが書いたコードかを見破る技術「CodeT5-Authorship」：大規模言語モデルの筆跡を探る
ますます進化を遂げる大規模言語モデル（LLM）は、プログラムコードの生成にも広く利用されるようになってきました。しかし、AIが書いたコードは本当に誰が作ったのか分からない、というのは今後問題になる可能性があります。たとえば、サイバー攻撃で自動生成されたコードの出所を突き止めたい、あるいは不正コピーされたコードがどのAIによって生成されたのか知りたい、そんなニーズが増えてくるでしょう。今回紹介する研究は、そのような課題に対して画期的なアプローチを提案しています。
この論文「I Know Which LLM Wrote Your Code Last Summer」では、LLMによって自動生成されたC言語コードについて、「どのAIが書いたのか？」を高精度で判別する新技術が発表されました。彼らが開発したのは「CodeT5-Authorship」と呼ばれるモデルで、これは大規模言語モデルの一種であるCodeT5から派生したものです。
■ CodeT5-Authorshipとは？
従来のCodeT5はエンコーダ・デコーダ構造をもち、入力と出力のペアに対応する自然言語処理タスク（例：コード生成など）に強みを持っていました。しかし、本研究では出力の生成は不要で「入力されたコードがどのAIによって書かれたか」という識別（分類）問題に焦点を当てます。そのため、デコーダ部分は完全に廃し、エンコーダだけを使って分析する構造に最適化されています。
モデルの動作としては、まず入力されたCコードをエンコーダにかけて特徴ベクトルを抽出します。その上で、最初のトークンに対応する出力だけを使って、2層の分類器（GELU活性化関数とDropoutつき）で「どのLLMによって生成されたか」を推定します。
■ データセットと評価：LLM-AuthorBench
この研究では、独自に用意された「LLM-AuthorBench」という大規模なベンチマークデータセットも提供されています。これは、32,000個のC言語ソースコードから構成され、GPT-4系、Claude、Gemini、LLaMA、DeepSeekといった8種類の先進的なLLMから生成されています。単なるランダムコードではなく、コンパイル可能かつ多様なタスクに基づくコードという点も、このベンチマークの質を高めています。
■ 結果のインパクト
このモデルの精度は非常に高く、以下のような結果を記録しています。
– GPT-4.1とGPT-4oという非常に近いモデル同士を見分けるバイナリ分類タスクで97.56%の精度
– 主要な5つの言語モデル間でのマルチクラス分類で95.40%の精度
この「ほとんど人間には違いが分からないコード」の微妙なスタイル差を捉えられるという点が驚異的であり、まるで筆跡鑑定のAI版とも言える技術です。
■ 他のモデルとの比較
BERTやRoBERTa、CodeBERT、DistilBERTといった有名な既存モデルとの比較も行われており、CodeT5-Authorshipの方が一貫して高い精度を出していることが示されています。これは汎用的な自然言語処理モデルではなく、「コードの筆跡（スタイル識別）」という特化したタスクのために最適化された結果であり、設計の巧妙さが光ります。
■ 技術的意義とこれからの展望
LLMが出力するコードには、そのモデルごとに微妙な「クセ」が現れます。たとえば、変数名の好みだったり、if文やループの使い方、空白の配置、コメントの書き方などです。人間の文章と同じく、これらもある意味では「文体（スタイル）」の一部です。CodeT5-Authorshipは、それらの特徴を抽出し、機械的に分類可能にすることで「コードの筆跡鑑定士」の役割を果たします。
この技術の応用範囲は極めて広く、以下のような分野が期待できます：
– セキュリティ：悪意のあるコードの出所を特定
– 法的証拠：コードの著作権や責任の所在を明確化
– 教育：学生がAIに不正にコード生成させたかをチェック
– モデル制御：企業が使用するAIモデルを限定し、外部モデルによる混入を防ぐ
■ まとめと入手方法
AIが生成したコードは一見どれも似ており、判別不能に見えます。しかし裏側には、そのモデル固有の「癖」がしっかりと刻まれています。CodeT5-Authorshipはその見えない癖を検出し、コードの「著者判定」を可能にした初の体系的研究といえるでしょう。
この研究はすでにGitHub上でオープンソースとして公開されており、モデルのアーキテクチャ、ベンチマークデータ、さらにはGoogle Colabスクリプトまで揃っています。興味のある方は以下のリンクから是非チェックしてみてください。
GitHubリポジトリ：https://github.com/LLMauthorbench/
AI時代の新しい「筆跡鑑定」が、いま始まっています。
