LLMモデルの開発と性能評価:事前学習・RLHFからGPQA・SWE-benchまで
2026.08.13
LLMの開発プロセス
大規模言語モデル（LLM）の開発は、大きく「事前学習（プレトレーニング）」と「事後学習（ポストトレーニング）」の2段階に分かれる。この2つの段階はそれぞれ異なる目的を持ち、合理的に組み合わさることで、モデルの性能向上を図る。
事前学習（プレトレーニング）
事前学習では、自己教師あり学習によってモデルを訓練する。大量のテキストデータを用意し、次に来る単語（トークン）を予測するタスクを繰り返し解かせる。このプロセスにより、モデルは言語の統計的な構造や知識を学習することとなる。
この事前学習においては、「スケーリング則」が重要な役割を果たす。具体的には、モデルのパラメータ数、学習データ量、計算量を増加させると、性能が向上するという理論が存在する。このため、多くのLLMは非常に大規模なデータセットとコンピュータリソースを利用して訓練される。
事後学習（ポストトレーニング）
事後学習はさらに2つの段階に分かれる。第一段階は教師ありファインチューニング（SFT）である。この段階では、人手で作成した「指示と模範的な回答」のペアのデータセットを使用し、モデルを通常の教師あり学習で追加学習させる。これによって、モデルは特定の指示に従って応答するという形式を習得する。
次に、人間の好みに合わせて応答を調整する手法が適用される。代表的なものは、RLHF（人間のフィードバックからの強化学習）であり、次の3段階から構成される：
- 人手で作成した模範回答を用いたSFT
- 複数の応答に人間が順位付けした比較データから「報酬モデル」を学習させる
- PPO（Proximal Policy Optimization）などの強化学習アルゴリズムでモデルを追加学習させる
新しいアプローチ
近年は、別の報酬モデルを学習させずにデータから直接最適化する手法、例えばDPO（Direct Preference Optimization）やSimPO、KTOなどが普及している。これらの手法は、従来のRLHFに比べて計算コストが低く、安定した学習ができるとされている。
また、数学やコーディングといった論理的な推論能力を伸ばすステップでは、正解が明確に検証できるタスクに対して報酬を与える「検証可能な報酬による強化学習」が活用される。具体的には、GRPOやDAPOといった手法が使われ、モデルの推論力を強化する目的がある。
性能評価（ベンチマーク）の手法
LLMの性能を評価するためには、目的の異なる複数の指標が用いられる。一般的に使用されるベンチマークには、以下のようなものがある：
- MMLU：57分野にわたる多肢選択式の知識問題を評価
- HumanEval：コード生成タスクの評価
- GSM8K：小学校レベルの算数の文章題を測定
しかし、従来型のベンチマークは上位モデル同士のスコアが88〜99%に達することが多く、「飽和」状態に陥っている。これにより、モデル間の実力差を測る指標として機能しにくくなっているため、より難易度の高い評価指標が求められるようになっている。
高度な評価指標
GPQA Diamondは、生物学、化学、物理学にまたがる博士課程レベルの問題セットであり、この分野の専門家でない博士号保持者でも正答率が約34%にとどまるよう設計されている。また、SWE-bench VerifiedやSWE-bench Proは、実際のGitHub上のソフトウェア課題を解決できるかどうかを測定する実務寄りのベンチマークである。さらに、AIME（数学オリンピック形式の競技数学）、ARC-AGI 2（抽象的な推論能力）、Humanity's Last Exam（専門家レベルの難問集）、BFCL v4（外部ツール呼び出し・関数呼び出しの精度）なども、モデル間の実力差を判定するための指標として活用されている。
人間の好みの評価
人間の好みを直接測る手法として、LMSYS Chatbot Arenaが知られている。この仕組みでは、2つの匿名化されたモデルの応答を人間が見比べ、どちらが優れているかを選択する。その結果を集計し、イロレーティング（Eloレーティング）を算出する。そして、これまでに数百万件規模の人間による投票が集められている。
さらに、人手評価のコストを抑えるために、別のLLM自体に応答の優劣を判定させる「LLM-as-a-Judge」という手法も利用されている。人間の判定との一致率は約80〜90%とされ、人手評価に比べてはるかに低コスト・高速に大量の評価が可能である。
総合的な評価の必要性
単一のベンチマークだけでモデルの実運用性能を予測することは難しい。MMLU、HumanEval、GPQA、Chatbot Arenaなど、異なる能力を測る複数の指標を組み合わせて評価することが、実務上の基本的な考え方とされている。このアプローチにより、モデルの特性や強みをより正確に理解できるようになる。
以上のように、LLMは事前学習と事後学習の段階を経て、性能評価の手法も多様化している。これにより、より高い精度でモデルを評価し、実運用に適した形へと進化することが可能となっている。
