ERNIE 5.1

1. Agent性能

使っていて一番差を感じたのはここでした。

1回の質問に答えるだけなら、モデル同士の差はそれほど見えないことがあります。差が出やすいのは、情報を調べる、計算する、ツールを使う、結果を整理する、といった処理を連続でやらせたときです。

この手のタスクは、途中で手順を飛ばしたり、前に使った情報を忘れたりしがちです。

ERNIE 5.1 は、複数ステップの処理が途中で崩れにくくなっています。前の工程で取得した情報を後半でも使えて、長めのタスクでも流れを保ちやすいです。

τ³-bench と SpreadsheetBench-Verified では、DeepSeek-V4-Proを上回っています。

2. 推論と数学

AIME26の数学ベンチマークでは、ツール利用ありの条件で99.6点を記録し、Gemini 3.1 Proに次ぐ結果でした。

GPQAやMMLU-Proでも、上位のクローズドモデルに近い水準です。

ベンチマークだけで実務性能を判断するのは危険ですが、複雑な計算やコードロジック、複数段階の推論が弱点ではないことは分かります。

少なくとも、「中国製モデルとしては健闘している」という見方をする必要はなくなってきました。

3. 知識と文章生成

MMLU-ProやGPQAのような知識系ベンチマークでも高いスコアを出しています。Baiduの内部評価では、クリエイティブライティングもGemini 3.1 Proに近い水準とされています。

文章作成、リライト、加筆を試してみると、一番分かりやすい違いは文章の流れでした。

ERNIE 5.0では、やや不自然な接続や決まり文句、毎回「結論を先に言ってから説明する」ような書き方が出ることがありました。

ERNIE 5.1でもAIっぽさが完全になくなったわけではありません。ただ、そうしたクセは減っていて、生成後に大きく直す場面も少なくなっています。

128Kのコンテキストは、一般的な長文資料なら十分です。非常に大きな資料や100万字級のデータを一度に扱う場合は、分割が必要になります。

4. ERNIE 5.0から何が変わったか

ERNIE 5.1で面白いのは、モデル自体が小さくなっていることです。

総パラメータ数はERNIE 5.0の3分の1、アクティブパラメータは2分の1まで削減されています。Baiduによると、事前学習コストは同クラスのモデルの6%です。

使われているのは、Once-For-Allの弾性トレーニングフレームワークです。

1回の学習の中で複数サイズのサブモデルを同時に最適化し、そこから効率のいい構成を取り出します。

結果として、モデルは小さくなったのに、一部の性能はERNIE 5.0より上がっています。

Agentや自動化では、1回のユーザー操作の裏でモデルを何度も呼び出すことがあります。こういう用途だと、1回あたりの小さなコスト差も、回数が増えると効いてきます。

ERNIE 5.1の強みは分かりやすいです。

Agent性能が安定していて、推論も上位モデルと競える水準。中国語の文章生成も改善されていて、API料金も抑えられています。個人開発者や中小企業、モデルを何度も呼び出すサービスとは相性がいいです。

一方で、何でもできるモデルではありません。

128Kのコンテキストは超長文処理には足りないことがありますし、1回の最大出力は16K tokensです。画像や動画を中心に扱うネイティブなマルチモーダル用途も、ERNIE 5.1の得意分野ではありません。

1Mクラスのコンテキストが必要なケースや、画像・動画理解を重視する用途なら、別のモデルを選んだほうが自然です。

Agent、複雑な推論、自動化、APIコストを重視するなら、ERNIE 5.1は一度実タスクで試す価値があります。

見るべき数字は、タスク完了率、平均token消費量、1タスクあたりのコスト。

この3つを実際の業務で比べるのが、一番判断しやすいと思います。