1. コーディング:コードそのものより、無駄な手順が減った
Muse Spark 1.3 のコーディング面で気になるのは、ベンチマークの点数より、タスクを終えるまでの効率です。
Meta によると、1.2 と比べて、
- ツール呼び出し回数が約20%減少
- 同じタスクを終えるまでのtoken消費が約25%減少
- 出力が短くなり、不要なやり取りも減少
しています。
この20%、25%は、単純なコード生成ではそこまで大きく感じないかもしれません。
でも、実際の開発タスクは1回コードを書いて終わりではありません。ファイルを探し、コードを読み、ツールを呼び、修正し、結果を確認して、また次の処理に進みます。
その途中に無駄な操作が何回も入ると、時間もAPI料金もそのぶん増えます。
DeepSWE v1.1 では、Muse Spark 1.3 が75.4。GPT 5.6 Sol は73.0、Opus 5 は74.0です。
Terminal-Bench 2.1 では88.8を記録しています。
スコアだけ見て「一番コードが強い」と言い切るのは早いですが、少なくとも上位モデルと競える位置にはいます。
それ以上に気になるのは、Agent が無駄に何周も回らなくなったことです。長いタスクほど、こちらのほうが効いてきます。
2. Agent:間違えたまま走り続けない
Agent 周りは、1.3 でかなり重要なポイントです。
Meta によると、指示が曖昧なとき、1.3 は勝手に条件を補って進むより、先に確認する傾向が強くなっています。
障害にぶつかったときにユーザーへ確認したり、重要な操作の前に一度止まったりする動きも増えています。
一見すると慎重すぎるようにも見えますが、Agent にはそのくらいでちょうどいいです。
普通のチャットなら、1回答えを間違えても聞き直せば済みます。
Agent は違います。最初の理解を間違えたまま、ファイルを調べ、コードを書き換え、ツールを呼び続けると、10ステップ、20ステップと無駄が広がっていきます。
長いコンテキストを使った MRCR の結果も大きく伸びています。
- 256K–512K:1.3 は98.5、1.2 は66.3
- 512K–1M:1.3 は98.1、1.2 は55.5
個人的には、「100万tokens対応」というスペックだけより、この数字のほうが気になります。
コンテキストが大きくても、前半の情報を忘れてしまえば意味がありません。大事なのは、長くなったあとも必要な情報を拾えるかどうかです。
1.3 は、少なくともこのテストではかなり改善しています。
3. マルチモーダルと100万tokens
Muse Spark 1.3 はテキスト、画像、動画、音声、PDFを入力できます。出力はテキストのみです。
コンテキストウィンドウは100万tokens。英語なら、およそ75万語分です。
普通のチャットで使うには大きすぎるくらいですが、コードベース、長文資料、複数ファイルをまたぐ作業、長時間動くAgentでは話が変わります。
コンテキストが小さいと、こちらでファイルを選び、コードを削り、背景情報を何度も入れ直す必要があります。
100万tokensあれば、その準備をかなり減らせます。
とはいえ、「リポジトリ全部を入れれば勝手に理解してくれる」と考えるのは危険です。容量が大きいことと、必要な情報を正しく拾えることは別の話です。
4. Muse Spark 1.2 からどれくらい変わったか
Muse Spark 1.2 は8月5日、1.3 は9月2日に公開されました。
1か月も空いていないので、バージョン番号だけ見ると小さな更新に見えます。
実際には、変化の方向はかなりはっきりしています。
Terminal-Bench 2.1 は82.9から88.8へ上昇。MRCR の長コンテキスト性能も大きく伸びています。
加えて、Agent が曖昧な指示に対して無理に進みにくくなり、長いタスクでの無駄な処理も減っています。
私は 1.3 を「急に頭が良くなったモデル」とは見ていません。
むしろ、できることは大きく変えずに、仕事の進め方がまともになったモデルという印象です。
ツールを無駄に呼ばない。必要以上にtokenを使わない。分からないまま突っ走らない。
こういう改善は1回の回答では地味ですが、タスクが長くなるほど効いてきます。
細かい性能数字の多くはMeta自身のテストなので、第三者環境でも同じ結果になるかは、もう少し見たいところです。
コメント(0件)