1. コーディング性能が大きく伸びた
0902で最も分かりやすい改善はコーディングだ。
Alibabaは、単発のコード生成ではなく、複雑なソフトウェア開発や長時間続くタスクを想定して追加学習を行っている。
CodeArenaのフロントエンド部門では、Qwen3.8-Max (0902)が22ポイント上昇して1691点を記録し、首位に立った。
公開されている主な結果は次の通り。
- TerminalBench 3.0:11.3 → 29.0
- DeepSWE 1.1:56.6 → 69.3
- NL2Repo-Bench:55.9 → 64.9
- ProgramBench:10.5 → 28.0
- SWE-Marathon:39.1 → 44.8
- QwenSWE-Bench V2:55.1 → 70.0
特にTerminalBenchとProgramBenchの伸びが大きい。
単に関数を書くテストではなく、端末を操作したり、知らない環境で原因を探したり、最後まで作業を進める力が求められる。
0902の方向性がよく出ている部分だ。
2. AgentとCoworkが安定した
もう1つの重点がCoworkだ。
ここでいうCoworkは、人と会話することではない。
モデルが複数のツールや文書を行き来しながら、何段階もある作業を続ける能力を指す。
主な結果は、
- CoWorkBench:74.8 → 76.1
- JobBench:53.4 → 64.0
- WorkArena Elo:1348 → 1468
JobBenchの伸びはかなり大きい。
こうした仕事では、最初の一手より、その後も状況を見ながら判断を続けられるかが重要になる。
0902は、長い作業を途中で崩さず進める部分が強くなっている。
3. 視覚理解も底上げされた
改善はコードだけではない。
Qwen3.8-Max (0902)は、グラフ理解、文書解析、マルチモーダル認識も強化されている。
公開スコアでは、
- MMMU-Pro:82.3 → 82.7
- ERQA:77.8 → 78.3
- ClawEval-MM:77.2 → 80.2
- BabyVision + CI:91.3 → 93.8
コーディングほど派手な伸びではない。
それでも、Agent用途では重要だ。
実際にソフトを操作するなら、画面、グラフ、文書、UIを見て理解し、その情報を次の操作につなげる必要がある。
0902では、この部分も少しずつ実用寄りになっている。
4. 元のQwen3.8-Maxより「実行力」が伸びた
0902で100万Tokenのコンテキストが増えたわけではないし、新しいアーキテクチャに変わったわけでもない。
大きく変わったのは後学習だ。
元のQwen3.8-Maxにも、長文処理、Thinking、マルチモーダル、ツール利用はすでにあった。
0902では、それらを実際の仕事で使いやすくする方向にさらに寄せている。
特に伸びているのは、
- 大規模コードベースの処理
- ターミナル操作
- エンドツーエンドの開発
- 長時間のAgentタスク
- 複数ツールを使うワークフロー
「どれだけ賢くなったか」より、どれだけ仕事を最後まで進めやすくなったかを見る方が、このアップデートは分かりやすい。
コメント(0件)