1. 科研タスクの伸びが大きい
Terminal-Bench-Scienceで、Fable 5.1は**52.6％**を記録しました。
Fable 5は24.7％。
倍以上です。
ここで試されているのは、科学知識を答えるだけの問題ではありません。ツールを使いながら、複数ステップで作業を進めるタイプの課題です。
Anthropicが紹介している例には、タンパク質設計、GPUカーネルの最適化、NASAの古いデータを使った高精度な金星マップの作成があります。
金星マップは、解像度が従来比で約10倍になったとされています。
こういう作業は、知識があるだけでは終わりません。
ツールを使い、結果を見て、ミスを見つけ、また修正する必要があります。
1回うまく答えるのと、何十ステップも崩れずに進めるのは別物です。
2. コーディングと自動化も強化
Terminal-Bench 4.0とAutomationBenchでも、前世代からスコアが伸びています。
ここで面白いのは、単なる点数より推論レベルの話です。
Anthropicによると、Fable 5.1は低〜中程度の推論設定でも、Fable 5の高推論設定に近い性能を出せるケースがあります。
開発者にとっては、かなり現実的な話です。
推論を強くすればするほどToken消費は増えやすいので、毎回最大設定にしなくて済むならコストも抑えやすくなります。
モデルが強いだけでなく、どれだけ安く使えるかも大事です。
3. 長時間の作業を任せやすい
Rampは、Fable 5.1を38時間連続で動かすテストを行っています。
普通の人がAIを38時間働かせることはまずありません。
でも、Agent、自動化、データ処理を作っているチームなら話は別です。
そのテストでは、モデルが人間の次の指示を待ち続けたわけではありません。
自分で問題を見つけ、データを直し、実験を始め、最後はレポートまでまとめています。
長時間タスクは、このあたりで差が出ます。
3ステップなら問題なくても、30ステップ先で「そもそも何をしていたんだっけ」とならないことが大事です。
4. AIっぽい書式が少し減った
派手な強化ではありませんが、普段使いでは意外と分かりやすい変化です。
一部の研究者からは、Fable 5.1は不要な太字、見出し、箇条書きを使う頻度が減り、指定された文体にも合わせやすくなったという声が出ています。
AIで長文を書かせると、よくあります。
1文で済む話を、見出し3つ、箇条書き5つ、最後に「まとめ」まで付けてくる。
ちょっとレポート提出っぽいんですよね。
Fable 5.1は、このクセが少し弱くなっています。
文章が急に人間並みにうまくなった、という話ではありません。あの独特の「AIっぽい整え方」が減った、くらいに考えるのが近いです。
Fable 5から何が変わった？
Fable 5は、難しい問題を解くのが得意なモデルという印象でした。
Fable 5.1はそこから一歩進んで、仕事を途中で止めずに最後までやれるかにかなり力を入れています。
調べる、ツールを使う、結果を見る、やり直す、そのまま続ける。
そこに今回のキャッシュ値下げが重なっています。
Anthropicが狙っているのはかなり分かりやすくて、Claudeをチャットボットではなく、実際の作業を任せるAgentとして使う人たちです。
コメント（0件）