1. 大量処理向けの高速化
Turboの存在理由はここです。
単一H100環境で、10K入力tokens+500出力tokensの条件では、4.14 requests/secを達成しています。
比較すると:
- V2 Small:2.47 requests/sec
- 初代8B:約1.66 requests/sec
TurboはV2 Smallより約1.7倍、初代8Bより約2.5倍高速です。
この差は、少量のデータ処理ではあまり感じません。
でも、リアルタイムスクレイピングや価格監視、金融文書処理のような常時動くシステムでは、そのまま処理時間とサーバーコストに影響します。
私ならTurboを少数の重要ページ分析には使いません。
大量の同じ処理を回す場面で使います。
2. 品質は十分、ただし最高ではない
TurboはSmallより少し品質を落として、その分速度と価格を取るモデルです。
Inference.netはGPT-5.4をLLM-as-judgeとして評価しています(5点満点)。
結果:
- V2 Turbo:4.039
- V2 Small:4.060
- V1 8B:4.070
- V1 3B:3.909
SimpleQAでは:
- V2 Turbo + GPT-5 Nano + Exa:79.42
- V2 Small:83.10
数字ではTurboはSmallより低いです。
ただ、私はこの数ポイントの差をそのまま重要視しません。
大量のデータ処理では、少し高いスコアより、
のほうが影響します。
必要な品質を満たしているなら、安いほうが合理的なケースもあります。
3. Schemaベースで動く抽出モデル
TurboもV2 Smallと同じく、Schemaで制御します。
例えばタイトルを取りたい場合、
「タイトルを抽出して」
ではなく、
title: { type: "string" }
のように項目を定義します。
そのSchemaに合わせてJSONを返します。
この方式のメリットは形式が崩れにくいことです。
といった後処理を減らせます。
ただし、柔軟な理解は期待できません。
ページ構造が変わればSchema修正が必要です。
TurboはWebページを分析するAIではなく、決めた形式にデータを移すためのツールです。
4. V1 3Bからの高速化版
Inference.netは初代3Bと8Bモデルを終了しています。
schematron-3bへのリクエストはV2 Turboへ自動的に切り替えられます。
変化は分かりやすいです。
速度:
- V1 3B:約1.66 requests/sec
- V2 Turbo:4.14 requests/sec
品質:
- V1 3B:3.909
- V2 Turbo:4.039
速度は大きく改善し、品質も少し上がっています。
TurboはSmallの廉価版ではありません。
V1 3Bを使っていた人が、大量処理向けに移行するためのモデルです。
コメント(0件)