1. Schemaベースのデータ抽出
Schematronの一番大きな特徴は、プロンプトではなくSchemaで動くことです。
例えば商品情報を取りたい場合、先に:
といった項目を定義します。
モデルはページ内容を読んで、その形式に合わせてデータを返します。
大量の商品ページを処理するような場面では、一般的なLLMに毎回指示して結果を整えるより扱いやすいです。
ただし、ページごとの判断や柔軟な解釈は苦手です。
「この情報は重要だから追加して」といった使い方には向いていません。
2. 長いHTMLへの対応
Schematron V2 Smallは128K tokensのコンテキストを持ち、長いHTMLページの処理を想定しています。
Inference.netによると、実際のWebページにある複雑なHTMLや不要なタグにも対応できるよう調整されています。
ここはベンチマークの数字より、実運用で差が出る部分だと思います。
現実のWebページはきれいなデータではありません。
広告、スクリプト、不要なタグが大量に入っています。
そのまま処理できるなら、前処理の手間を減らせます。
ただし、公式ではlxmlなどを使ってscriptやstyleを除去することも推奨しています。
3. 小さいモデルだからこその速度と価格
Schematron V2 Smallは3Bモデルです。
このサイズだからこそ、低価格で大量処理しやすくなっています。
Inference.netが公開している数字では、単一H100環境で2.47 requests/sec。
条件は10K入力token、500出力tokenです。
推論性能で大型モデルと競うタイプではありません。
役割はもっと単純です。
HTMLを受け取る。
必要な項目を抜く。
JSONで返す。
この繰り返しを大量に処理するためのモデルです。
Benchableのテストでは速度面で93パーセンタイル、信頼性100%という結果が出ています。
ただ、私が見るなら順位より実際の失敗率です。
データ抽出では、少し遅いことより、1万ページ処理した後に大量の修正が発生するほうが困ります。
4. V2 Smallは8Bモデルとの差を縮めた
Schematron V1には3B版と8B版がありました。
V2 Smallの狙いは、3Bサイズで8B版に近い品質を出すことです。
Inference.netはGPT-5.4をLLM-as-judgeとして評価しています。
結果:
- V2 Small:4.060
- V1 8B:4.070
- V1 3B:3.909
SimpleQAでは:
- V2 Small + GPT-5 Nano + Exa:83.10
- V1 8B:85.58
数字上では8B版が少し上です。
ただ、私はこの差を実際の運用でどこまで感じるかは疑問です。
大量のWebデータ処理では、0.01や数ポイントの差より、コスト、速度、安定性のほうが重要になる場面が多いです。
小さいモデルで十分な品質を出せるなら、そのほうが使いやすいケースもあります。
コメント(0件)