1. 専門分野の翻訳
30B-A3B は、金融、法律、政治、教育など8つの専門分野向けに最適化されています。
DomainMTBench では、XCOMETスコアが金融分野で97.08、法律分野で89.15でした。
専門翻訳で困るのは、派手な誤訳だけではありません。
たとえば十数ページある技術文書で、3ページ目ではある用語をAと訳していたのに、9ページ目ではBになっている。
法律文書では、一つ一つの単語は合っているのに、文章全体の論理関係が崩れている。
こういうミスのほうが、実務では厄介です。
単文だけを見ると気づきにくくても、文書全体ではかなり目立ちます。
30B-A3B の良さは、こうした専門文書での安定性にあります。
2. 指示に従いやすい
Hy-MT2 は、Hy-MT1.5 より指示への追従がかなり改善されています。
たとえば、
「簡潔に訳し、1文を15語以内にする」
といった条件を付けられます。
用語集を渡して、「この言葉は必ずこの訳にする」と指定することもできます。
実際の案件では、条件は一つではありません。
書式を変えない。
句読点を残す。
フィールド名は翻訳しない。
商品名は固定。
文体も統一する。
一つずつなら簡単でも、条件が重なると抜けが出やすくなります。
Hy-MT2 はこの部分を強化しています。
Tencent が公開した IFMTBench では、30B-A3B の複雑な指示に対するスコアは84.69でした。
個人的には、「自然な文章かどうか」だけを見るスコアより、こうした指示追従の数字のほうが実務では参考になります。
本番で使えるかどうかに直結するからです。
3. 実際の業務に近い翻訳性能
Hy-MT2-30B-A3B は WildMTBench で GEMBA 89.87 を記録し、この評価では Gemini 3.1 Pro を上回っています。
WildMTBench は、きれいに整えられたテスト文より、実際の翻訳現場に近いデータを使う評価です。
ここはかなり見ておきたい部分です。
業務で扱う文書は、ベンチマークの例文のように整っていることのほうが少ないです。
技術資料なら略語、表の項目、英語と日本語が混ざることがあります。
営業資料には業界用語が入ります。
契約書は長い文章や入れ子構造が多くなります。
こういう少し面倒な文章でも崩れにくいかどうか。
その点で、WildMTBench の結果は参考になります。
4. Hy-MT1.5から何が変わったか
一番わかりやすいのは、やはり指示追従です。
Hy-MT1.5 は複数の条件を一度に出すと、一部を落とすことがありました。
Hy-MT2 では、用語、書式、長さ、文体などをまとめて指定しても、以前より安定して処理できます。
少数民族言語の翻訳性能も上がっています。
チベット語、ウイグル語、モンゴル語などを含む評価では、30B-A3B の XCOMET スコアは62.44で、同じ比較では Gemini 3.1 Pro を上回っています。
Hy-MT2 シリーズは低ビット量子化にもかなり力を入れています。
30B-A3B 自体はサーバーやクラウド向けですが、小型モデルにはその技術がそのまま生きています。
1.8B版は約440MBまで小さくでき、スマートフォン上でもローカル推論が可能です。
大きいモデルは専門翻訳、小さいモデルは端末側。
シリーズ内の役割分担はかなりはっきりしています。
コメント(0件)