一言まとめ
テンセント混元チームとテンセントフィナンシャルテクノロジーが実施した金融ブラインド評価（金融従事者213人、実タスク579件）で、混元Hy4が3.04点で1位、DeepSeek-V4.1-Flash-1017が2.97点で続き、Kimi K3.1 ProとGLM-5.3はともに2.68点だった。Hy4は3位グループを0.36ポイント上回るが、DeepSeekとの差は0.07ポイントで、上位2モデルは同じ階層に位置する。
比較の背景と評価範囲
本比較の数値は、テンセントが2026年11月4日に混元Hy4を発表した際に公表した金融タスクのブラインド評価に基づく。評価はテンセント混元チームとテンセントフィナンシャルテクノロジーが共同で実施した。参加者は金融従事者213人で、うち153人は外部の有力機関に属し、約70%が5年以上の業界経験を持つ。評価対象は実際の金融シナリオのタスク579件である。
まず評価範囲を明確にする。これはモデルベンダーが委託・組織したブラインド評価であり、プレスリリースはタスクリスト、採点基準、信頼区間を完全には公開していない。したがって下表の点差は、テンセントの評価手法における相対順位を示すものであり、4モデルすべての金融業務における絶対的な能力差を示すものではない。
テンセントは同時に、Hy4の前世代であるHy4 Previewに対する2つの改善も公表した。内部の投資研究エージェント指標iRaBは12.03ポイント向上し、幻覚率は12.95%から7.2%へ低下、根拠のない仮定による誤りは23.1%から5.6%へ低下した。これらはHy4とHy4 Previewの縦比較であり、他の3モデルとの横比較ではない。
比較対象の概要
混元Hy4（Tencent Hy4）。 テンセントが2026年11月4日に発表した正式版の大規模言語モデル。パラメータ数は770Bで、視覚理解とコンピュータ操作を初めて搭載した。テンセントクラウドのTokenHub、WorkBuddy、CodeBuddy、元宝などで利用でき、近くモデルの重みとシステムカードを公開する予定である。
DeepSeek-V4.1-Flash-1017。 今回のブラインド評価で2位、2.97点。プレスリリースはパラメータ数、コンテキスト長、訓練データの範囲を開示しておらず、評価版がオープンウェイトかどうかも明示していない。
Kimi K3.1 Pro。 Moonshot AIのKimiシリーズのモデルで、2.68点。パラメータ数とバージョンの詳細は非公開。
GLM-5.3。 ZhipuのGLMシリーズのモデルで、2.68点。Kimi K3.1 Proと同点である。パラメータ数とバージョンの詳細は非公開。
今回の比較で4モデルが共通の基準で測られた指標は、同一の金融ブラインド評価の得点だけである。パラメータ数はHy4のみ開示され、推論コスト、コンテキスト長、ツール呼び出し性能は同一基準のデータがないため、本比較では順位付けしない。
主要な比較表
| モデル | 金融ブラインド評価 | Hy4との差 | 前世代比iRaB | パラメータ数 | オープンウェイト |
|---|---|---|---|---|---|
| 混元Hy4 | 3.04 | 基準 | +12.03ポイント | 770B | 公開予定 |
| DeepSeek-V4.1-Flash-1017 | 2.97 | -0.07 | 非公開 | 非公開 | 明示なし |
| Kimi K3.1 Pro | 2.68 | -0.36 | 非公開 | 非公開 | 明示なし |
| GLM-5.3 | 2.68 | -0.36 | 非公開 | 非公開 | 明示なし |
評価設計の要素
| 要素 | 内容 |
|---|---|
| 評価の主催 | テンセント混元チーム、テンセントフィナンシャルテクノロジー |
| 評価方式 | ブラインド評価 |
| 参加者 | 金融従事者213人 |
| 外部専門家 | 有力外部機関から153人 |
| 経験年数 | 約70%が5年以上 |
| タスク数 | 実際の金融タスク579件 |
| タスク種別 | ファンド調査、証券分析、クオンツ投資戦略など |
| 公開範囲 | 総合得点のみ。項目別得点と誤差範囲は非公開 |
主な差異
階層の境界は0.36ポイントにある。 Hy4の3.04点とDeepSeek-V4.1-Flash-1017の2.97点は0.07ポイント差である。両者はKimi K3.1 ProとGLM-5.3の2.68点を0.36ポイント上回る。テンセントの順位では、Hy4とDeepSeekが第1階層、KimiとGLMが同点でその後ろに続く。
Hy4の世代間改善は、モデル間のリードより大きい。 Hy4はHy4 Preview比でiRaBが12.03ポイント向上し、幻覚率が5.75ポイント、根拠のない仮定による誤りが17.5ポイント低下した。一方、ブラインド評価でのDeepSeekに対するリードは0.07ポイントである。前者は自社の前世代に対する改善、後者は直近の競合に対する優位性であり、示す内容が異なる。
金融タスクの評価は汎用ベンチマークと構成が異なる。 テンセントによると、タスクはファンド調査、証券分析、クオンツ戦略に集中し、評価者は金融従事者である。実際の業務フローに近いが、参加者の構成、タスク難度の分布、採点の一貫性が結果に影響する。プレスリリースは評価者間の一致度を示していない。
Kimi K3.1 ProとGLM-5.3は同点だが能力構造は不明。 両者とも2.68点で、項目別得点は非公開のため、レポート生成、データ検証、戦略設計などのサブタスクでの相対的な強弱は判断できない。
導入条件は同一ではない。 Hy4は770Bでオープンウェイト公開を予定している。他の3モデルは今回の発表で重みの公開状況とパラメータ数を明示していない。プライベート導入を必要とする機関では、重みの有無、GPUメモリ要件、推論フレームワークへの対応が、0.07ポイントの差よりも選定に影響することが多い。
結論と選定の指針
テンセントが公表した今回の金融ブラインド評価では、Hy4が1位、DeepSeek-V4.1-Flash-1017が僅差の2位、Kimi K3.1 ProとGLM-5.3が同点3位となる。 この順位は当該タスク群と採点体系に適用されるものであり、すべての金融ユースケースに一般化できる普遍的な順位ではない。
金融業務が中心でテンセントのエコシステムに接続する場合、今回の評価範囲ではHy4が第一候補となる。 テンセントクラウドのTokenHub、WorkBuddy、CodeBuddy、元宝で利用でき、視覚理解とコンピュータ操作に対応するため、グラフを読み取る作業や複数アプリをまたぐ長期的なタスクに向く。770Bのパラメータはローカル導入の敷居が高く、短期的にはAPI利用が現実的である。
コストとオープンソースを重視する場合、DeepSeek-V4.1-Flash-1017は同じ階層の代替候補となる。 0.07ポイントの差だけで導入を決めるべきではない。トークン単価、遅延、コンテキスト長、ツール呼び出しの安定性、コンプライアンス要件を比較すべきである。
長文レポートや中国語の知識業務が中心の場合、Kimi K3.1 ProとGLM-5.3にも競争力がある。 両者は今回の金融評価で2.68点、首位と0.36ポイント差である。適用可否は具体的なサブタスクとプライベート導入の条件に依存し、総合得点だけで判断できない。
第三者の再現までは、今回の結果をベンダー側の評価として扱う。 評価はテンセント混元チームとテンセントフィナンシャルテクノロジーが組織し、タスクリスト、採点基準、誤差範囲は完全には公開されていない。調達や導入の前に、自社の業務データで小規模な比較テストを実施し、タスクセット、採点基準、モデルバージョンを記録すべきである。
データ出典と参考資料
- テンセント公式プレスリリース（PR Newswire）：Tencent Launches Hy4: Joining the Ranks of the World's Leading Open-Source AI Models
- AAP転載：Tencent Launches Hy4
- TechNode：Tencent launches Hy4 with vision and computer-use capabilities