その他

推論が訓練を上回る曲がり角の捉え方

赛迪研究院の1日平均175兆トークン超のデータを踏まえ、意味・影響・投資・導入判断の手順でAI推論>訓練の曲がり角を理解する方法を解説。

一言まとめ

赛迪研究院の1日平均175兆トークン超のデータを踏まえ、意味・影響・投資・導入判断の手順でAI推論>訓練の曲がり角を理解する方法を解説。

操作手順 ​

手順1:曲がり角の意味を理解する ​

推論データ量が訓練を超えたことは、AIの主な計算消費が訓練から推論へ移り、業界がモデル開発から利用へ移ることを示す。

手順2:影響を受ける領域を注視する ​

推論コスト、推論チップ、キャッシュとスケジューリング、導入シナリオの重要度が上がる。

手順3:OSS傾向と組み合わせる ​

中国OSSモデルが週次利用でリードし低コストで普及することは、推論>訓練の転換を裏づける。

手順4:導入判断に活かす ​

企業は、より大きなモデルを追うより、推論コスト・高頻度シナリオ・工程化を優先すべき。

参考 ​