超速LLMによる大量データのリアルタイム処理とUIUX向上

応答のリアルタイム性が求められ、中間処理等で高速性や並列計算が必要となるケースに対し、新興GPU業者と連携した超速LLMの実証を行いました。

課題

• 応答のリアルタイム性が求められる(一般モデルは30文字/秒程度、初期応答0.5秒以上)
• 中間処理等で高速性や並列計算が必要(対話UXの品質がモデルの出力速度に依存)

実証結果

70Bクラスの中規模モデルで、質問に対し300文字/秒で生成、初期応答0.1秒未満を実現。一般モデル(30文字/秒程度、初期応答0.5秒以上)と比較して大幅な高速化となり、人間反射応答レベル(0.3-0.5秒)や人間以上の早さが求められるユースケースへの適用が可能であることを確認しました。

成果

• 質問に対し300文字/秒で生成(初期応答0.1秒未満を実現)
• 人間反射応答レベル(0.3-0.5秒)を上回る応答速度(人間以上の早さが求められるユースで適用可能)