4ビット圧縮でパフォーマンス向上——UltraQuantが示す新たなKVキャッシュ管理技術
UltraQuant: 長文コンテキスト処理における4ビットKVキャッシュ圧縮
査読前の可能性がある研究情報
UltraQuantは、長文コンテキスト処理における4ビットKVキャッシュ圧縮技術を提案
速報・AI要約未精査
arXiv cs.AI
毎日更新・AIニュース考察
UltraQuant: 長文コンテキスト処理における4ビットKVキャッシュ圧縮
査読前の可能性がある研究情報
UltraQuantは、長文コンテキスト処理における4ビットKVキャッシュ圧縮技術を提案
速報・AI要約未精査