RoPE対応KVキャッシュ量化、新たな精度と効率を追求
RoPEに対応したKVキャッシュ量化のブロック単位ビット割り当て法
査読前の可能性がある研究情報
RoPEに対応したKVキャッシュ量化のブロック単位ビット割り当て法を提案
速報・AI要約未精査
arXiv cs.CL
毎日更新・AIニュース考察
AI記事考察ノート
公式発表・研究プレプリント・実装コミュニティの記事を、読む前に押さえたい文脈と注意点つきで整理。
9101掲載記事
8183深堀り対応
01
絞り込み結果
条件に一致した記事を、新しい順にまとめています。 5RoPEと検索ヘッド：長文コンテキスト処理の鍵は何か？
査読前の可能性がある研究情報
RoPEが検索ヘッドの機能にどのように影響を与えるかを機械的に分析
速報・AI要約未精査
こんな人に機械学習研究者・大規模言語モデル開発者
arXiv cs.CLRoPEがTransformerを変える理由：ポジショナルエンコーディングの新理論
査読前の可能性がある研究情報
Transformerモデルにおけるポジショナルエンコーディングの役割を理論的に解明
こんな人に機械学習研究者・自然言語処理エンジニア
arXiv cs.AIサイドチャネル活用でモデル間ミスマッチを克服——MA-SBIが示す新アプローチ
査読前の可能性がある研究情報
MA-SBIは、サイドチャネル情報を活用してモデル間ミスマッチ問題を解決する新しいシミュレーションベース推論手法
速報・AI要約未精査
こんな人に機械学習研究者・シミュレーションエンジニア
arXiv cs.AIRoVEがもたらす新たな注意メカニズムとは？
査読前の可能性がある研究情報
RoVEは、従来のRotary Position Embeddingsを改良し、値パスウェイにも位置情報を追加することでパフォーマンス向上を図る
速報・AI要約未精査
こんな人に自然言語処理エンジニア・機械学習研究者
arXiv cs.AI