← トップへ戻る

プレプリント ·研究論文 ·速報 ·AI要約未精査 ·AIによる読み解き

LLM推論を効率化する新手法SharQ——FP4量子化とスパーシティの組み合わせ

SharQは、LLMの推論時に活性化スパーシティとFP4量子化を組み合わせて効率性を向上させる手法です。

元記事タイトル: SharQ: LLM推論における活性化スパーシティとFP4量子化の橋渡し

arXiv cs.AI 2026年06月26日

査読未完了の可能性があります。完成した査読済み論文としてではなく、研究コミュニティ向けの早期共有として読んでください。

RESEARCH 研究論文 / Preprint

Field Note 読む前に確認

3行まとめ

SharQはトレーニング不要で即座に適用可能な新しいLLM推論手法
外れ値中心のスパースバックボーンを抽出し効果的に圧縮
NVFP4とFP16間の精度ギャップを大幅に回復

こんな人に関係ある話

機械学習エンジニア大規模言語モデル開発者 AI研究者

信頼度メモ

プレプリント論文（査読前の可能性あり）

記事の読み解き Reading

元記事を材料に、要点、編集視点、良い点と懸念点を読みやすい順に整理しています。

この研究では、SharQという手法が提案されています。SharQは、LLM（大規模言語モデル）の推論時に活性化を圧縮するための新しい方法で、FP4量子化とN:Mスパーシティを組み合わせることで効果を発揮します。SharQはトレーニング不要で、各アクティベーションテンソルに対して入力に適応したN:Mマスクを使用して外れ値中心のスパースバックボーンを抽出し、それをFP4量子化します。この手法により、NVFP4とFP16間の精度ギャップが43-63%回復することが確認されています。

編集部コメント

SharQは、大規模言語モデルの推論時に重要な役割を果たすFP4量子化とスパーシティの組み合わせに焦点を当てています。この手法により、精度と効率性のバランスが改善され、LLMの実用的な適用範囲が広がる可能性があります。

評価ポイント Assessment

良い点

トレーニング不要で即座に適用可能
外れ値中心のスパースバックボーンを抽出し効果的に圧縮
NVFP4とFP16間の精度ギャップを大幅に回復

業界・社会への影響 Impact

SharQは、大規模言語モデルの推論時に必要な計算リソースを削減し、効率的なインフラストラクチャ設計を可能にする可能性があります。これにより、LLMの実用化におけるコスト面での課題が軽減されると期待されます。

深堀り Deep Dive

前提知識

大規模言語モデル（LLM）の推論において、計算コストとメモリ使用量を抑えるために、量子化やスパーシティが注目されている。特にFP4（4ビット浮動小数点形式）は低ビット量子化として広く利用されるが、アクティベーションテンソルに含まれる入力依存の外れ値が精度に悪影響を与える。また、N:Mスパーシティはアクティベーションの一部をゼロに設定することで計算効率を向上させる手法だが、中程度の値を無視して誤差を生む可能性がある。これらの課題に対応するため、新しい手法が求められている。

何が新しいのか

SharQは、トレーニング不要で、FP4量子化とN:Mスパーシティを組み合わせた新しい推論手法として提案されている。既存の手法では、N:Mスパーシティを直接適用すると中程度の値が失われるが、SharQは入力に適応したN:Mマスクを用いて外れ値を抽出し、それをFP4で量子化することで、精度低下を抑制する。また、スパースバックボーンに対する残差を定義し、誤差を補正する点が特徴。これにより、NVFP4とFP16の精度ギャップを43〜63%回復する効果が確認されている。

今後見るべき論点

SharQが他の量子化形式（HiF4, MXFP4）にどのように一般化されるか
スパースバックボーンと残差処理の組み合わせによる性能向上の限界
トレーニング不要な手法が異なるモデルやタスクにどの程度汎用性を持つか

用語解説

FP4量子化 4ビット浮動小数点形式を用いてデータを圧縮し、計算効率を向上させる手法。低ビットで表現することでメモリ使用量を削減するが、精度の低下を招く可能性がある。

N:MスパーシティアクティベーションテンソルのN個に1個の値をゼロに設定するスパース性の表現方法。これにより、計算量を削減することができるが、中程度の値が失われる可能性がある。

スパースバックボーンアクティベーションテンソルの中でも外れ値が多いため、スパーシティを適用した際に残る重要な部分。SharQではこの部分をFP4で量子化し、精度を維持する。

参照元 Sources

元記事と、深堀りで参照した情報源です。コミュニティ投稿やプレプリントでは、ここから根拠を確認できます。

SharQ: LLM推論における活性化スパーシティとFP4量子化の橋渡し

arXiv cs.AI

https://arxiv.org/abs/2606.26587

この記事の見取り図

読む前に確認
記事の読み解き
深堀り
参照元
AI要約について
関連記事

キーワード

SharQ LLM FP4量子化スパーシティ NVFP4 推論

AI要約について

本記事の要約・分類・読み解きにはAIを使用しています。内容確認に努めていますが、誤訳・解釈違い・元記事更新の反映漏れを含む可能性があります。重要な判断を行う場合は、必ず元記事もご確認ください。

速報について — 速報は追加調査や本文抽出の結果で内容が更新される場合があります。初期要約には誤りや不足が含まれる可能性があります。

記事データ

Source	プレプリント
Category	研究論文
Status	速報
出典	arXiv cs.AI
公開日	2026-06-26

元記事の説明文

arXiv:2606.26587v1 Announce Type: cross Abstract: Low-bit floating-point formats and semi-structured sparsity are increasingly supported by modern accelerators, yet combining them for LLM activation compression remains challenging: activations contain input-dependent outliers that dominate block scales in FP4 quantization, and directly applying N:M sparsity masks discards moderate values, coupling sparsification loss with quantization error. We introduce SharQ, a training-free inference method that bridges activation sparsity and FP4 quantization through an online sparse--dense decomposition. For each activation tensor, SharQ generates an input-adaptive N:M mask to extract an outlier-dominated sparse backbone, quantizes it to FP4, and defines a dense residual relative to the quantized sparse backbone rather than the unquantized sparse values. A sparse FP4 GEMM processes the backbone while a dense FP4 GEMM compensates for both mask-induced activation loss and sparse-path quantization error. The two paths share a single FP4 weight payload with path-specific scale views, and a fused preparation kernel absorbs mask generation, residual construction, and layer normalization into one operator. SharQ requires no calibration data, retraining, or model-specific tuning. Evaluated on Llama-3.1-8B, Qwen2.5-7B, Qwen3-30B-A3B, and Qwen3-VL-8B, SharQ recovers 43--63% of the NVFP4-to-FP16 accuracy gap across language and vision-language tasks, and generalizes across NVFP4, HiF4, and MXFP4 formats. On an RTX 5090, SharQ delivers 2.2--2.4$\times$ latency reduction over FP16 and 1.2--1.4$\times$ throughput improvement over FP8 in language model serving, and up to 1.58$\times$ speedup on Wan2.2-T2V-A14B video generation when combined with SageAttention. Our code is available at https://github.com/actypedef/SharQ.