Hugging Face が LFM2.5 Q4_0 Checkpoints from Quantization-Aware Distillation を公開 ── エッジでもQ4_K_M並の精度を達成
Liquid AIが発表したLFM2.5シリーズの新しいQuantization-Aware Distillation（QAD）対応モデル、注目だ。通常、4ビット量化すると性能が大きく落ちるのに、なんと97%以上のBF16元値性能を保つというから驚きだ。MacBookやRaspberry Piといったエッジデバイスでも、圧倒的な速度で高精度な推論が可能になる可能性がある。
▸何が変わったのか
Liquid AIは、LFM2.5-230M, LFM2.5-350M, LFM2.5-1.2B-Instruct, LFM2.5-2.6B の4モデルに対して、Quantization-Aware Distillation（QAD）を適用したQ4_0 GGUF形式のチェックポイントをリリースした。これは通常の後期量化（PTQ）とは異なり、高精度な教師モデルから量子化された生徒モデルへ知識を蒸留する手法だ。結果として、BF16の平均精度が量子化によって失われた分の97%以上（詳細には97.1%, 96.5%, 97.4%, 96.6%）を回復している。GPU推論対応のMacBook ProやNucBox EVO-X2、CPU推論のSamsung Galaxy S26 UltraおよびRaspberry Pi 5での実測では、230M/350MモデルはQ5_K_Mと同等品質ながら4〜33%高速化、1.2B/2.6BモデルはQ4_K_Mと同等品質で3〜14%の処理スループット向上を確認。UnslothのUD-Q4_K_XLとも互角以上の性能を示している。
◈前モデル / 競合との比較
GPQA Diamond, MMLU-Pro, IFEval, IFBench, Multi-IF, BFCLv4などのベンチマークにおいて、従来のPTQ（後期量化）モデルと比較し、BF16ベースラインへの性能維持率が著しく高い。また、競合のUnsloth UD-Q4_K_XLと比較しても、230Mおよび1.2Bモデルで同等以上の性能を達成している点は大きな強みだ。
◈技術背景と意義
一般的にLLMを軽量な4ビット（Q4）に変換すると、パラメータの精度が下がるため「ボケた」ような回答をするようになる。そこでQADでは、元の高精度モデルが持っている「正解へのアプローチ方」や「思考のプロセス」を、量子化された小さいモデルに集中的に教える。まるで先生が生徒に個別指導するようにね。これにより、メモリも速度もQ4のままで、本来持つべき高性能を引き出すことに成功している。
▸こんな人・用途に
[‘メモリ制限が厳しいRaspberry Pi 5やモバイル端末（Samsung Galaxy S26 Ultraなど）でのローカルLLM運用’, ‘MacBookなどのローカルGPU環境で、高速に高精度的な推論を行いたい開発者向けのプロトタイピング’, ‘標準的なQ4モデルでは精度が物足りないが、Q5/Q6では重すぎるというバランス感覚のあるユーザー’]
◆入手方法・リンク
Hugging Face上のLiquid AI公式ページからダウンロード可能。llama-cliやGGUF形式に対応した任意のランタイムで使用できる。具体的なコマンド例は `llama-cli -hf LiquidAI/LFM2.5-350M –hf-file LFM2.5-350M-QAD-Q4_0.gguf` となる。
SOURCE: Hugging Face (2026-08-19)
