Hugging Face が Unlocking asynchronicity in continuous batching をリリース ── GPUの無駄な待機時間を削り飛ばす
Hugging FaceがCPUとGPUのワークロードを分離し、LLM推論のパフォーマンスを劇的に向上させる非同期バッチングについて詳しく解説。
-
-
Hugging Face が Unlocking asynchronicity in continuous batching を解説 ── GPUの待ち時間を削る非同期アプローチ
Hugging Faceが非同期バッチングでGPU利用率を最大化する手法を解説。CPU・GPU並列動作で約25%のアイドル時間を削減。
-
Hugging Face 記事で AWS の基盤モデル学習・推論のビルディングブロックが解説 ── スケーリング法則は「1つ」から「3つ」の時代へ
AWS上の基盤モデル学習・推論インフラを解説。スケーリング法則は事前学習・ポストトレーニング・テスト時計算の3本柱へ。
-
Hugging Face で MachinaCheck: Building a Multi-Agent CNC Manufacturability System on AMD MI300X が公開 ── CADデータを食わせたら30秒で製造可否を判定するマルチエージェント
CNC加工の可否判断を自動化するマルチエージェント。AMD MI300Xの192GB VRAMを活用し、機密データを外部に送らずに30秒で製造レポートを出力する。
-
Hugging Face が “OncoAgent: A Dual-Tier Multi-Agent Framework for Privacy-Preserving Oncology Clinical Decision Support” をリリース ── がん診療の現場を支えるプライバシー保護型マルチエージェントシステム
腫瘍学特化のプライバシー保護型臨床意思決定支援システムOncoAgentが登場。9B/27Bのデュアルモデルとマルチエージェント構成で患者データを守りつつ高精度な支援を実現。
-
Hugging Face が CyberSecQwen-4B をリリース ── 12GB GPUで動く、サイバー防御特化の4Bモデル
12GBの消費者向けGPUで動くサイバー防御特化モデル「CyberSecQwen-4B」が登場。8Bモデルを上回る結果に。
-
Hugging Face が EMO: Pretraining mixture of experts for emergent modularity をリリース ── エキスパート12.5%でフルモデルに迫る新 MoE アーキテクチャ
Allen AI の EMO はエキスパート 12.5% でフルモデルに迫る性能を実現。人間の定義なしにモジュール構造を創発する新 MoE。
-
Hugging Face で MedQA: Fine-Tuning a Clinical AI on AMD ROCm — No CUDA Required が公開 ── CUDA不要、AMD MI300Xで動く医療特化AI
AMD製GPU「MI300X」とROCmを活用し、CUDAに依存せずに医療用AIモデルを高速・高精度でファインチューニングした事例が公開。
-
ServiceNow-AI が vLLM V0 to V1 のRL移行で直面した罠を公開 ── ログ確率のズレが学習を破壊する話
vLLM V0→V1移行でRL訓練が崩壊。ログ確率の不一致を4つの修正で解決した技術レポート。
-
Hugging Face が Open ASR Leaderboard に Benchmaxxer Repellant を追加 ── ベンチマークの「点稼ぎ」を防止する画期的なアップデート
Hugging FaceがOpen ASR Leaderboardにベンチマークの過学習を防ぐ機能を追加。非公開データで真の性能を評価。
