Hugging Face が Run AI workloads on any cloud, store on Hugging Face: zero-egress storage with SkyPilot をリリース ── データはHubに、GPUはどこでも使える、エグレス料金ゼロの新構成
GPUはあるクラウド、データは別のクラウド――その移動だけで金がかかる、という問題に誰もが苦しんできた。Hugging FaceとSkyPilotがその「クロスクラウドの転送税」を根こそぎなくす連携を仕上げてきた。データはHubに置いたまま、計算だけを20以上のクラウドのどこへでも飛ばせる。これは地味にかなりでかい。
▸何が変わったのか
SkyPilotのタスクで `store: hf` を指定するだけで、Hugging Face Bucket（読み書き可）やモデル・データセットリポジトリ（読み取り専用）を `hf://` URLひとつでマウントできる。既存の `HF_TOKEN` を使うだけ。SkyPilot側は20以上のクラウド、Kubernetes、Slurm、オンプレミスを横断して空きGPUを自動で探してジョブを起動する。Hugging Face Storageはエグレス料金もCDN料金もゼロなので、どのクラウドでGPUが動いてもデータ読み出しのコストがかからない。BucketはXetベースで重複排除が効くので、増分チェックポイントやモデルバリアントは変更されたチャンクだけが保存・転送される。Hugging Faceチームが非特権コンテナで動く `hf-mount` のFUSE修正を上流に提供して、この連携を共同で実現した。
◈前モデル / 競合との比較
従来はS3、GCS、Azure、R2などのクラウドオブジェクトストレージをSkyPilotタスクにマウントする手法が一般的だったが、クラウド間でのデータ転送にはエグレス料金が発生していた。Hugging Face Storageはエグレス・CDN料金ゼロで、データ移行や新規ストレージアカウントの作成も不要。さらにXetベースの重複排除により、増分データの保存・転送コストも削減される。
◈技術背景と意義
AIの開発・学習・推論をやってると「GPUが足りないから別クラウドを使う」という場面が当たり前になってる。でもデータがAWSのバケットにあるのにGPUはGCP、みたいな状況だと、データをまたいで転送するだけで通信費がバカ高い請求が来る。これが「エグレス料金」と呼ばれるやつで、クラウド事業者のテリトリーから出るトラフィックに課金される仕組み。今回の連携は、データをHugging Face Hub（エグレス無料）に置いておけば、SkyPilotがどのクラウドのGPUでもそこから直接読み込める、という流れ。バケットのコピーを各クラウドに作る必要もない。シンプルだけど、クラウド間の壁を金額面で実質なくすアプローチ。
▸こんな人・用途に
複数クラウドにまたがってGPUリソースを確保しながら学習・推論を回しているチーム。データの置き場所をHugging Face Hubに統一しつつ、オンプレ、Kubernetes、各種クラウドの空き容量を無駄なく使い切りたい開発者。チェックポイントを頻繁に保存する大規模ファインチューニングで、ストレージと転送コストを抑えたいケース。
◆入手方法・リンク
SkyPilotの `file_mounts` 設定で `store: hf` を指定し、`hf://` URLと既存の `HF_TOKEN` を使うことで利用可能。Hugging Faceアカウントがあれば新規ストレージアカウントの作成やデータ移行は不要。
SOURCE: Hugging Face (2026-07-07)
