NVIDIA Free NIM API Access

NVIDIA Inference Microservices (NIM) 提供免費 API，可在 LiteLLM 後方零成本調用多種開放模型。

免費額度

每月約 100 萬 token 免費，無需信用卡可試用；依模型有速率限制，超出返 429，需經 LiteLLM Router 輪轉。

接入 LiteLLM

在 model_list 加 nvidia_nim/meta/llama-3.3-70b-instruct，api_base: https://integrate.api.nvidia.com/v1，api_key 存 Infisical，客戶端統一 http://litellm:4000/v1。

架構

本地用 LlamaSwap 跑小模型，雲端用 NIM 補大模型，經 LiteLLM Router 統一網關與 fallback，故障自動切備援。

來源

自動補強（2026-08-19 wiki 大掃除）