跳轉至

沉浸式翻譯

沉浸式翻譯

沉浸式翻譯（Immersive Translate）是一款常見的瀏覽器翻譯擴充功能，主打雙語對照翻譯，常用於網頁、PDF 與影片字幕。它允許使用者自訂翻譯服務，因此可與 litellm-router 等統一網關整合，將請求導向不同的模型供應商。

與 LiteLLM Router 整合

沉浸式翻譯本身不做模型輪轉，若要處理供應商回傳的 429（請求過頻）或額度不足錯誤，應在 litellm-router 層級設定。做法是先讓沉浸式翻譯永遠呼叫一個固定 alias（例如 translate），再由 LiteLLM 自動切換到備用模型。

LiteLLM 的 fallbacks 機制支援 rate-limit 類錯誤，當主模型遇到 429 或額度不足時，會依照順序改呼叫備用模型。相關說明可參考 LiteLLM 官方可靠性文件。

設定範例

以下 config.yaml 示範如何配置主備模型輪轉：

router_settings:
  num_retries: 0            # 不在同一供應商反覆重試
  fallbacks:
    - translate: [translate-backup]

model_list:
  - model_name: translate
    litellm_params:
      model: groq/llama-3.3-70b-versatile
      api_key: os.environ/GROQ_API_KEY
      rpm: 10               # 依你的 Groq 額度調低

  - model_name: translate-backup
    litellm_params:
      model: xai/grok-4.5
      api_key: os.environ/XAI_API_KEY
      rpm: 5

在沉浸式翻譯端，只需將「自訂模型」填為 translate。同時 LiteLLM virtual-key 需要有 translate 及 translate-backup 的使用權限。修改後記得重啟 LiteLLM，讓設定生效。

當 Groq 回傳 429 或其他錯誤時，LiteLLM 會自動改用 translate-backup。要注意的是，若備用供應商本身沒有可用額度（例如 xAI Team 沒有 credits），仍會失敗；可預先儲值，或改用其他已啟用的 API 供應商。

其他建議

在沉浸式翻譯的 OpenAI「更多設定」中，將每秒最大請求數調低至 1–2。網頁翻譯會並行送多段內容，這是最直接減少 429 的方法。另外，也可善用 litellm 的 rpm（每分鐘請求數）限制來保護上游 API。

相關概念

Sources

See Also