NVIDIA
NVIDIA 提供 OpenAI 相容 API 在https://integrate.api.nvidia.com/v1 用於 Nemotron 和 NeMo 模型。使用來自 NVIDIA NGC 的 API 鑰進行認證。
CLI 設定
一次匯出鑰,然後執行上線並設定 NVIDIA 模型:--token,記住它會進入 shell 歷史和 ps 輸出;儘可能偏好環境變數。
設定片段
模型 ID
nvidia/llama-3.1-nemotron-70b-instruct(預設)meta/llama-3.3-70b-instructnvidia/mistral-nemo-minitron-8b-8k-instruct
註記
- OpenAI 相容
/v1端點;使用來自 NVIDIA NGC 的 API 鑰。 - 當設定
NVIDIA_API_KEY時提供者自動啟用;使用靜態預設值(131,072 令牌內容視窗,4,096 最大令牌)。