監控與實驗追蹤

「GPU 現在有在工作嗎？」與「這個 checkpoint 是哪一次執行產生的？」要用不同的工具回答，把兩者混為一談，通常的結果是兩邊都沒做好。

• 資源監控: 即時使用率、VRAM、RAM 與磁碟。用來確認你付費租用的硬體是否真的在工作，不需安裝任何東西。
• 實驗追蹤: loss 曲線、超參數與產出物，在執行個體刪除後仍然保留。這是 Weights & Biases 的用途。
• 模型與資料集管理: 把權重抓進來、把成果推出去，並把快取放在執行個體消失後仍存在的位置。這是 Hugging Face 搭配 /vault 的用途。

每一台執行中的執行個體都會在「執行個體」頁面回報即時使用率，不需安裝代理程式、也不需設定。同樣的數字也在 API 上，而且這才是判斷租用資源用了多少的可靠依據：

以 ! 開頭的 cell 會執行 shell 指令，因此標準工具都能直接使用。所有 GPU 映像都內含 nvidia-smi：

!nvidia-smi

若想在訓練期間持續觀察，nvitop 提供即時畫面並標示各程序用量——當你想知道佔住 VRAM 的是訓練程式，還是忘記關掉的 notebook kernel 時特別有用。它不會自行結束，請在 Jupyter 終端機分頁執行，不要放在 cell 裡：

!pip install -q nvitop
# 接著在 Jupyter 終端機執行：
nvitop

在訓練迴圈內則直接問框架，它回報的是你的程序實際佔用量，而非驅動程式看到的總量：

import torch

free, total = torch.cuda.mem_get_info()
print(f"使用中: {(total - free) / 1e9:.1f} / {total / 1e9:.1f} GB")
print(f"本程序尖峰: {torch.cuda.max_memory_allocated() / 1e9:.1f} GB")

W&B 會記錄每次執行的超參數、指標與系統狀態，並保存在它自己的伺服器上，因此紀錄不會隨執行個體消失。先用 wandb.ai/authorize 取得的 token 登入一次：

%pip install -q wandb

import os, wandb
# WANDB_DIR 是「根目錄」——wandb 會在其中自建 wandb/，因此紀錄會落在
# /vault/wandb/。預設是腳本旁的 ./wandb，會隨執行個體一起消失。
os.environ["WANDB_DIR"] = "/vault"
wandb.login()  # 或將 WANDB_API_KEY 設為執行個體環境變數

接著包住整個訓練流程。把 GPU 記憶體和 loss 一起記錄只多一行，卻能讓你事後判斷當時的 batch size 是否真的安全：

run = wandb.init(project="my-project", config={"lr": 3e-4, "batch_size": 32})

for epoch in range(epochs):
    loss = train_one_epoch()
    run.log({
        "loss": loss,
        "gpu_mem_gb": torch.cuda.max_memory_allocated() / 1e9,
    })

run.finish()  # 送出最後一批指標——kernel 被強制中斷會遺失

在 GPUtw 上最關鍵的設定是快取位置。huggingface_hub 預設把快取放在容器內的 ~/.cache/huggingface，因此每開一台新機器都會重新下載同一批權重。把 HF_HOME 指到 /vault，就只需要下載一次：

%pip install -q -U huggingface_hub

import os
os.environ["HF_HOME"] = "/vault/hf"                 # 快取跨執行個體保留
os.environ["HF_XET_HIGH_PERFORMANCE"] = "1"         # 大檔下載時吃滿頻寬
os.environ.setdefault("HF_TOKEN", "")               # 於部署時設定，不要寫在這裡

下載模型，以及把成果推回去：

from huggingface_hub import snapshot_download

path = snapshot_download("Qwen/Qwen2.5-7B-Instruct")

# 訓練完成後
model.push_to_hub("my-org/my-model", private=True)

/vault 是網路儲存空間。這正是它能持久保存、並在多台執行個體間共用的原因，也是大檔案第一次讀取比本機磁碟慢的原因。由此可得的原則：

• 只載入一次的權重: 放在 /vault。啟動時載入 checkpoint 只是一次性成本，而永遠不必重新下載的價值高得多。
• 每個 epoch 都要讀的資料: 先複製到 /workspace。那是本機磁碟，複製成本通常一兩個 epoch 就回本。

貼在 cell 裡的 WANDB_API_KEY 或 HF_TOKEN 會被存進 .ipynb 檔案，並隨著檔案進入 /vault、你推送的任何 repo，以及任何你分享出去的內容。請改在部署時以環境變數傳入——部署頁面的「環境變數」欄位，或建立執行個體 API 的 env。

但也請了解其代價：這些值會與執行個體紀錄一起保存，以便下次部署時自動帶入，且未加密儲存。它比寫在 notebook 好——不會被複製擴散——但並不是密鑰管理系統。若服務支援，請使用範圍受限、有效期短的權杖（Hugging Face fine-grained token、W&B service account），而非帳號層級的金鑰。