TorchServe 模型快照

TorchServe 在整個會話中保留伺服器執行階段配置，以便遇到計劃內或計劃外服務停止的 TorchServe 實例可以在重新啟動時還原其狀態。

注意：目前的快照不支援工作流程。

TorchServe 的快照包含以下內容

• 伺服器配置，包括：哪些模型正在運行、這些模型的哪些版本，以及每個模型有多少工作人員處於活動狀態。

• 首次啟動 TorchServe 時使用的預設伺服器配置。

快照在以下實例中擷取 -

• 成功啟動後，伺服器將其當前配置儲存在帶有時間戳記的快照檔案 ./logs/config/ 中-startup.cfg

• 如果使用者以更改伺服器執行階段配置的方式呼叫管理 API，則快照會儲存到 ./logs/config/ 中-snapshot.cfg

• 當伺服器使用 torchserve --stop 故意關閉時，快照會儲存到 ./logs/configs/ 中-shutdown.cfg

使用者可以使用快照還原 TorchServe 的狀態，如下所示

• 如果在啟動 TorchServe 時未使用 --ts-config-file 標誌提供任何設定檔，則使用 ./logs/configs 中的最後一個快照進行啟動。

• 如果未使用 --ts-config-file 標誌提供任何設定檔，並且沒有可用的快照，則 TorchServe 以預設配置啟動。

• 使用者重新啟動伺服器，指定此設定檔： torchserve --start --model-store <model store> --ts-config <known good config snapshot>

如果使用者希望在沒有此復原功能的情況下啟動，則使用者可以使用以下命令啟動伺服器

torchserve --start --model-store <model store> --no-config-snapshots

這會阻止伺服器儲存配置快照檔案。

預設情況下，快照位於 {LOG_LOCATION}\config 目錄中，其中 {LOG_LOCATION} 是 TorchServe 可以使用的系統環境變數。如果未設定此變數，則快照會儲存在 .\log\config 目錄中

注意 :

1. 如果從快照還原，則在啟動 TorchServe 時在 –models 參數中傳遞的模型將被忽略。

2. 對於 Windows，如果未產生關機快照檔案，則可以使用最後一個快照檔案。