捷徑

疑難排解指南

請參考此章節,了解在使用 Torchserve 部署 Pytorch 模型時遇到的常見問題及其對應的疑難排解步驟。

部署和設定問題

“無法繫結到位址:http://127.0.0.1:8080”,連接埠 8080/8081 已在使用中。

通常,連接埠號碼 8080/8081 已經被其他應用程式或服務使用,可以使用 cmd ss -ntl | grep 8080 來驗證。有兩種方法可以解決這個問題,一是終止正在使用連接埠 8080/8081 的程序,二是在 8080 和 8081 以外的不同連接埠上執行 Torchserve。

請參考 configuration.md 了解更多詳細資訊。

相關問題:[542]

啟動 Torchserve 時出現“java.lang.NoSuchMethodError”。[473]

這個錯誤通常在未安裝或使用 Java 17 時發生。 Torchserve 需要 Java 17,並且不支援舊版本的 Java。

相關問題:[#473]

無法傳送大型檔案以進行推論請求?

預設的最大請求大小和回應大小約為 6.5 Mb。 因此,任何大於 6.5mb 的檔案大小都無法上傳。 為了要解決這個問題,請在 config.properties 檔案中更新 max_request_sizemax_response_size,然後使用此設定檔啟動 torchserve。

$ cat config.properties
max_request_size=<request size in bytes>
max_response_size=<response size in bytes>
$ torchserve --start --model-store model_store --ts-config /path/to/config.properties

您也可以使用環境變數來設定這些值。 請參考 configuration.md 了解更多詳細資訊。 相關問題:[#335]

Model-archiver

如何新增模型特定的自定義依賴項?

您可以使用 --extra-files 標誌在建立 mar 檔案時新增您的依賴檔案。這些依賴檔案可以是任何類型,例如 zip、egg、json 等。您可能需要編寫自定義處理程序才能根據需要使用這些檔案。

相關議題:[#566]

如何解決模型特定的 Python 依賴項?

您可以使用 “–requirements-file/ -r” 標誌在建立 mar 檔案時提供 requirements.txt。您可以參考 waveglow text-to-speech-synthesizer 範例。

相關議題:[#566] 請參閱 Torch model archiver cli 以取得更多詳細資訊。

我已在我的 mar 檔案中新增 requirements.txt,但其中列出的套件未安裝。

預設情況下,模型特定的自定義 Python 套件功能已停用,請將 install_py_dep_per_model 設定為 true 來啟用此功能。請參閱 允許模型特定的自定義 Python 套件 以取得更多詳細資訊。

後端 worker 監控線程中斷或後端 worker 處理程序死掉的錯誤。

此問題通常發生在模型初始化失敗時,這可能是由於處理程序的 initialize 函數中存在錯誤的程式碼所致。當缺少套件/模組時,也會觀察到此錯誤。

相關議題:[#667, #537]

文檔

存取 PyTorch 的完整開發人員文件

查看文件

教學課程

取得針對初學者和進階開發者的深度教學課程

檢視教學課程

資源

尋找開發資源並取得問題解答

檢視資源