TorchServe GenAI 使用案例與展示

本文檔展示了 TorchServe 在 Gen AI 部署中的有趣用例。

在 AWS Graviton 上使用 Torch 編譯的 RAG 增強 LLM 服務

在此部落格中，我們展示了如何使用 TorchServe 部署 RAG 端點、使用 torch.compile 提高吞吐量並改進 Llama 端點產生的回應。我們還展示了如何使用 AWS Graviton 在 CPU 上部署 RAG 端點，同時 Llama 端點仍然部署在 GPU 上。這種基於微服務的 RAG 解決方案有效地利用了計算資源，從而為客戶節省了潛在的成本。

多影像生成 Streamlit 應用程式：使用 TorchServe、torch.compile 和 OpenVINO 鏈接 Llama 和 Stable Diffusion

此多影像生成 Streamlit 應用程式旨在根據提供的文字提示生成多個影像。此應用程式沒有直接使用 Stable Diffusion，而是鏈接 Llama 和 Stable Diffusion 以增強影像生成過程。此多影像生成用例例示了尖端 AI 技術的強大協同作用：TorchServe、OpenVINO、Torch.compile、Meta-Llama 和 Stable Diffusion。