raft_small

torchvision.models.optical_flow.raft_small(*, weights: Optional[Raft_Small_Weights] = None, progress=True, **kwargs) → RAFT

來自 RAFT: Recurrent All Pairs Field Transforms for Optical Flow 的 RAFT “small” 模型。

請參閱以下範例，以取得有關如何使用此模型的教學。

參數:

• weights (Raft_Small_Weights, optional) – 要使用的預訓練權重。 請參閱下方的 Raft_Small_Weights 以獲得更多詳細資訊和可能的值。 預設情況下，不使用預訓練權重。

• progress (bool) – 如果為 True，則會將下載的進度條顯示到 stderr。 預設值為 True。

• **kwargs – 傳遞至 torchvision.models.optical_flow.RAFT 基底類別的參數。 有關此類別的更多詳細資訊，請參閱 原始碼。

class torchvision.models.optical_flow.Raft_Small_Weights(value)

上面的模型建構器接受以下值作為 weights 參數。Raft_Small_Weights.DEFAULT 等同於 Raft_Small_Weights.C_T_V2。您也可以使用字串，例如 weights='DEFAULT' 或 weights='C_T_V1'。

這裡報告的指標如下。epe 是「端點誤差 (end-point-error)」，表示預測的光流與其真實值之間的距離 (以像素為單位)。這是針對所有影像的所有像素進行平均。per_image_epe 類似，但平均方式不同：epe 首先獨立計算每個影像，然後對所有影像進行平均。這對應於原始論文中的 "Fl-epe" (有時寫作 "F1-epe")，並且僅在 Kitti 上使用。fl-all 也是 Kitti 專用的指標，由資料集的作者定義，並用於 Kitti leaderboard。它對應於 epe 小於 <3px 或小於光流 2-norm 的 <5% 的像素的平均值。

Raft_Small_Weights.C_T_V1:

這些權重是從原始論文移植過來的。它們在 FlyingChairs + FlyingThings3D 上訓練。

epe (在 Sintel-Train-Cleanpass 上)	2.1231
epe (在 Sintel-Train-Finalpass 上)	3.279
per_image_epe (在 Kitti-Train 上)	7.6557
fl_all (在 Kitti-Train 上)	25.2801
min_size	height=128, width=128
num_params	990162
recipe	link
GFLOPS	47.66
檔案大小	3.8 MB

推論轉換可在 Raft_Small_Weights.C_T_V1.transforms 中找到，並執行以下預處理操作：接受 PIL.Image、批次 (B, C, H, W) 和單一 (C, H, W) 影像 torch.Tensor 物件。影像會重新縮放到 [-1.0, 1.0]。

Raft_Small_Weights.C_T_V2:

這些權重是在 FlyingChairs + FlyingThings3D 上從頭開始訓練的。也可作為 Raft_Small_Weights.DEFAULT 使用。

epe (在 Sintel-Train-Cleanpass 上)	1.9901
epe (在 Sintel-Train-Finalpass 上)	3.2831
per_image_epe (在 Kitti-Train 上)	7.5978
fl_all (在 Kitti-Train 上)	25.2369
min_size	height=128, width=128
num_params	990162
recipe	link
GFLOPS	47.66
檔案大小	3.8 MB

推論轉換可在 Raft_Small_Weights.C_T_V2.transforms 中找到，並執行以下預處理操作：接受 PIL.Image、批次 (B, C, H, W) 和單一 (C, H, W) 影像 torch.Tensor 物件。影像會重新縮放到 [-1.0, 1.0]。

使用 raft_small 的範例

光流：使用 RAFT 模型預測移動

光流：使用 RAFT 模型預測移動