raft_large¶
- torchvision.models.optical_flow.raft_large(*, weights: Optional[Raft_Large_Weights] = None, progress=True, **kwargs) RAFT[原始碼]¶
來自 RAFT: Recurrent All Pairs Field Transforms for Optical Flow 的 RAFT 模型。
請參閱以下範例，以取得有關如何使用此模型的教學課程。
- 參數:
weights (
Raft_Large_Weights, optional) – 要使用的預訓練權重。 有關更多詳細資訊和可能的值，請參閱下方的Raft_Large_Weights。 預設情況下，不使用任何預訓練權重。progress (bool) – 如果為 True，則會在 stderr 中顯示下載的進度列。 預設值為 True。
**kwargs – 傳遞給
torchvision.models.optical_flow.RAFT基底類別的參數。 有關此類別的更多詳細資訊，請參閱 原始碼。
- class torchvision.models.optical_flow.Raft_Large_Weights(value)[原始碼]¶
上面的模型建構器接受以下值作為
weights參數。Raft_Large_Weights.DEFAULT等同於Raft_Large_Weights.C_T_SKHT_V2。 您也可以使用字串，例如weights='DEFAULT'或weights='C_T_V1'。這裡報告的指標如下。
epe是「端點誤差」(end-point-error)，表示預測的光流與真實值的差距 (以像素為單位)。這是對所有圖像的所有像素取平均值。per_image_epe類似，但平均方式不同：先針對每張圖像獨立計算 epe，然後再對所有圖像取平均值。這相當於原始論文中的 "Fl-epe" (有時寫作 "F1-epe")，並且僅在 Kitti 資料集上使用。fl-all也是一個 Kitti 特定的指標，由資料集的作者定義，用於 Kitti 排行榜。它對應於 epe 小於 <3px 或小於光流 2-範數的 <5% 的像素的平均值。Raft_Large_Weights.C_T_V1:
這些權重是從原始論文移植過來的。它們在
FlyingChairs+FlyingThings3D上進行訓練。epe (在 Sintel-Train-Cleanpass 上)
1.4411
epe (在 Sintel-Train-Finalpass 上)
2.7894
per_image_epe (在 Kitti-Train 上)
5.0172
fl_all (在 Kitti-Train 上)
17.4506
min_size
height=128, width=128
num_params
5257536
recipe
GFLOPS
211.01
File size
20.1 MB
推論轉換位於
Raft_Large_Weights.C_T_V1.transforms，並執行以下預處理操作：接受PIL.Image、批次的(B, C, H, W)和單個(C, H, W)圖像torch.Tensor物件。圖像會被縮放到[-1.0, 1.0]。Raft_Large_Weights.C_T_V2:
這些權重是從頭開始在
FlyingChairs+FlyingThings3D上訓練的。epe (在 Sintel-Train-Cleanpass 上)
1.3822
epe (在 Sintel-Train-Finalpass 上)
2.7161
per_image_epe (在 Kitti-Train 上)
4.5118
fl_all (在 Kitti-Train 上)
16.0679
min_size
height=128, width=128
num_params
5257536
recipe
GFLOPS
211.01
File size
20.1 MB
推論轉換位於
Raft_Large_Weights.C_T_V2.transforms，並執行以下預處理操作：接受PIL.Image、批次的(B, C, H, W)和單個(C, H, W)圖像torch.Tensor物件。圖像會被縮放到[-1.0, 1.0]。Raft_Large_Weights.C_T_SKHT_V1:
這些權重是從原始論文移植過來的。它們在
FlyingChairs+FlyingThings3D上進行訓練，並在 Sintel 上進行微調。Sintel 微調步驟是Sintel、KittiFlow、HD1K和FlyingThings3D(clean pass) 的組合。epe (在 Sintel-Test-Cleanpass 上)
1.94
epe (在 Sintel-Test-Finalpass 上)
3.18
min_size
height=128, width=128
num_params
5257536
recipe
GFLOPS
211.01
File size
20.1 MB
推論轉換位於
Raft_Large_Weights.C_T_SKHT_V1.transforms，並執行以下預處理操作：接受PIL.Image、批次的(B, C, H, W)和單個(C, H, W)圖像torch.Tensor物件。圖像會被縮放到[-1.0, 1.0]。Raft_Large_Weights.C_T_SKHT_V2:
這些權重是從頭開始訓練的。它們在
FlyingChairs+FlyingThings3D上進行預訓練，然後在 Sintel 上進行微調。Sintel 微調步驟是Sintel、KittiFlow、HD1K和FlyingThings3D(clean pass) 的組合。也可以作為Raft_Large_Weights.DEFAULT使用。epe (在 Sintel-Test-Cleanpass 上)
1.819
epe (在 Sintel-Test-Finalpass 上)
3.067
min_size
height=128, width=128
num_params
5257536
recipe
GFLOPS
211.01
File size
20.1 MB
推論轉換位於
Raft_Large_Weights.C_T_SKHT_V2.transforms，並執行以下預處理操作：接受PIL.Image、批次的(B, C, H, W)和單個(C, H, W)圖像torch.Tensor物件。圖像會被縮放到[-1.0, 1.0]。Raft_Large_Weights.C_T_SKHT_K_V1:
這些權重是從原始論文移植過來的。它們在
FlyingChairs+FlyingThings3D上進行預訓練，在 Sintel 上進行微調，然後在KittiFlow上進行微調。Sintel 微調步驟如上所述。fl_all (在 Kitti-Test 上)
5.1
min_size
height=128, width=128
num_params
5257536
recipe
GFLOPS
211.01
File size
20.1 MB
推論轉換可在
Raft_Large_Weights.C_T_SKHT_K_V1.transforms中找到，並執行以下預處理操作：接受PIL.Image、批次化的(B, C, H, W)和單張(C, H, W)影像torch.Tensor物件。影像會重新縮放到[-1.0, 1.0]。Raft_Large_Weights.C_T_SKHT_K_V2:
這些權重是從頭開始訓練的。它們首先在
FlyingChairs+FlyingThings3D上進行預訓練，然後在 Sintel 上進行微調，最後在KittiFlow上進行微調。上面已描述了 Sintel 微調步驟。fl_all (在 Kitti-Test 上)
5.19
min_size
height=128, width=128
num_params
5257536
recipe
GFLOPS
211.01
File size
20.1 MB
推論轉換可在
Raft_Large_Weights.C_T_SKHT_K_V2.transforms中找到，並執行以下預處理操作：接受PIL.Image、批次化的(B, C, H, W)和單張(C, H, W)影像torch.Tensor物件。影像會重新縮放到[-1.0, 1.0]。
使用
raft_large的範例
