轉換 (Transform)¶

class torchrl.envs.transforms.Transform(in_keys: Optional[Sequence[NestedKey]] = None, out_keys: Optional[Sequence[NestedKey]] = None, in_keys_inv: Optional[Sequence[NestedKey]] = None, out_keys_inv: Optional[Sequence[NestedKey]] = None)[來源]¶

環境轉換 (Environment transform) 父類別。

原則上，轉換 (transform) 接收一個 tensordict 作為輸入，並傳回（相同或另一個）tensordict 作為輸出，其中一系列的值已被修改或使用新的鍵建立。在實例化新的轉換 (transform) 時，要讀取的鍵透過 keys 參數傳遞給建構子。

轉換器(Transforms)需要透過 TransformedEnv 類別與它們的目標環境結合，該類別接受一個 EnvBase 實例和一個轉換器作為參數。如果需要使用多個轉換器，可以使用 Compose 類別將它們串聯起來。轉換器可以是無狀態的或有狀態的（例如 CatTransform）。因此，轉換器支援 reset 操作，該操作應將轉換器重置為其初始狀態（以便連續的軌跡保持獨立）。

特別是，Transform 子類別負責轉換環境中受影響的規格：當查詢 transformed_env.observation_spec 時，結果物件將描述轉換後張量的規格。

property container¶

傳回包含轉換器的環境。

範例

>>> from torchrl.envs import TransformedEnv, Compose, RewardSum, StepCounter
>>> from torchrl.envs.libs.gym import GymEnv
>>> env = TransformedEnv(GymEnv("Pendulum-v1"), Compose(RewardSum(), StepCounter()))
>>> env.transform[0].container is env
True

forward(tensordict: TensorDictBase = None) → TensorDictBase[原始碼]¶: 讀取輸入的 tensordict，並對選定的鍵應用轉換。

property parent: Optional[EnvBase]¶

傳回轉換器的父環境。

父環境是包含所有轉換器直到當前轉換器的環境。

範例

>>> from torchrl.envs import TransformedEnv, Compose, RewardSum, StepCounter
>>> from torchrl.envs.libs.gym import GymEnv
>>> env = TransformedEnv(GymEnv("Pendulum-v1"), Compose(RewardSum(), StepCounter()))
>>> env.transform[1].parent
TransformedEnv(
    env=GymEnv(env=Pendulum-v1, batch_size=torch.Size([]), device=cpu),
    transform=Compose(
            RewardSum(keys=['reward'])))

to(*args, **kwargs)[原始碼]¶

移動和/或轉換參數和緩衝區。

可以這樣調用：

to(device=None, dtype=None, non_blocking=False)[原始碼]

to(dtype, non_blocking=False)[原始碼]

to(tensor, non_blocking=False)[原始碼]

to(memory_format=torch.channels_last)[原始碼]

它的簽名與 torch.Tensor.to() 類似，但僅接受浮點或複數 dtype。此外，此方法只會將浮點或複數參數和緩衝區轉換為 dtype（如果給定的話）。整數參數和緩衝區將被移動到 device（如果給定的話），但 dtype 不變。當設置 non_blocking 時，如果可能，它會嘗試相對於主機非同步地轉換/移動，例如，將具有釘住記憶體的 CPU 張量移動到 CUDA 設備。

請參閱下面的範例。

注意

此方法會就地修改模組。

參數:

device (torch.device) – 此模組中參數和緩衝區的所需設備
dtype (torch.dtype) – 此模組中參數和緩衝區的所需浮點或複數 dtype
tensor (torch.Tensor) – 張量，其 dtype 和設備是此模組中所有參數和緩衝區的所需 dtype 和設備
memory_format (torch.memory_format) – 此模組中 4D 參數和緩衝區的所需記憶體格式（僅關鍵字參數）

傳回值:

self

傳回類型:

模組

範例

>>> # xdoctest: +IGNORE_WANT("non-deterministic")
>>> linear = nn.Linear(2, 2)
>>> linear.weight
Parameter containing:
tensor([[ 0.1913, -0.3420],
        [-0.5113, -0.2325]])
>>> linear.to(torch.double)
Linear(in_features=2, out_features=2, bias=True)
>>> linear.weight
Parameter containing:
tensor([[ 0.1913, -0.3420],
        [-0.5113, -0.2325]], dtype=torch.float64)
>>> # xdoctest: +REQUIRES(env:TORCH_DOCTEST_CUDA1)
>>> gpu1 = torch.device("cuda:1")
>>> linear.to(gpu1, dtype=torch.half, non_blocking=True)
Linear(in_features=2, out_features=2, bias=True)
>>> linear.weight
Parameter containing:
tensor([[ 0.1914, -0.3420],
        [-0.5112, -0.2324]], dtype=torch.float16, device='cuda:1')
>>> cpu = torch.device("cpu")
>>> linear.to(cpu)
Linear(in_features=2, out_features=2, bias=True)
>>> linear.weight
Parameter containing:
tensor([[ 0.1914, -0.3420],
        [-0.5112, -0.2324]], dtype=torch.float16)

>>> linear = nn.Linear(2, 2, bias=None).to(torch.cdouble)
>>> linear.weight
Parameter containing:
tensor([[ 0.3741+0.j,  0.2382+0.j],
        [ 0.5593+0.j, -0.4443+0.j]], dtype=torch.complex128)
>>> linear(torch.ones(3, 2, dtype=torch.cdouble))
tensor([[0.6122+0.j, 0.1150+0.j],
        [0.6122+0.j, 0.1150+0.j],
        [0.6122+0.j, 0.1150+0.j]], dtype=torch.complex128)

transform_done_spec(done_spec: TensorSpec) → TensorSpec[原始碼]¶

轉換完成規格 (done spec)，使得結果規格與轉換映射匹配。

參數:: done_spec (TensorSpec) – 轉換前的規格 (spec)
傳回值:: 轉換後的預期規格 (spec)

transform_env_batch_size(batch_size: Size)[原始碼]¶: 轉換父環境的批次大小 (batch-size)。

transform_env_device(device: device)[原始碼]¶: 轉換父環境的裝置 (device)。

transform_input_spec(input_spec: TensorSpec) → TensorSpec[原始碼]¶

轉換輸入規格 (input spec)，使結果規格 (spec) 符合轉換映射。

參數:: input_spec (TensorSpec) – 轉換前的規格 (spec)
傳回值:: 轉換後的預期規格 (spec)

transform_observation_spec(observation_spec: TensorSpec) → TensorSpec[原始碼]¶

轉換觀察規格 (observation spec)，使結果規格 (spec) 符合轉換映射。

參數:: observation_spec (TensorSpec) – 轉換前的規格 (spec)
傳回值:: 轉換後的預期規格 (spec)

transform_output_spec(output_spec: Composite) → Composite[原始碼]¶

轉換輸出規格 (output spec)，使結果規格 (spec) 符合轉換映射。

這個方法通常應該保持不變。變更應該使用 transform_observation_spec()、transform_reward_spec() 和 transformfull_done_spec() 實作。 :param output_spec: 轉換前的規格 (spec) :type output_spec: TensorSpec

傳回值:: 轉換後的預期規格 (spec)

transform_reward_spec(reward_spec: TensorSpec) → TensorSpec[原始碼]¶

轉換獎勵規格 (reward spec)，使結果規格 (spec) 符合轉換映射。

參數:: reward_spec (TensorSpec) – 轉換前的規格 (spec)
傳回值:: 轉換後的預期規格 (spec)

轉換 (Transform)¶

文件

教學

資源