MaskedCategorical

class torchrl.modules.MaskedCategorical(logits: Optional[Tensor] = None, probs: Optional[Tensor] = None, *, mask: Optional[Tensor] = None, indices: Optional[Tensor] = None, neg_inf: float = - inf, padding_value: Optional[int] = None)

MaskedCategorical 分佈。

參考資料：https://tensorflow.dev.org.tw/agents/api_docs/python/tf_agents/distributions/masked/MaskedCategorical

參數:

• logits (torch.Tensor) – 事件對數機率（未正規化）

• probs (torch.Tensor) – 事件機率。如果提供，對應到被遮罩項目的機率會歸零，並且機率會沿著最後一個維度重新正規化。

關鍵字參數:

• mask (torch.Tensor) – 與 logits/probs 相同形狀的布林遮罩，其中 False 條目是要被遮罩的項目。或者，如果 sparse_mask 為 True，則表示分佈中有效索引的列表。與 indices 互斥。

• indices (torch.Tensor) – 一個密集的索引張量，表示必須考慮哪些動作。與 mask 互斥。

• neg_inf (float, optional) – 分配給無效（超出遮罩範圍）索引的對數機率值。預設為 -inf。

• padding_value – 遮罩張量中的填充值。當 sparse_mask == True 時，padding_value 將被忽略。

• torch.manual_seed (>>>) –

• torch.randn (>>> logits =) –

• torch.tensor (>>> mask =) –

• MaskedCategorical (>>> dist =) –

• dist.sample (>>> sample =) –

• print (>>>) –

• tensor ([-inf, -inf, -inf, -inf, -inf, -inf, -inf, -inf, -inf, -inf]) –

• print –

• -1.0831, (tensor([-1.1203, -1.0928, -1.0831, -1.1203, -1.1203, -1.0831, -1.1203,) – -1.1203, -1.1203])

• print –

• tensor –

• probabilities (>>> # with) –

• torch.ones (>>> prob =) –

• prob.sum() (>>> prob = prob /) –

• torch.tensor –

• MaskedCategorical –

• print –

• -2.1972, (tensor([ -inf, -2.1972, -2.1972, -2.1972, -2.1972, -2.1972, -2.1972,) – -2.1972, -2.1972])

log_prob(value: Tensor) → Tensor

傳回在 value 處評估的機率密度/質量函數的對數。

參數:

value (Tensor) –

sample(sample_shape: Optional[Union[Size, Sequence[int]]] = None) → Tensor

產生一個 sample_shape 形狀的樣本，或者如果分佈參數是批次的，則產生 sample_shape 形狀的一批樣本。