Bernoulli

class paddle.distribution. Bernoulli ( probs, name=None ) [源代码]

伯努利分布由取值为 1 的概率 probs 参数进行初始化。

在概率论和统计学中,以瑞士数学家雅各布·伯努利命名的伯努利分布是随机变量的离散概率分布,其取值 1 的概率为 \(p\),值为 0 的概率为 \(q = 1 - p\)

该分布在可能的结果 k 上的概率质量函数为:

\[\begin{split}{\begin{cases} q=1-p & \text{if }value=0 \\ p & \text{if }value=1 \end{cases}}\end{split}\]

参数

  • probs (float|Tensor) - 伯努利分布的概率输入。数据类型为 float32 或 float64。范围必须为 \([0, 1]\)

  • name (str,可选) - 操作的名称,一般无需设置,默认值为 None,具体用法请参见 Name

代码示例

import paddle
from paddle.distribution import Bernoulli

# init `probs` with a float
rv = Bernoulli(probs=0.3)

print(rv.mean)
# Tensor(shape=[], dtype=float32, place=Place(cpu), stop_gradient=True,
#        0.30000001)

print(rv.variance)
# Tensor(shape=[], dtype=float32, place=Place(cpu), stop_gradient=True,
#        0.21000001)

print(rv.entropy())
# Tensor(shape=[], dtype=float32, place=Place(cpu), stop_gradient=True,
#        0.61086434)

属性

mean

伯努利分布的均值

返回

Tensor,均值

variance

伯努利分布的方差

返回

Tensor,方差

方法

sample(shape)

生成指定维度的样本。

参数

  • shape (Sequence[int]) - 指定生成样本的维度。

返回

Tensor,样本,其维度为 \(\text{sample shape} + \text{batch shape} + \text{event shape}\)

代码示例

import paddle
from paddle.distribution import Bernoulli

rv = Bernoulli(paddle.full((), 0.3))
print(rv.sample([100]).shape)
# [100]

rv = Bernoulli(paddle.to_tensor(0.3))
print(rv.sample([100]).shape)
# [100]

rv = Bernoulli(paddle.to_tensor([0.3, 0.5]))
print(rv.sample([100]).shape)
# [100, 2]

rv = Bernoulli(paddle.to_tensor([0.3, 0.5]))
print(rv.sample([100, 2]).shape)
# [100, 2, 2]

rsample(shape, temperature=1.0)

重参数化采样,生成指定维度的样本。

rsample 是连续近似的伯努利分布重参数化样本方法。

[1] Chris J. Maddison, Andriy Mnih, and Yee Whye Teh. The Concrete Distribution: A Continuous Relaxation of Discrete Random Variables. 2016.

[2] Eric Jang, Shixiang Gu, and Ben Poole. Categorical Reparameterization with Gumbel-Softmax. 2016.

注解

rsample 后面需要跟一个 sigmoid,从而将样本的值转换为单位间隔 \((0, 1)\)

参数

  • shape (Sequence[int]) - 指定生成样本的维度。

  • temperature (float) - rsample 的温度,必须为正值。

返回

Tensor,样本,其维度为 \(\text{sample shape} + \text{batch shape} + \text{event shape}\)

代码示例

import paddle
from paddle.distribution import Bernoulli

paddle.seed(2023)

rv = Bernoulli(paddle.full((), 0.3))
print(rv.sample([100]).shape)
# [100]

rv = Bernoulli(0.3)
print(rv.rsample([100]).shape)
# [100]

rv = Bernoulli(paddle.to_tensor([0.3, 0.5]))
print(rv.rsample([100]).shape)
# [100, 2]

rv = Bernoulli(paddle.to_tensor([0.3, 0.5]))
print(rv.rsample([100, 2]).shape)
# [100, 2, 2]

# `rsample` has to be followed by a `sigmoid`
rv = Bernoulli(0.3)
rsample = rv.rsample([3])
rsample_sigmoid = paddle.nn.functional.sigmoid(rsample)
print(rsample, rsample_sigmoid)
# Tensor(shape=[3], dtype=float32, place=Place(gpu:0), stop_gradient=True,
#       [-2.37732768, -0.61203325, -3.18344760]) Tensor(shape=[3], dtype=float32, place=Place(gpu:0), stop_gradient=True,
#       [0.08491799, 0.35159552, 0.03979339])

# The smaller the `temperature`, the distribution of `rsample` closer to `sample`, with `probs` of 0.3.
print(paddle.nn.functional.sigmoid(rv.rsample([1000, ], temperature=1.0)).sum())
# Tensor(shape=[], dtype=float32, place=Place(cpu), stop_gradient=True,
#        361.06829834)

print(paddle.nn.functional.sigmoid(rv.rsample([1000, ], temperature=0.1)).sum())
# Tensor(shape=[], dtype=float32, place=Place(cpu), stop_gradient=True,
#        288.66418457)

cdf(value)

value 的累积分布函数 (CDF)

\[\begin{split}{ \begin{cases} 0 & \text{if } value \lt 0 \\ 1 - p & \text{if } 0 \leq value \lt 1 \\ 1 & \text{if } value \geq 1 \end{cases} }\end{split}\]

参数

  • value (Tensor) - 输入 Tensor。

返回

Tensor, value 的累积分布函数。

代码示例

import paddle
from paddle.distribution import Bernoulli

rv = Bernoulli(0.3)
print(rv.cdf(paddle.to_tensor([1.0])))
# Tensor(shape=[1], dtype=float32, place=Place(cpu), stop_gradient=True,
#        [1.])

log_prob(value)

对数概率密度函数

参数

  • value (Tensor) - 输入 Tensor。

返回

Tensor, value 的对数概率密度函数。

代码示例

import paddle
from paddle.distribution import Bernoulli

rv = Bernoulli(0.3)
print(rv.log_prob(paddle.to_tensor([1.0])))
# Tensor(shape=[1], dtype=float32, place=Place(cpu), stop_gradient=True,
#        [-1.20397282])

prob(value)

value 的概率密度函数。

\[\begin{split}{ \begin{cases} q=1-p & \text{if }value=0 \\ p & \text{if }value=1 \end{cases} }\end{split}\]

参数

  • value (Tensor) - 输入 Tensor。

返回

Tensor, value 的概率密度函数。

代码示例

import paddle
from paddle.distribution import Bernoulli

rv = Bernoulli(0.3)
print(rv.prob(paddle.to_tensor([1.0])))
# Tensor(shape=[1], dtype=float32, place=Place(cpu), stop_gradient=True,
#        [0.29999998])

entropy()

伯努利分布的信息熵。

\[{ entropy = -(q \log q + p \log p) }\]

返回

Tensor,伯努利分布的信息熵。

代码示例

import paddle
from paddle.distribution import Bernoulli

rv = Bernoulli(0.3)
print(rv.entropy())
# Tensor(shape=[], dtype=float32, place=Place(cpu), stop_gradient=True,
#        0.61086434)

kl_divergence(other)

两个伯努利分布之间的 KL 散度。

\[{ KL(a || b) = p_a \log(p_a / p_b) + (1 - p_a) \log((1 - p_a) / (1 - p_b)) }\]

参数

  • other (Bernoulli) - Bernoulli 的实例。

返回

Tensor,两个伯努利分布之间的 KL 散度。

代码示例

import paddle
from paddle.distribution import Bernoulli

rv = Bernoulli(0.3)
rv_other = Bernoulli(0.7)

print(rv.kl_divergence(rv_other))
# Tensor(shape=[], dtype=float32, place=Place(cpu), stop_gradient=True,
#        0.33891910)