通过 ak.mean 进行微分
问题陈述
该问题是针对main分支报告的。
本报告是对问题 #2591 的后续跟进,采用了更简单的设置。通过均值求导应该可行,但在 JAX 追踪梯度时,ak.mean 会抛出异常。
复现脚本:
reproducer.py
import awkward as ak
import jax
import uproot
ak.jax.register_and_check()
ttbar_file = "https://github.com/scikit-hep/scikit-hep-testdata/"\
"raw/main/src/skhep_testdata/data/nanoAOD_2015_CMS_Open_Data_ttbar.root"
def mean_jet_pt(jets):
return ak.mean(jets.pt)
with uproot.open(ttbar_file) as f:
arr = f["Events"].arrays(["Jet_pt", "Jet_eta", "Jet_phi", "Jet_mass"])
evtfilter = ak.num(arr["Jet_pt"]) >= 2
jets = ak.zip(dict(zip(["pt", "eta", "phi", "mass"], ak.unzip(arr))), with_name="Momentum4D")[evtfilter]
jets = ak.to_backend(jets, "jax")
jax.value_and_grad(mean_jet_pt, argnums=0)(jets)
结果:
Error output
RuntimeError: Cannot differentiate through count_zero
This error occurred while calling
ak.mean(
<Array [[...], [...], ..., [...], [...]] type='140 * var * float32'>
)
同一计算的独立 JAX 版本能够成功运行:
standalone_jax.py
import jax.numpy as jnp
def mean(j):
return jnp.mean(j)
data = jnp.array([1, 7, 3, 5], dtype=float)
jax.value_and_grad(mean, argnums=0)(data)
代码差异
下面的 diff 显示了一个具有代表性的文件。该拉取请求将相同的更改应用到了五个文件上。
src/awkward/operations/ak_covar.py
diff --git a/src/awkward/operations/ak_covar.py b/src/awkward/operations/ak_covar.py
index a070ac68..f0decdeb 100644
--- a/src/awkward/operations/ak_covar.py
+++ b/src/awkward/operations/ak_covar.py
@@ -102,52 +102,52 @@ def _impl(x, y, weight, axis, keepdims, mask_identity, highlevel, behavior, attr
y = ctx.wrap(y_layout)
weight = ctx.wrap(weight_layout, allow_other=True)
with np.errstate(invalid="ignore", divide="ignore"):
xmean = ak.operations.ak_mean._impl(
x, weight, axis, False, mask_identity,
highlevel=True, behavior=None, attrs=None,
)
ymean = ak.operations.ak_mean._impl(
y, weight, axis, False, mask_identity,
highlevel=True, behavior=None, attrs=None,
)
if weight is None:
- sumw = ak.operations.ak_count._impl(
- x,
+ sumw = ak.operations.ak_sum._impl(
+ x * 0 + 1,
axis, keepdims, mask_identity,
highlevel=True, behavior=None, attrs=None,
)
sumwxy = ak.operations.ak_sum._impl(
(x - xmean) * (y - ymean),
axis, keepdims, mask_identity,
highlevel=True, behavior=None, attrs=None,
)
提交信息
修复:使用 JAX 使 ak.mean 可微
在通过`ak.mean`进行求导时,`jax.value_and_grad`会引发`RuntimeError: Cannot differentiate through count_zero`异常。根本原因是,内部用于计算权重和的`ak.count`没有 JAX 求导规则。
将`ak.count(x, ...)`替换为`ak.sum(x * 0 + 1, ...)`,这样既能得到相同的结果,又能在JAX环境下保持可微性。同样的替换也适用于`ak.mean`、`ak.var`、`ak.covar`、`ak.moment`和`ak.linear_fit`。
Fixes #2595.
拉取请求
摘要
对调用ak.mean的函数调用jax.value_and_grad时,不再引发RuntimeError。此更改修复了#2595,并跟进#2591。
问题
使用 JAX 通过 ak.mean 求导时出现错误,错误信息如下:
Error
RuntimeError: Cannot differentiate through count_zero
调用以下代码时会出现此错误:
Traceback snippet
ak.mean(
<Array [[...], [...], ..., [...], [...]] type='140 * var * float32'>
)
当您未传入weight参数时,ak.mean会使用ak.count归约器对权重进行求和。ak.count会调用一个JAX无法求导的编译内核,因此通过ak.mean进行的任何梯度计算都会失败。遵循相同模式的其他统计操作也会以同样的方式失败。
解决方案
该修复方案将不可微的ak.count(x, ...)调用替换为ak.sum(x * 0 + 1, ...),两者计算出的结果相同:
x * 0 + 1将权重1广播到x的每个元素上,同时保留列表结构和缺失值,- 在 JAX 中,
ak.sum保持可微,因为通过x * 0的梯度为零, - 该数值结果与之前的
ak.count版本一致。
对于所有使用ak.count计算未加权权重和的统计操作,均适用相同的替换规则:
src/awkward/operations/ak_mean.pysrc/awkward/operations/ak_var.py(同时修复了基于ak.var构建的ak.std)src/awkward/operations/ak_covar.py(同时修复了ak.corr)src/awkward/operations/ak_moment.pysrc/awkward/operations/ak_linear_fit.py
测试
现在,重现器模式会返回正确的值,并且每个元素的梯度均为预期的1/N:
Verification
import awkward as ak
import jax
arr = ak.Array([[1.0, 2.0, 3.0], [4.0, 5.0], [6.0]], backend="jax")
jax.value_and_grad(lambda x: ak.mean(x))(arr)
# (Array(3.5, dtype=float32), <Array [[0.1667, 0.1667, 0.1667], ...]>)
现有的 NumPy 后端测试在未作任何修改的情况下,ak.mean、ak.var、ak.std、ak.corr、ak.covar、ak.linear_fit 和 ak.moment 均通过测试。测试覆盖范围包括 axis=None、axis=-1 以及不规则输入。
注释
- 公共 API 调用将保留其现有的签名。
- 该补丁仅依赖于现有的依赖项。
- 替换操作
x * 0 + 1需要对x进行一次逐元素遍历,并从图中移除了不可微的核心。
如何测试
- 运行前面的重现代码。
jax.value_and_grad(lambda x: ak.mean(x))(arr)应返回一个值及其梯度,且不会引发RuntimeError。 - 运行完整的测试套件(
pytest tests/),以确认ak.mean、ak.var、ak.std、ak.covar、ak.corr、ak.moment和ak.linear_fit在 NumPy 后端上的行为完全一致。