跳到主要内容

通过 ak.mean 进行微分

问题陈述​

该问题是针对main分支报告的。

本报告是对问题 #2591 的后续跟进,采用了更简单的设置。通过均值求导应该可行,但在 JAX 追踪梯度时,ak.mean 会抛出异常。

复现脚本:

reproducer.py
import awkward as ak
import jax
import uproot

ak.jax.register_and_check()

ttbar_file = "https://github.com/scikit-hep/scikit-hep-testdata/"\
"raw/main/src/skhep_testdata/data/nanoAOD_2015_CMS_Open_Data_ttbar.root"

def mean_jet_pt(jets):
return ak.mean(jets.pt)

with uproot.open(ttbar_file) as f:
arr = f["Events"].arrays(["Jet_pt", "Jet_eta", "Jet_phi", "Jet_mass"])
evtfilter = ak.num(arr["Jet_pt"]) >= 2
jets = ak.zip(dict(zip(["pt", "eta", "phi", "mass"], ak.unzip(arr))), with_name="Momentum4D")[evtfilter]
jets = ak.to_backend(jets, "jax")

jax.value_and_grad(mean_jet_pt, argnums=0)(jets)

结果:

Error output
RuntimeError: Cannot differentiate through count_zero

This error occurred while calling

ak.mean(
<Array [[...], [...], ..., [...], [...]] type='140 * var * float32'>
)

同一计算的独立 JAX 版本能够成功运行:

standalone_jax.py
import jax.numpy as jnp

def mean(j):
return jnp.mean(j)

data = jnp.array([1, 7, 3, 5], dtype=float)

jax.value_and_grad(mean, argnums=0)(data)

代码差异​

下面的 diff 显示了一个具有代表性的文件。该拉取请求将相同的更改应用到了五个文件上。

src/awkward/operations/ak_covar.py​

diff --git a/src/awkward/operations/ak_covar.py b/src/awkward/operations/ak_covar.py
index a070ac68..f0decdeb 100644
--- a/src/awkward/operations/ak_covar.py
+++ b/src/awkward/operations/ak_covar.py
@@ -102,52 +102,52 @@ def _impl(x, y, weight, axis, keepdims, mask_identity, highlevel, behavior, attr
y = ctx.wrap(y_layout)
weight = ctx.wrap(weight_layout, allow_other=True)

with np.errstate(invalid="ignore", divide="ignore"):
xmean = ak.operations.ak_mean._impl(
x, weight, axis, False, mask_identity,
highlevel=True, behavior=None, attrs=None,
)
ymean = ak.operations.ak_mean._impl(
y, weight, axis, False, mask_identity,
highlevel=True, behavior=None, attrs=None,
)
if weight is None:
- sumw = ak.operations.ak_count._impl(
- x,
+ sumw = ak.operations.ak_sum._impl(
+ x * 0 + 1,
axis, keepdims, mask_identity,
highlevel=True, behavior=None, attrs=None,
)
sumwxy = ak.operations.ak_sum._impl(
(x - xmean) * (y - ymean),
axis, keepdims, mask_identity,
highlevel=True, behavior=None, attrs=None,
)

提交信息​

修复:使用 JAX 使 ak.mean 可微

在通过`ak.mean`进行求导时,`jax.value_and_grad`会引发`RuntimeError: Cannot differentiate through count_zero`异常。根本原因是,内部用于计算权重和的`ak.count`没有 JAX 求导规则。

将`ak.count(x, ...)`替换为`ak.sum(x * 0 + 1, ...)`,这样既能得到相同的结果,又能在JAX环境下保持可微性。同样的替换也适用于`ak.mean`、`ak.var`、`ak.covar`、`ak.moment`和`ak.linear_fit`。

Fixes #2595.

拉取请求​

摘要​

对调用ak.mean的函数调用jax.value_and_grad时,不再引发RuntimeError。此更改修复了#2595,并跟进#2591。

问题​

使用 JAX 通过 ak.mean 求导时出现错误,错误信息如下:

Error
RuntimeError: Cannot differentiate through count_zero

调用以下代码时会出现此错误:

Traceback snippet
ak.mean(
<Array [[...], [...], ..., [...], [...]] type='140 * var * float32'>
)

当您未传入weight参数时,ak.mean会使用ak.count归约器对权重进行求和。ak.count会调用一个JAX无法求导的编译内核,因此通过ak.mean进行的任何梯度计算都会失败。遵循相同模式的其他统计操作也会以同样的方式失败。

解决方案​

该修复方案将不可微的ak.count(x, ...)调用替换为ak.sum(x * 0 + 1, ...),两者计算出的结果相同:

  • x * 0 + 1 将权重 1 广播到 x 的每个元素上,同时保留列表结构和缺失值,
  • 在 JAX 中,ak.sum 保持可微,因为通过 x * 0 的梯度为零,
  • 该数值结果与之前的ak.count版本一致。

对于所有使用ak.count计算未加权权重和的统计操作,均适用相同的替换规则:

  • src/awkward/operations/ak_mean.py
  • src/awkward/operations/ak_var.py(同时修复了基于ak.var构建的ak.std)
  • src/awkward/operations/ak_covar.py(同时修复了ak.corr)
  • src/awkward/operations/ak_moment.py
  • src/awkward/operations/ak_linear_fit.py

测试​

现在,重现器模式会返回正确的值,并且每个元素的梯度均为预期的1/N:

Verification
import awkward as ak
import jax

arr = ak.Array([[1.0, 2.0, 3.0], [4.0, 5.0], [6.0]], backend="jax")
jax.value_and_grad(lambda x: ak.mean(x))(arr)
# (Array(3.5, dtype=float32), <Array [[0.1667, 0.1667, 0.1667], ...]>)

现有的 NumPy 后端测试在未作任何修改的情况下,ak.mean、ak.var、ak.std、ak.corr、ak.covar、ak.linear_fit 和 ak.moment 均通过测试。测试覆盖范围包括 axis=None、axis=-1 以及不规则输入。

注释​

  • 公共 API 调用将保留其现有的签名。
  • 该补丁仅依赖于现有的依赖项。
  • 替换操作 x * 0 + 1 需要对 x 进行一次逐元素遍历,并从图中移除了不可微的核心。

如何测试​

  1. 运行前面的重现代码。jax.value_and_grad(lambda x: ak.mean(x))(arr) 应返回一个值及其梯度,且不会引发 RuntimeError。
  2. 运行完整的测试套件(pytest tests/),以确认 ak.mean、ak.var、ak.std、ak.covar、ak.corr、ak.moment 和 ak.linear_fit 在 NumPy 后端上的行为完全一致。