Python自动微分技术解析：Sympy、Autograd与Tangent对比

Python自动微分技术概览

前言

本文简要介绍Python生态中几种常用的自动求导工具，重点涵盖Tangent、Autograd以及Sympy。

当前主流的机器学习与深度学习框架均内置了自动微分功能。微分方法主要可分为四类：手动微分、数值微分、符号微分以及自动微分。本文将通过基础示例，简要梳理上述几种微分框架的核心特点。

Sympy是一个功能强大的科学计算库，采用符号微分技术。它通过构建符号表达式来进行求导运算。然而，当函数结构较为复杂时，生成的表达式树可能异常庞大，且求得的导数未必是最简形式。

Autograd采用自动微分策略，首先对基本算子应用符号微分，随后代入具体数值并保存中间计算结果，最终应用于整个函数。自动微分的本质是图计算，由于易于进行各种优化处理，因此被广泛应用于各类机器学习和深度学习框架中。

Tangent是一个源到源（source-to-source）的自动微分框架。在计算函数f的微分时，它通过生成一个新的函数f_grad来计算该函数的微分。这与目前存在的其他自动微分框架有着显著不同。由于Tangent通过生成全新函数来计算微分，因此具备极高的可读性和可调试性，这也是其官方强调的核心优势。

Sympy符号微分实现

Sympy求导示例

 def grad():
   # 定义表达式的变量名称
   x, y = symbols('x y')
   # 定义表达式
   z = x**2 +y**2
   # 计算z关于y对应的偏导数
   return diff(z, y)
 func = grad()

输出结果显示，表达式z的导函数z'等于2*y。

print(func) 

将y设为6代入计算，结果为12。

print(func.evalf(subs ={'y':3}))

Autograd与Tangent梯度计算对比

Autograd求偏导示例

 import autograd.numpy as np
 from autograd import grad
 #表达式 f(x,y)=x^2+3xy+y^2
 #df/dx = 2x+3y
 #df/dy = 3x+2y
 #x=1,y=2
 #df/dx=8
 #df/dy=7
 def fun(x, y):
  z=x**2+3*x*y+y**2
  return z
 fun_grad = grad(fun)
 fun_grad(2.,1.)

输出结果为7.0。

Tangent求导示例

 import tangent
 def fun(x, y):
  z=x**2+3*x*y+y**2
  return z

默认情况下，Tangent求解z关于x的偏导数。

dy_dx = tangent.grad(fun)

输出偏导数值为8，对应公式z' = 2 * x。在此情况下，无论传入x为何值，结果均保持一致。

df(4, y=1)

可以通过使用wrt参数指定求解关于特定参数的偏导数，以下示例展示如何求z关于y的偏导数。

df = tangent.grad(funs, wrt=([1]))

输出值为10，对应公式z' = 2 * y。同样地，无论传入x为何值，结果均保持一致。

df(x=0, y=5)

Tangent源到源转换特性解析

上述内容尚未充分体现Tangent的核心特性：源到源（source-to-source）转换能力。

在生成导函数时，若加入verbose=1参数，即可观察到Tangent生成的用于计算导数的函数代码。默认情况下该值为0，因此用户通常感觉不到Tangent与其他自动微分框架的区别。

 def df(x):
   z = x**2
   return z
 df = tangent.grad(df, verbose=1)
 df(x=2)

执行上述代码后，我们看到了Tangent生成的用于求导的函数代码。

 def ddfdx(x, bz=1.0):
  z = x ** 2
  assert tangent.shapes_match(z, bz), 'Shape mismatch between return value (%s) and seed derivative (%s)' % (numpy.shape(z), numpy.shape(bz))
 # Grad of: z = x ** 2
 _bx = 2 * x * bz
 bx = _bx
 return bx

ddfdx函数即为生成的导函数，从中可以看出表达式z的导函数z' = 2 * x。Tangent正是通过执行该生成函数来获得导数结果。

各库成熟度与适用场景总结

Sympy中的自动微分仅是其强大功能的一部分；Autograd从命名即可看出，它是专为自动微分设计的库；而Tangent作为2017年底由Google发布的较新颖的自动微分方法，自17年发布v0.1.8版本后，版本更新并不频繁，源码维护活跃度也相对较低。相比之下，Sympy和Autograd更为成熟，Tangent仍有待进一步观察。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持本站。