拼写的后传播 - 如karpathy所解释

欢迎各位小伙伴来到golang学习网，相聚于此都是缘哈哈哈！今天我给大家带来《拼写的后传播 - 如karpathy所解释》，这篇文章主要讲到等等知识，如果你对文章相关的知识非常感兴趣或者正在自学，都可以关注我，我会持续更新相关文章！当然，有什么建议也欢迎在评论留言提出！一起学习！

嗨！我是hexmos的创始人shrijith venkatrama。目前，我正在构建liveapi，该工具使您的代码中生成api文档非常容易。 添加标签以提高图形可读性

将标签参数添加到值类：

class value:
  def __init__(self, data, _children=(), _op='', label=''):
    self.data = data
    self._prev = set(_children)
    self._op = _op
    self.label = label

  def __repr__(self):
    return f"value(data={self.data})"

  def __add__(self, other):
    return value(self.data + other.data, (self, other), '+')

  def __mul__(self, other):
    return value(self.data * other.data, (self, other), '-')

a = value(2.0, label='a')
b = value(-3.0, label='b')
c = value(10, label='c')
e = a * b; e.label = 'e'
d = e + c; d.label = 'd'
print(d._prev)
print(d._op)
print("---")
print(e._prev)
print(e._op)

更新draw_dot将标签包括在图中

最初，我们的节点表达式为：

dot.node(name=uid, label="{ data %.4f }" % (n.data,), shape='record')

>替换为：

dot.node(name=uid, label="{ %s | data %.4f }" % (n.label, n.data), shape='record')

现在draw_dot（d）返回：

带有标签的重新渲染图

让我们在表达式中添加一些节点-f和l

44543468844

生成图：

draw_dot(l)

我们上面构建的此图是布置节点的 forward-pass

。

我们要计算的 >我们想知道输入（权重-a，b，c，d，e，f）如何影响输出（损耗函数l）。因此 - 我们想找到：dl/dl，dl/df，dl/de，dl/dd，dl/dc，dl/db，dl/da。

添加毕业参数以适应反射

class value:
  def __init__(self, data, _children=(), _op='', label=''):
    self.data = data
    self._prev = set(_children)
    self._op = _op
    self.label = label
    self.grad = 0.0 # 0 means no impact on output to start with

更新节点图形信息

dot.node(name=uid, label="{ %s | data %.4f | grad %.4f }" % (n.label, n.data, n.grad), shape='record')

手动执行给定图的后传播

节点l

什么是dl/dl - 也就是说，如果我们少量更改l，它将如何影响输出l？答案显然是-1。

是，

l.grad = 1

表达

44543468844

节点d

l = d * f

by known rules:

dl/dd = f

by derivation:

dl/dd = 

(f(x+h) - f(x))/h = 

(d*f + h*f - d*f)/h = 

h*f/h =

f

that is, dl/dd = f = -2.0

>所以，我们做

d.grad = -2.0

节点f

通过对称，我们得到dl/df = d = 4.0
是，

f.grad = 4.0

新的更新图是这样的：

>

如何对衍生物进行数值验证

def verify_dl_by_df():
  h = 0.001

  a = value(2.0, label='a')
  b = value(-3.0, label='b')
  c = value(10, label='c')
  e = a * b; e.label = 'e'
  d = e + c; d.label = 'd'
  f = value(-2.0, label='f')
  l = d * f; l.label = 'l'
  l1 = l.data

  a = value(2.0, label='a')
  b = value(-3.0, label='b')
  c = value(10, label='c')
  e = a * b; e.label = 'e'
  d = e + c; d.label = 'd'
  f = value(-2.0 + h, label='f') # bumb f a little bit
  l = d * f; l.label = 'l'
  l2 = l.data

  print((l2 - l1)/h)

verify_dl_by_df() # prints out 3.9999 ~ 4

挑战 - 我们如何计算dl/dc？

我们知道dl/dd = -2.0-所以我们知道l如何受d。>>的影响

的问题是，c将如何影响l。

首先，我们可以计算“局部衍生物”，或者弄清楚c首先影响d。

。

是，

> dd/dc =？

我们知道：

d = c e

因此，一旦我们通过c进行区分，我们就会得到：dd/dc = 1

同样，dd/de = 1。

现在的问题是，如何将dd/dc和dl/dd组合在一起？

我们需要一些称为链条规则的东西：

因此，应用链条规则，我们得到：

dl/dc = dl/dd * dd/dc
dl/dc = -2.0 * 1.0 = -2.0

同样，dl/de = -2.0

>

>让我们在python中设置值，然后重新绘制图表：

>

18574658665

找出dl/da和dl/db

我们知道：

dl/de = -2.0

我们想知道：

dl/da = dl/de * de/da

we know that:

e = a * b
de/da = b
de/da = b = -3.0

we can also find:

e = a * b
de/db = a
de/db = a = 2.0

>所以，现在要获得我们需要的东西：

dl/da = dl/de * de/da = -2.0 * -3.0 = 6.0
dl/db = dl/de * de/db = -2.0 * 2.0 = -4.0

我们在python中设置了值，然后redraw以获取完整图：>

a.grad = 6.0
b.grad = -4.0

参考

今天带大家了解了的相关知识，希望对你有所帮助；关于文章的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~