Attention 类的实现问题 about rasa_chatbot_cn

[isaacto]

看了 the illustrated transformer，明白了。

首先，Keras 的 batch_dot 只会做 2 阶的 dot，就是矩阵积，就是 array 是超过三阶时也一样，最前面的 (n-2) 个维度都被看成是 "batch"。这里 Keras 的文档写得不好。

然后，Transformer 确是要做矩阵积，而不是内积。每个 query vector 都会跟同一个 attention head 的所有其他 key vector 求积然后加起来。没看 illustrated transformer 看不明白。

所以代码没有问题，可以 close issue，打搅了。

[isaacto]

再尝试多了一点，代码在 Tensorflow 下跑没有问题，但 Keras 的 batch_dot 在 tensorflow 和 theano 下效果不一致，在 theano 下只有第一个维度当成为 batch，所以会出现一开始所说的不正常计算结果，就是不同的 attention head 之间也会做矩阵积。

[isaacto]

例子如下：

import numpy as np
import keras.backend as K

A = np.int_(
    [[[[1, 2],
       [5, 6]],
      [[3, 4],
       [7, 8]]]])
B = np.int_(
    [[[[7, 8],
       [11, 13]],
      [[5, 3],
       [4, 1]]]])
varA = K.variable(value=A)
varB = K.variable(value=B)
print("A batch. B\n%s" % K.eval(K.batch_dot(varA, varB, axes=[3, 3])))

Tensorflow 下执行结果：

Using TensorFlow backend.
A batch. B
[[[[ 23.  37.]
   [ 83. 133.]]

  [[ 27.  16.]
   [ 59.  36.]]]]

Theano 下执行结果：

Using Theano backend.
A batch. B
[[[[[ 23.  37.]
    [ 11.   6.]]

   [[ 83. 133.]
    [ 43.  26.]]]


  [[[ 53.  85.]
    [ 27.  16.]]

   [[113. 181.]
    [ 59.  36.]]]]]

[johnny12150]

現在的batch_dot在 tensorflow和 theano 下效果應該一致了
之前用tf backend以下code的output shape是(9, 8, 7, 4, 5)

from keras import backend as K
a = K.ones((9, 8, 7, 4, 2))
b = K.ones((9, 8, 7, 2, 5))
c = K.batch_dot(a, b)
print(c.shape)

現在也變成(9, 8, 7, 4, 8, 7, 5)了

[GaoQ1]

这块我还没涉及到，所以你能提交个pr吗