IT 面试题库

如何用 Python/NumPy 手写 Scaled Dot-Product Attention 的前向计算,并正确处理变长序列的 padding 与因果掩码?

中级编程题算法工程师机器学习工程师自然语言处理工程师NLP后端开发工程师AttentionNumPy掩码Transformer实现

题目

考察点:把注意力公式落地的工程能力,以及变长序列下 padding 掩码(含因果掩码)对 softmax 的影响。

参考答案

内容深度:详细 · 含示例/代码 · 来源:外部链接 · 未复核 · 45 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

要点:

import numpy as np

def scaled_dot_product_attention(Q, K, V, mask=None):
    d_k = Q.shape[-1]
    scores = Q @ K.transpose(-1, -2) / np.sqrt(d_k)   # (..., Lq, Lk)
    if mask is not None:                              # mask 中需要屏蔽处为 0
        scores = np.where(mask[..., None, :] == 0, -1e9, scores)
    scores -= scores.max(axis=-1, keepdims=True)       # 数值稳定
    w = np.exp(scores); w /= w.sum(axis=-1, keepdims=True)
    return w @ V

L = 4
causal = np.tril(np.ones((L, L)))                      # 下三角可见(因果掩码)
print(scaled_dot_product_attention(np.random.randn(1, L, 8),
      np.random.randn(1, L, 8), np.random.randn(1, L, 8), mask=causal).shape)
练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题