算法小张 天涯网络 2年 社区认证作者 ・广东 Lv7 码神

发私信
总访问量 12.7万 原创 1 排名 7 粉丝 1585 关注 122
机器学习 / 深度学习，论文搬运工
IP 属地：江苏 南京 加入天涯网络时间：2024-08-13
去 RSS 订阅
最近 文章1 专栏 代码1 资源2 收藏7 关注
Transformer 注意力机制图解与 PyTorch 手写实现
一、注意力在解决什么问题 RNN 时代，序列靠隐状态传递信息，长距离依赖会衰减。注意力机制让每个位置直接看到所有位置，一步到位。 二、QKV 是什么 把注意力类比数据库查询： Query（查询）：当前位置想找什么Key（键）：每个位置能提供的"标签"Value（值）：每个位置实际携带的信息 流程：用...
原创 博文更新于 2026-08-07 23:12 4.1万 阅读 1203 点赞 0 评论 492 收藏