admin 管理员组文章数量: 1184232
这是小米大模型组的一个面试，从这些题目可以看到，这个组很重视候选人的基础，全程都是基本功的拷问。
这篇笔记我们就来看看，面试中把这位候选人拷打麻了的一个 Transformer 面试连环炮，到底应该如何作答？
01
面试题解析
第一轮拷问：transformer 的结构？
这个相信大部分同学都能回答上，Transformer 是由编码端和解码端组成，而编码端和解码端又由多个网络结构相同的 Block 堆叠组成。
每个 Block 由多头注意力层和前馈神经网络层组成。解码端跟编码部分类似，不同的是注意力机制采用的是 masked self-attention。
第二轮拷问：Transformer 输入向量的维度？
问这个问题，面试官其实主要是想考察你对 Transformer 的网络结构参数了不了解。
这里要答出两点：
-
输入 token 序列的维度：【batch, seqlen】
-
经过 embedding 之后的维度：【batch，seqlen，D】
其中 seqlen 是序列长度，D 是隐藏层的维度。后面多头注意力机制的变换，都是在 tensor 之间加权组合，不会改变这个输入的 shape。
举个例子：假如输入的原始句子是"我爱机器学习"，我们按最简单的基于字的分词，这个样本的单词长度是 6，也就是 ‘我’ ‘爱’ ‘机’ ‘器’ ‘学’ ‘习’，这六个字。
经过 embedding 之后，每个词的 embedding 向量是 4096。那"我爱机器学习"这个句子 embedding 之后的维度就是【4096 】，如果是批量输入，那么 embedding 后的维度就是【batch, 4, 4096】
第三轮拷问：为什么在注意力机制这里要除以根号d？
这是一个老牌经典面试题了，对于这种题目，要注意的点就是，不要背八股答案，要用自己的话全程讲述出来。
我们对照公式来看：
这里主要有两点原因：首先，softmax 是一个 S 形的非线性函数，当输入很大时，输出趋近于 1，梯度会趋近于 0。
不过这只是直观上的，那为什么要除以根号 d，而不是其他数呢？
所以更深层的原因是，选择根号 d，可以让输入 softmax 的分布，也就是 Q*K^T 更加趋近一个标准的正态分布，也就是均值为 0，方差为 1 的正态分布。
方差为 1，会使得训练过程，变的更加稳定，每一层的激活，不会产生较大的数据漂移。
到这里，我们的回答又更进一步了。不过我们还可以再继续往前延伸，跟其他面试候选人拉开差距。
其实 Transformer 在实际实现中，在获取输入词向量之后，也需要对 embedding 矩阵乘以根号 d。
原理是类似的，embedding 矩阵的初始化方式是 xavier，方差是 1/根号 d，因此乘以根号 d，可以让 embedding 矩阵的方差是 1，从而加速模型的收敛。
第四轮拷问：layernorm 是对哪一个维度进行的？
这个问题面试官想看看，你对 layernorm 的公式了不了解。
我们先给出公式：
前面说过，layernorm 的输入维度是 [batch，seqlen，D]，它是在一句话的序列内做归一化。
这跟 batch norm 是有区别的，batch norm 是在多句话之间做归一化。
其次 LayerNorm 是每个样本自己算均值和方差，不需要存全局的均值和方差，不管样本长还是短，均值和方差都是在每个样本内计算。
所以 layernorm 的归一化的维度是第二个维度 seqlen，也就是对每个单词 embedding 进行标准化。所以 layernorm 层里面的两个可学习参数的维度也是 D。
END
AI大模型学习福利
作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
大模型&AI产品经理如何学习
求大家的点赞和收藏，我花2万买的大模型学习资料免费共享给你们，来看看有哪些东西。
1.学习路线图
第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；
第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；
第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；
第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；
第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；
第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
2.视频教程
网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己整理的大模型视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。
（都打包成一块的了，不能一一展开，总共300多集）
因篇幅有限，仅展示部分资料，需要点击下方图片前往获取
3.技术文档和电子书
这里主要整理了大模型相关PDF书籍、行业报告、文档，有几百本，都是目前行业最新的。
4.LLM面试题和面经合集
这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。
👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；
• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；
• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。
1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集
👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
版权声明：本文标题：【面试实录】小米大模型二面：被问得措手不及，如何应对？ 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/b/1766457143a3459916.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论