企业官网建设流程全解析

【AIGC】大模型面试高频考点-LLM篇

• • （1）介绍LoRA的原理？
  • （2）介绍LayerNorm？
  • （3）介绍RMSNorm？
  • （4）RMSNorm比LayerNorm好?
  • （5）Encoder-only、Encoder-Decoder、Decoder-only 的区别？
  • （6）为什么现在的LLM都是Decoder only的架构？
  • （7）介绍Transformer？
  • （8）在BERT中，token分3种情况做mask，分别的作用是什么？
  • （9）BERT训练时使用的学习率 warm-up 策略是怎样的？为什么要这么做？
  • （10）BERT预训练任务？
  • （11）BERT预训练过程的损失函数？
  • （12）BERT比ELMo效果好？ELMo和BERT的区别？
  • （13）RNN与GNN之间有哪些区别，以及它们各自适用于哪些场景？