Prompting 微调四代:Prefix、Prompt、P-tuning、v2 到底差在哪
【大模型面试通关手册 · 第 25 篇】
本篇覆盖:离散 prompt 为什么脆弱、连续 prompt 的共同原理、Prefix-Tuning 的每层插入与重参数化、Prompt Tuning 的"只在输入层"与规模门槛、P-tuning 的 prompt encoder 与 NLU 适配、P-tuning v2 的 deep prompt 与抛弃 verbalizer、四代对照表、三组高频辨析、初始化为什么是成败关键(Prompting 篇 24 题)
一、面试现场:24 道题,其实是一条演进链
素材里这一组题量最大,但结构很清楚:
“为什么需要提示学习?什么是提示学习?有什么优点?”(一、二、三)
“有哪些方法,介绍一下它们之间的区别?”(四)
然后四代各四问:为什么需要 → 思路是什么 → 优点 → 缺点
看起来是 4×4 的矩阵,背下来很费劲。但面试官真正的追问只有一个:
“这四个方法,到底是谁在改谁?”
如果按"每代加了什么、加在哪、为什么上一代不够"来讲,24 道题自动串成一条线;如果按"四个方法各自的特点"并列背,一定会答成四段互不相干的