資料內(nèi)容：
一、為什么需要 提示學(xué)習(xí)（Prompting）？
在面對特定的下游任務(wù)時，如果進(jìn)行Full FineTuning（即對預(yù)訓(xùn)練模型中的所有參數(shù)都進(jìn)行微調(diào)），太過低
效；而如果采用固定預(yù)訓(xùn)練模型的某些層，只微調(diào)接近下游任務(wù)的那幾層參數(shù)，又難以達(dá)到較好的效果。
二、什么是 提示學(xué)習(xí)（Prompting）？
Prompt提供上下文和任務(wù)相關(guān)信息，以幫助模型更好地理解要求，并生成正確的輸出。
實例一：問答任務(wù)中，prompt可能包含問題或話題的描述，以幫助模型生成正確的答案
實例二：在情感分析任務(wù)中，讓模型做情感分類任務(wù)的做法通常是在句子前面加入前綴“該句子的情感是”即可，
通過這種方式 將情感分類任務(wù)轉(zhuǎn)換為一個“填空”任務(wù)，在訓(xùn)練過程中，BERT可以學(xué)習(xí)到這個前綴與句子情感之
間的關(guān)聯(lián)。例如，它可以學(xué)習(xí)到“該句子的情感是積極的”和“該句子的情感是消極的”之間的差異。
三、提示學(xué)習(xí)（Prompting） 有什么優(yōu)點？
提示學(xué)習(xí)（Prompting）旨在通過最小化微調(diào)參數(shù)的數(shù)量和計算復(fù)雜度，來提高預(yù)訓(xùn)練模型在新任務(wù)上的性能，
從而緩解大型預(yù)訓(xùn)練模型的訓(xùn)練成本。這樣一來，即使計算資源受限，也可以利用預(yù)訓(xùn)練模型的知識來迅速適應(yīng)
新任務(wù)，實現(xiàn)高效的遷移學(xué)習(xí)。
四、提示學(xué)習(xí)（Prompting）有哪些方法，能不能稍微介紹一下它們間？
4.1 前綴微調(diào)（Prefix-tining）篇
4.1.1 為什么需要 前綴微調(diào)（Prefix-tining）？
1. 人工設(shè)計離散的 Prompts 缺點：
a. Prompts 的變化對模型最終的性能特別敏感，加一個詞、少一個詞或者變動位置都會造成比較大的
變化
2. 自動化搜索離散的 Prompts 缺點：
a. 成本也比較高
3. 離散化的token搜索出來的結(jié)果可能并不是最優(yōu)的；
4. 傳統(tǒng)的微調(diào)范式利用預(yù)訓(xùn)練模型去對不同的下游任務(wù)進(jìn)行微調(diào)，對每個任務(wù)都要保存一份微調(diào)后的模型權(quán)
重，一方面微調(diào)整個模型耗時長；另一方面也會占很多存儲空間
