theory_prompt
陶恒franz
2022-11-13
Prompt方法在Template设计、Answer构建以及预训练模型选择都需要人工参与 prompt Prompt流程 主题 URL prompt construction answer construction 子主题 answer prediction answer-label mapping https://github.com/kiedtl/awesome-prompts https://github.com/thunlp/OpenPrompt#use-openprompt Prompt介绍 搜索引擎 NLP领域的定义 Prompt is a cue given to the pre-trained language model to allow it better understand human's questions Prompt设计要点 Prompt Template Engineering Answer Engineering Pre-trained Model Choice Expanding the Paradigm Prompt-based Training Strategies paper AutoPrompt 《AutoPrompt: Eliciting knowledge from languagemodels with automatically generated prompts (Shin+, 2020)》 核心思想 通过梯度找出的trigger word和mask拼接在文本中，形成一个语义上不通顺、但是对 模型而言却具有合理提示的样本，并且将label预测转换为masked token的预测（即 完形填空问题） P-tuning 核心思想 只需要知道模版由哪些token组成，该插入到哪里，插入后能不能完成我们的下游任 务，输出的候选空间是什么 不管是人工构建Template还是AutoPrompt方法，token都来自字典，有一个问题： Template真的需要是“自然语言”吗？ The Limitation of PromptTuning& P-tuning 缺少通用性 P-tuning匹敌fine-tuning要求 – 10B左右或更高的参数量 – 特殊的初始化技巧（label initialization） – LMadaptation 如何惠及1亿～10亿中小规模的模型？ 缺少任务通用性 简单任务：GLUE& SuperGLUE – P-tuning表现良好 困难任务：需要知识和长文本理解 – 序列标注：命名实体识别，阅读理解…… 更现实的问题：无含义标签 – 不是所有任务的标签都有语义 – 序列标注中难以利用语义标签 P-tuning V2 《P-Tuning v2:Prompt Tuning Can Be Comparable to Fine-tuningUniversally Across Scales and Tasks》 The Four Paradigms for NLP 一文跟进Prompt进展！综述+15篇最新论文逐一梳理 https://mp.weixin.qq.com/s/vyKCCjAEbuOxpKOd6zhz3w https://thunlp.github.io/OpenPrompt/ prompt example 不同任务的输入、模板和 answer 示例 手动设计的常用 prompt prompt理论 怎样描述样本模式 基于统计的表示方法 将聚簇的结果分为纯簇、多数类簇、杂簇、低覆盖簇、未覆盖簇和散点6种情况 基于符号知识的表示方法 凡本身能表示一种概念者，叫做实词；凡本身不能表示一种概念，但作为语言结构的 工具者，叫做虚词。实词的分类，当以概念的种类为根据；虚词的分类，当以其在句 中的职务为根据 prompot后续工作计划 构建多任务Prompt统一模型，主要包括：1）构建多任务数据集；2）设计Prompt； 3）基于预训练LM模型多任务预训练；本文采取T5作为初始化的LM； 评估未见任务的zeroshot性能，主要工作是：基于【Prompt遗传搜索算法】，针对未 见的新任务构建自适应的Prompt。