business_NLP业务总览
陶恒franz
2022-11-13
NLP业务总览 机器学习与优化理论基础 凸优化基础 判定凸集，以及凸函数 线性规划与二次规划 拉格朗日与对偶函数 Strong Duality与KKT条件 Non-convex优化问题 NP-Hard问题与松弛化处理 Discrete Optimization GD, SGD, Adam, Adagrad L-BFGS, ADMM 机器学习基础 生成模型与判别模型 最大似然与最大后验估计 模型的过拟合 各类不同的正则(L1, L2, L0) 各类启发式算法（遗传算法、贝叶斯优化等） 随机森林与XGBoost SVM与Dual SVM Kernel Trick与设计核函数 work 利用WMD计算文本之间的相似度 利用Sparse QP设计资产组合策略 利用随机规划(SP)来解决库存优化 利用线性规划解决运输问题 利用松弛化解决整数问题 文本之间的相似度 语言模型与序列标注 文本处理技术与语言模型 最大匹配算法与Jieba技术剖析 SkipGram与负采样 CBOW, Glove, MF Noisy Channel Model N-Gram模型与各类平滑技术 NNLM 序列模型与条件随机场 EM算法与GMM 有向图与无向图 条件独立、D-separation HMM模型、Viterbi以及参数估计 MEMM与Label Bias问题 Log-Linear模型与逻辑回归 Linear-CRF与参数估计 work 拼写纠错系统的搭建 智能问答系统的搭建 Linear-CRF的从零实现 基于CRF, LSTM-CRF的NER识别 预训练模型 递归神经网络与注意力机制 分布式表示的优点 RNN与梯度问题 LSTM, GRU与BI-LSTM Seq2Seq与注意力机制 Beam Search BI-LSTM-CRF模型 ELMo与Transformer 上下文有关词向量的学习 NLU中的层次表示 Deep BI-LSTM与ELMo Bottleneck问题与长依赖问题 Self-Attention,Multi-head Attention Transformer与Transformer-XL BERT与ALBERT Autoencoder与DAE MLM语言模型 BERT模型 BERT-BiLSTM-CRF ALBERT模型 GPT2模型 XLNet与其他预训练模型 AR语言模型 Permutation语言模型 Two-Stream Attention XLNet模型 Roberta Q-Bert，VI-Bert 其他模型（TBD) work 基于Seq2Seq+注意力机制的机器翻译系统 基于Transformer的机器翻译系 基于BERT-BiLSTM-CRF的NER识别 XLNet的从零实现 transformer 信息抽取与图神经网络 信息抽取与知识图谱 NE的抽取与识别 基于规则的关系抽取技术 基于无监督、半监督的关系抽取 实体统一、实体消歧、指代消解 知识图谱、实体与关系 知识图谱中的推理 知识浅入与图神经网络 TransE，NTN，Node2Vec模型 SDNE模型 带属性的网络嵌入 Graph Neural Network CNN与Graph CNN Dynamic Graph的处理 BERT与KG的结合 work 基于非结构化数据搭建知识图谱 基于知识图谱的大数据风控 基于医疗知识图谱的诊断 基于GNN的Combinatorial优化 基于信息抽取与DL的NL2SQL 对话系统与文本摘要 对话系统 智能问答与对话系统 基于检索的对话系统 基于生成式的对话管理 意图识别与有限状态机 基于任务式的对话系统 基于增强学习的对话系统 多轮对话的挑战 文本摘要 Abstractive vs Extractive 基于模板的文本摘要生成 基于Seq2Seq的文本摘要生成 ROUGE与Blue Hierarhical Attention Pointer-Generator Network Beam Search的改造 Levenshtein Transformer MASS work 基于任务导向的订票管理 基于Pointer-Generation Network的文本生成 基于增强学习的对话系统剖析 模型压缩与其他前沿主题 模型压缩 嵌入式设备中的模型压缩 基于Sparsity的模型压缩 基于矩阵分解的模型压缩 基于蒸馏方法的模型压缩 BERT、Transformer的压缩 贝叶斯模型 MLE、MAP、Bayesian模型区别 Dropout与Bayesian Approximation PGM与主题模型 吉布斯采样、变分法 SGDL与SVI 分布式吉布斯采样 可视化与低资源学习 深度学习中的可视化技术 RNN、LSTM的可视化 Layer-wise Relevance Propagation Cross-Domain语言学习 Transfer Learning One-shot Learning work 利用Laywer-wise RP可视化端到端的机器翻译系统 基于吉布斯采样的N-Gram LDA模型实现 基于Bayesian-LSTM的命名实体识别 其他分类 https://mp.weixin.qq.com/s/uu0TvrJXmEIPtRItx4Fnwg 数据集 https://mp.weixin.qq.com/s/77RK6mKtpy9B_EEz3aUqTg 智源指数（CUGE,Chinese Language Understanding and Generation Evaluation） https://mp.weixin.qq.com/s/bn78MQ2SYNCJz5QjrQXMCg 竞赛中的文本相似性 token-pair HB-TB：头实体的开始token 与 尾实体的开始token 进行连接。 HB-TE：头实体的开始token 与 尾实体的结束token 进行连接。 HE-TE：头实体的结束token 与 尾实体的结束token 进行连接。