bin-soo / nlp-training

NLP-training

下面列出一些自然语言处理领域常见任务，并按照任务类型分成五大类：

词法分析：对自然语言进行词汇层面的分析，是NLP基础性工作

• 分词：对没有明显边界的文本进行切分，得到词序列
• 词性标注：确定文本中每个词的词性。词性包括动词、名词、代词等
• 新词发现：找出文本中具有新形势、新意义或是新用法的词
• 形态分析：分析单词的形态组成，包括词干、词根、词缀等
• 拼写校正：找出拼写错误的词并进行纠正

句子分析：对自然语言进行句子层面的分析，包括句法分析和其他句子级别的分析任务

• 组块分析：标出句子中的短语块，例如名词短语，动词短语等
• 成分句法分析：分析句子的成分，给出一棵树由终结符和非终结符构成的句法树
• 依存句法分析：分析句子中词与词之间的依存关系，给一棵由词语依存关系构成的依存句法树
• 语种识别：给定一段文本，确定该文本属于哪个语种
• 句子边界检测：给没有明显句子边界的文本加边界

语义分析：对给定文本进行分析和理解，形成能够表达语义的形式化表示或分布式表示

• 词义消歧：对有歧义的词，确定其准确的词义
• 语义角色标注：标注句子中的语义角色类标，语义角色，语义角色包括施事、受事、影响等
• 框架语义分析：根据框架语义学的观点，对句子进行语义分析
• 词汇/句子/段落的向量化表示：研究词汇、句子、段落的向量化方法，向量的性质和应用

信息抽取：从无结构文本中抽取结构化的信息

• 命名实体识别：从文本中识别出命名实体
• 实体消歧：确定实体指代对象
• 术语抽取：从文本中确定术语
• 关系抽取：确定文本中两个实体之间的关系类型
• 事件抽取：从无结构的文本中抽取结构化事件
• 情感分析：对文本的主观性情绪进行提取
• 意图识别：对用户给定的对话内容进行分析，识别用户意图

顶层任务：直接面向普通用户，提供自然语言处理产品服务的系统级任务，会用到多个层面的自然语言处理技术

• 机器翻译：通过计算机自动化的把一种语言翻译成另外一种语言
• 文本摘要：对较长文本进行内容梗概的提取
• 问答系统：针对用户提出的问题，系统给出相应的答案
• 对话系统：能够与用户进行聊天对话，从对话中捕获用户的意图，并分析执行
• 阅读理解：机器阅读完一篇文章后，给定一些文章相关问题，机器能够回答
• 自动文章分类：给定一篇文章，对文章的质量进行打分或分类