2、 NLP理解自然语言目前有两种处理方式: 1.基于规则来理解自然语言,即通过定一些系列的规则来设计一个程序,然后通过这个程序来解决自然语言问题。 输入是规则,输出是程序; 2.基于统计机器学习来理解自然语言,即用大量的数据通过机器学习算法来训练一个模型,然后通过这个模型来解决自然语言问题。
4、 在自然语言处理任务中,句子在分词之后通常使用词袋(Bag of Words)或者词嵌入(Word Embedding)这两种数字化表示。 词袋模型是一种常用的文本表示方法,它将文本中的词语转化为词频向量,每一维表示该词在文本中出现的次数。
3、 解决方法有两种, 一是实现设定一个固定的字典,在训练LM过程中,所有不在字典中的单词统一转换成 token <UNK>, 另一种是将LM中出现频率小于n次的单词当作 <UNK>,剩下的作为字典。 根据字典对测试数据做相同作,就可以避免OOV的问题。
1、 NLP 可以使用传统的机器学习方法来处理,也可以使用深度学习的方法来处理。 2 种不同的途径也对应着不同的处理步骤。
上一篇:自然语言处理大致流程
下一篇:自然语言处理真的太难了