分词
分词是将一个汉字序列切分成一个一个单独的词，是文本处理的基础。经过分词，以及应用某种表示方法，就可以将文本表示成数字向量，便于计算机理解和处理。
怎样实现基于Trie树和字典的分词功能
前言目前做分词比较流行的是用深度学习来做，比如用循环神经网络和条件随机场，也有直接用条件随机场或隐马尔科夫模型的。前面也实现过上面几种，效果挺不错，基于隐马尔科夫模型的差一点，条件随机场的效果较好，而...
徐大白
24 次阅读
/ 1 个赞
自然语言处理之分词原理
![]()
前言在做文本挖掘时，首先要做的预处理就是分词。英文单词天然有空格隔开容易按照空格分词，但有时也需要把多个单词做为一个分词，比如一些名词如“New York”，需要做为一个词看待。而中文由于没有空格，分...
Another One
13 次阅读
自然语言处理中“中文分词”技术中“自动切分”的几点理解
![]()
本文主要针对其中最常用的一套《北大规范》为依据，来讲解中文词汇自动切分的几个重点流程。概述在人工智能中，自然语言处理是一门极其深奥的领域，自然语言处理在广义上分为两部分，第一部分自然语言理解，是指让电...
Another One
48 次阅读
/ 1 个赞
