首页
问答
广场
发现
写文章
提问题
分享链接
首页
问答
广场
发现
话题
分词
0
人关注
关注话题
已关注
分词是将一个汉字序列切分成一个一个单独的词,是文本处理的基础。经过分词,以及应用某种表示方法,就可以将文本表示成数字向量,便于计算机理解和处理。
文章
问答
怎样实现基于Trie树和字典的分词功能
前言目前做分词比较流行的是用深度学习来做,比如用循环神经网络和条件随机场,也有直接用条件随机场或隐马尔科夫模型的。前面也实现过上面几种,效果挺不错,基于隐马尔科夫模型的差一点,条件随机场的效果较好,而...
徐大白
话题:
分词
107 次阅读 / 2 个赞
自然语言处理之分词原理
前言在做文本挖掘时,首先要做的预处理就是分词。英文单词天然有空格隔开容易按照空格分词,但有时也需要把多个单词做为一个分词,比如一些名词如“NewYork”,需要做为一个词看待。而中文由于没有空格,分词...
Another One
话题:
自然语言处理
分词
80 次阅读
自然语言处理中“中文分词”技术中“自动切分”的几点理解
本文主要针对其中最常用的一套《北大规范》为依据,来讲解中文词汇自动切分的几个重点流程。概述在人工智能中,自然语言处理是一门极其深奥的领域,自然语言处理在广义上分为两部分,第一部分自然语言理解,是指让电...
Another One
话题:
自然语言处理
分词
123 次阅读 / 1 个赞
文本挖掘的分词原理
前言在做文本挖掘的时候,首先要做的预处理就是分词。英文单词天然有空格隔开容易按照空格分词,但是也有时候需要把多个单词做为一个分词,比如一些名词如“NewYork”,需要做为一个词看待。而中文由于没有空...
野蔷薇
话题:
分词
文本数据挖掘
147 次阅读 / 2 个赞
python jieba分词模块的基本用法
“结巴”中文分词:做最好的Python中文分词组件。jieba(结巴)是一个强大的分词库,完美支持中文分词。之前写毕业论文的时候用到过,现在学习NLP做一个小结,分享给大家。安装安装简单:pipins...
Mr::Z::
话题:
分词
676 次阅读 / 3 个赞
关注者
活跃用户
父话题
自然语言处理
登录极智能,让智能连接未来
登录
忘记密码
快速登录:
没有账号?
注册
加入极智能,让智能连接未来
发送验证码
注册
快速登录:
已有账号?
登录