自然语言处理
利用主题建模挖掘在线评论的NLP方法（附Python代码）
电子商务彻底改变了我们的购物方式。你攒了几个月的钱买电话？这可能只是一次搜索和一些点击然后退出，项目就能在几天（有时甚至是第二天！）内完成交付。对于在线零售商来说，没有与库存管理或空间管理相关的约束。...
使用条件随机场模型进行文本分类的完整教程（Python）
介绍世界上产生的文本数据量惊人。谷歌每秒处理超过40000次搜索！根据福布斯的报道，我们每分钟发送1600万条短信，在Facebook上发布51000条评论。对于一个门外汉来说，甚至难以掌握数据的绝对...
机器学习、NLP、Python、数学。。最全的AI学习资源都在这了！
本文主要从机器学习、NLP、Python和数学四部分的内容介绍给大家，并且每个部分细分了不同的主题，每个主题有5~6个学习资源，力求从不同角度与不同的呈现形式（如有教程、幻灯片、博客文章等）使内容具有...
基于主动学习算法减少人工标注量，提升文本标注效率的方案探究
项目地址:https://github.com/crownpku/Chinese-Annotator自然语言处理的大部分任务是监督学习问题。序列标注问题如中文分词、命名实体识别，分类问题如关系识别、情...
文本相似度计算
步骤1、分词、去停用词2、词袋模型向量化文本3、TF-IDF模型向量化文本4、LSI模型向量化文本5、计算相似度理论知识两篇中文文本，如何计算相似度？相似度是数学上的概念，自然语言肯定无法完成，所有要...
自然语言处理：词频-逆文本词频（TF-IDF）干货分享
前言在文本挖掘预处理中，在向量化后一般都伴随着TF-IDF的处理。什么是TF-IDF，为什么一般需要加这一步预处理呢？这里就对TF-IDF的原理做一个总结。文本向量化存在的不足在将文本分词并向量化后，...
在NLP中深度学习模型何时需要树形结构？
前段时间阅读了JiweiLi等人在EMNLP2015上发表的论文《WhenAreTreeStructuresNecessaryforDeepLearningofRepresentations?》。该文...
自然语言处理之分词原理
前言在做文本挖掘时，首先要做的预处理就是分词。英文单词天然有空格隔开容易按照空格分词，但有时也需要把多个单词做为一个分词，比如一些名词如“NewYork”，需要做为一个词看待。而中文由于没有空格，分词...
自然语言处理中N-Gram模型介绍
什么是n-gram模型N-Gram是一种基于统计语言模型的算法。它的基本思想是将文本里面的内容按照字节进行大小为N的滑动窗口操作，形成了长度是N的字节片段序列。每一个字节片段称为gram，对所有gra...
如何成为一名自然语言处理工程师
自然语言处理和大部分的机器学习或者人工智能领域的技术一样，是一个涉及到多个技能、技术和领域的综合体。所以自然语言处理工程师会有各种各样的背景，大部分都是在工作中自学或者是跟着项目一起学习的，这其中也不...
自然语言处理中的自注意力机制！
近年来，注意力（Attention）机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中，随着注意力机制的深入研究，各式各样的attention被研究者们提出。在2017年6月google机...
自然语言处理中“中文分词”技术中“自动切分”的几点理解
本文主要针对其中最常用的一套《北大规范》为依据，来讲解中文词汇自动切分的几个重点流程。概述在人工智能中，自然语言处理是一门极其深奥的领域，自然语言处理在广义上分为两部分，第一部分自然语言理解，是指让电...
加入极智能
与百万AI开发者一起成长
与百万AI开发者一起成长
