word2vec中文语料训练

骚年`
7个月前 阅读 27 点赞 0

word2vec api

看下api:

gensim.models.word2vec.Word2Vec(sentences=None, size=100, alpha=0.025, window=5, min_count=5, max_vocab_size=None, sample=0.001, seed=1, workers=3, min_alpha=0.0001, sg=0, hs=0, negative=5, cbow_mean=1, hashfxn=<built-in function hash>, iter=5, null_word=0, trim_rule=None, sorted_vocab=1, batch_words=10000)

其中的sentences是句子列表,而每个句子又是词语的列表,即list[list]类型。 切记!!

  • size是embedding纬度,即每个词的向量纬度
  • window是窗口大小
  • min_count用来做筛选,去除总的词频小于该值的词语

2 中文语料的csv文件

采用的是csv格式的中文语料:

chnl, nid, doc分别是频道,新闻id,文本

3 实现

# -*- coding: utf-8 -*-
import pandas as pdfrom gensim.models 
import Word2Vecfrom gensim.models.word2vec 
import LineSentence
df = pd.read_csv('体育.csv')
sentences = df['doc']
line_sent = []
for s in sentences:
    line_sent.append(s.split())  #句子组成list
model = Word2Vec(line_sent, 
                 size=300, 
                 window=5
                 min_count=1, 
                 workers=2)
model.save('./word2vec.model')
for i in model.vocab.keys(): #vocab是dict
    print type(i)    
    print i#model = Word2Vec.load('word2vec_model')
print model.wv['球员']

如果语料文件不是csv,而直接是训练的txt文件,可以使用LineSentence直接把文件读成正

确的格式

#model = Word2Vec(LineSentence('体育.txt'), size=300, window=5,min_count=1,

workers=2)

4 注意编码

训练用的编码格式要与使用model时的编码格式一致。 

例如,如果文件是utf-8的文件,读取时没有转成unicode,则model使用时也要使用utf-8格式,例如model.wv[‘球队’]; 训练是用unicode,则使用model.wv[u’球队’]

| 0
登录后可评论,马上登录吧~
评论 ( 0 )

还没有人评论...