推荐系统技术之文本相似性计算（三）

然后把html标签干掉，一堆正则就行了，剩下的基本上就是正文了，另外，技术站的东西还特殊处理了一下，把中的内容干掉了，一堆代码对我来说没什么用。

一共有11628篇文章，其中汽车类大约6000，技术类大约6000，好了，数据也基本上清洗好了。4. 训练数据 都觉得这一节才是重点，其实有jieba分词和gensim以后，代码非常简单，不超过50行，我们来一步一步玩。

4.1 分词--建立词典--准备数字语料

from gensim import corpora,modelssimilaritiesutils
import jieba
jieba.posseg as pseg
jieba.load_userdict( "user_dic.txt" ) #载入自定义的词典，主要有一些计算机词汇和汽车型号的词汇
#定义原始语料集合
train_set=[]
f=open("./data/all.txt")
lines=readlines()
for line in lines:
content = (linelower())split"t")[2] + 1]
#切词，etl函数用于去掉无用的符号，cut_all表示最大切分
word_list = filter(lambda x: len)>0mapetlcutcontentcut_all=False)))
appendword_listclose()

得到的tain_set就是原始语料了，然后对这些语料导入到词典中，建立一个词典。#生成字典
dictionary = corporaDictionarytrain_set)
#去除极低频的杂质词
dictionaryfilter_extremesno_below=no_abovekeep_nNone#将词典保存下来，方便后续使用
saveoutput + "all.dic")

将语料导入词典后，每个词实际上就已经被编号成1,2,3....这种编号了，这是向量化的第一步，然后把词典保存下来。然后生成数字语料corpus [doc2bowtext) text ]

这一句表示把每一条原始数据向量化成编号，这样以后，corpus这个变量是个二维数据，每一行表示一个文档的每个词的编号和词频，每一行像这样

好了，LDA部分也完了，又多了两个文件allLDA50Topic.mdl和allLDA50Topic.idx，加上前面的3个，一共5个文件了，OK，休息一下，喝杯可乐，继续下一步。5. 验证结果 好了，第四部分中不知不觉我们已经使用机器学习这么高端的东西了，那现在要验证一下这么高端的东西到底效果如何了。前面的TFIDF和LDA我们都保存了模型和向量数据，那么我们就用两篇新的文章，来看看和这篇文章最相似的文章都有哪些来验证这两个模型靠谱不靠谱吧。我随便打开一个汽车网站，选了一篇汽车的文章(宝马的评测)，再找了我之前的一篇技术的文章(讲搜索引擎的)，并且只随机截取了文章的一段进行测试。看开头这应该是一篇为全新宝马X1 Li（下文简称新X1）洗地的文章，我想很多宝马死忠、车神也已经准备移步评论........一般情况下，搜索引擎默认会认为索引是不会有太大的变化的，所以把索引分为全量索引和增量索引两部分，全量索引一般是以天.......好，文章选好了，先载入之前保存的数据文件#载入字典
Dictionaryload#载入TFIDF模型和索引
TfidfModeloutput+MatrixSimilarity#载入LDA模型和索引
ldaModel LdaModel然后把测试数据进行切词，TFIDF向量化，找相似，LDA向量化，找相似#query就是测试数据，先切词
query_bow (query))))
#使用TFIDF模型向量化
tfidfvect query_bow#然后LDA向量化，因为我们训练时的LDA是在TFIDF基础上做的，所以用itidfvect再向量化一次
ldavec ldaModeltfidfvect#TFIDF相似性
simstfidf indexTfidf#LDA相似性
simlda indexLDAldavec]

好了，结束，所有代码就这么些了。太简单了。。。。我们来看看效果。6 输出结果 我们先看TFIDF的结果