中文情感分析——snownlp类库 源码注释及使用

  • 时间:
  • 浏览:0

最近发现了snownlp统统库,统统类库是专门针对中文文本进行文本挖掘的。

主要功能:

  • 中文分词(Character-Based Generative Model)
  • 词性标注(TnT 3-gram 隐马)
  • 夫妻夫妻感情分析(现在训练数据主统统 买卖东西时的评价,统统对统统的统统不可能 效果都会很好,待外理)
  • 文本分类(Naive Bayes)
  • 转加在拼音(Trie树实现的最大匹配)
  • 繁体转简体(Trie树实现的最大匹配)
  • 提取文本关键词(TextRank算法)
  • 提取文本摘要(TextRank算法)
  • tf,idf
  • Tokenization(分割成得话)
  • 文本例如于(BM25)
  • 支持python3(感谢erning)

官网信息:

snownlp github:https://github.com/isnowfy/snownlp

使用及源码分析:

snownlp类库的安装:

使用snownlp进行夫妻夫妻感情分析:

# -*- coding:utf-8 -*-
from snownlp import SnowNLP

#创建snownlp对象,设置要测试的得话
s = SnowNLP(u'买来给家婆用来洗儿子的衣服的')

print("1",s.words)   
                #将得话分成单词      
                # ['买', '来', '给', '家婆', '用', '来', '洗', '儿子', '的', '衣服', '的']

s.tags         
                # 例如于:[(u'统统', u'r'), (u'东西', u'n'),
                #  (u'真心', u'd'), (u'很', u'd'),
                #  (u'赞', u'Vg')]

# 调用sentiments法律土办法获取积极夫妻夫妻感情概率 positive的概率
print("2",s.sentiments)

s.pinyin        # 将汉字得话转换为Pinyin得话
                # 例如于:[u'zhe', u'ge', u'dong', u'xi',
                #  u'zhen', u'xin', u'hen', u'zan']
#————————————————————————————————————————————————————————————————————————————————————————————————————————
s = SnowNLP(u'「繁體字」「繁體中文」的叫法在臺灣亦很常見。')

s.han           #将繁体字转换为简体字      
                # u'「繁体字」「繁体中文」的叫法
                # 在台湾亦很常见。'
#————————————————————————————————————————————————————————————————————————————————————————————————————————
text = u'''
自然语言外理是计算机科学领域与人工智能领域中的有另一个

多重要方向。
它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和法律土办法。
自然语言外理是一门融语言学、计算机科学、数学于一体的科学。
怎么能让,统统领域的研究将涉及自然语言,即统统人日常使用的语言,
统统它与语言学的研究有着密切的联系,但又有重要的区别。
自然语言外理并都会一般地研究自然语言,
而在于研制能有效地实现自然语言通信的计算机系统,
很糙是其中的软件系统。因而它是计算机科学的一部分。
'''

s = SnowNLP(text)

s.keywords(3)    # [u'语言', u'自然', u'计算机']

s.summary(3)    # [u'因而它是计算机科学的一部分',
                #  u'自然语言外理是一门融语言学、计算机科学、
                #     数学于一体的科学',
                #  u'自然语言外理是计算机科学领域与人工智能
                #     领域中的有另一个

多重要方向']
s.sentences
                #分成得话
#————————————————————————————————————————————————————————————————————————————————————————————————————————
s = SnowNLP([[u'这篇', u'文章'],
             [u'那篇', u'论文'],
             [u'统统']])
print(s.tf)     #TF意思是词频(Term Frequency)
print(s.idf)    #IDF意思是逆文本频率指数(Inverse Document Frequency)  
s.sim([u'文章'])# [0.3755070762985226, 0, 0]

实现过程:

1.首先从SnowNLP入手,看一下sentiments法律土办法,在sentiments法律土办法中,调用了sentiment下的分类法律土办法。

# -*- coding: utf-8 -*-
from __future__ import unicode_literals
 
from . import normal
from . import seg
from . import tag
from . import sentiment
from .sim import bm25
from .summary import textrank
from .summary import words_merge
 
 
class SnowNLP(object):
 
    def __init__(self, doc):
        self.doc = doc
        self.bm25 = bm25.BM25(doc)
 
    @property
    def words(self):
        return seg.seg(self.doc)
 
    @property
    def sentences(self):
        return normal.get_sentences(self.doc)
 
    @property
    def han(self):
        return normal.zh2hans(self.doc)
 
    @property
    def pinyin(self):
        return normal.get_pinyin(self.doc)
 
    @property
    def sentiments(self):
        return sentiment.classify(self.doc)#调用了sentiment的classify分类法律土办法
 
    @property
    def tags(self):
        words = self.words
        tags = tag.tag(words)
        return zip(words, tags)
 
    @property
    def tf(self):
        return self.bm25.f
 
    @property
    def idf(self):
        return self.bm25.idf
 
    def sim(self, doc):
        return self.bm25.simall(doc)
 
    def summary(self, limit=5):
        doc = []
        sents = self.sentences
        for sent in sents:
            words = seg.seg(sent)
            words = normal.filter_stop(words)
            doc.append(words)
        rank = textrank.TextRank(doc)
        rank.solve()
        ret = []
        for index in rank.top_index(limit):
            ret.append(sents[index])
        return ret
 
    def keywords(self, limit=5, merge=False):
        doc = []
        sents = self.sentences
        for sent in sents:
            words = seg.seg(sent)
            words = normal.filter_stop(words)
            doc.append(words)
        rank = textrank.KeywordTextRank(doc)
        rank.solve()
        ret = []
        for w in rank.top_index(limit):
            ret.append(w)
        if merge:
            wm = words_merge.SimpleMerge(self.doc, ret)
            return wm.merge()
        return ret

2.sentiment文件夹下的__init__文件

sentiment中创建了Sentiment对象

首先调用load法律土办法加载训练好的数据字典,怎么能让调用classify法律土办法,在classify法律土办法中实际调用的是Bayes对象中的classify法律土办法。

# -*- coding: utf-8 -*-
from __future__ import unicode_literals
 
import os
import codecs
 
from .. import normal
from .. import seg
from ..classification.bayes import Bayes
 
#数据文件路径
data_path = os.path.join(os.path.dirname(os.path.abspath(__file__)),
                         'sentiment.marshal')
 
 
class Sentiment(object):
 
    def __init__(self):
        #创建Bayes对象
        self.classifier = Bayes()
 
    #保存训练好的字典数据
    def save(self, fname, iszip=True):
        self.classifier.save(fname, iszip)
 
    #加载字典数据
    def load(self, fname=data_path, iszip=True):
        self.classifier.load(fname, iszip)
 
    #对文档分词
    def handle(self, doc):
        words = seg.seg(doc)
        words = normal.filter_stop(words)
        return words
 
    # 训练数据集
    def train(self, neg_docs, pos_docs):
        data = []
        #读注销极评论list,一块儿为每条评论加在neg标签,也倒进到有另一个

多list中
        for sent in neg_docs:
            data.append([self.handle(sent), 'neg'])
        #读取积极评论list,为每条评论加在pos标签
        for sent in pos_docs:
            data.append([self.handle(sent), 'pos'])
        #调用分类器的训练数据集法律土办法,对模型进行训练
        self.classifier.train(data)
 
    #分类
    def classify(self, sent):
        #调用贝叶斯分类器的分类法律土办法,获取分类标签和概率
        ret, prob = self.classifier.classify(self.handle(sent))
        #不可能

分类标签是pos直接返回概率值
        if ret == 'pos':
            return prob
        #不可能

返回的是neg,不可能

显示的是积极概率值,怎么能让用1减去消极概率值
        return 1-prob
 
 
classifier = Sentiment()
classifier.load()
 
#训练数据
def train(neg_file, pos_file):
    #打开消极数据文件
    neg = codecs.open(neg_file, 'r', 'utf-8').readlines()
    pos = codecs.open(pos_file, 'r', 'utf-8').readlines()
    neg_docs = []
    pos_docs = []
    #遍历每四根消极评论,倒进到list中
    for line in neg:
        neg_docs.append(line.rstrip("\r\n"))
    #遍历每四根积极评论,倒进到list中
    for line in pos:
        pos_docs.append(line.rstrip("\r\n"))
    global classifier
    classifier = Sentiment()
    #训练数据,传入积极、消极评论list
    classifier.train(neg_docs, pos_docs)
 
#保存数据字典
def save(fname, iszip=True):
    classifier.save(fname, iszip)
 
#加载数据字典
def load(fname, iszip=True):
    classifier.load(fname, iszip)
 
#对得话进行分类
def classify(sent):
    return classifier.classify(sent)

sentiment中饱含了训练数据集的法律土办法,看一下是怎么还可以训练数据集的:

在sentiment文件夹下,饱含了以下文件:

neg.txt和pos.txt是不可能 分类好的评论数据,neg.txt中都会消极评论,pos中是积极评论

sentiment.marshal和sentiment.marshal.3中存放的是序列化后的数据字典,统统也稍后再说

(1)在train()法律土办法中,首先读注销极和积极评论txt文件,怎么能让获取每四根评论,倒进到list集合中,格式大致如下

[ ' 还这样 收到书!!!还这样 收到书 ' , ' 小熊宝宝觉得孩子不喜欢,能换别的吗 ' , ......]

#训练数据
def train(neg_file, pos_file):
    #打开消极数据文件
    neg = codecs.open(neg_file, 'r', 'utf-8').readlines()
    pos = codecs.open(pos_file, 'r', 'utf-8').readlines()
    neg_docs = []
    pos_docs = []
    #遍历每四根消极评论,倒进到list中
    for line in neg:
        neg_docs.append(line.rstrip("\r\n"))
    #遍历每四根积极评论,倒进到list中
    for line in pos:
        pos_docs.append(line.rstrip("\r\n"))
    global classifier
    classifier = Sentiment()
    #训练数据,传入积极、消极评论list
    classifier.train(neg_docs, pos_docs)

怎么能让调用了Sentiment对象中的train()法律土办法:

在train法律土办法中,遍历了传入的积极、消极评论list,为每条评论进行分词,并为加在了分类标签,此时的数据格式如下:

评论分词后的数据格式:['收到','这样 '...]

加在标签后的数据格式(以消极评论为例):[ [['收到','这样 ' ...],'neg'] ,  [['小熊','宝宝' ...],‘neg’] ........]]

还须要看多每四根评论都会有另一个 多list,其中又饱含了评论分词后的list和评论的分类标签

# 训练数据集
    def train(self, neg_docs, pos_docs):
        data = []
        #读注销极评论list,对每条评论分词,并加在neg标签,也倒进到有另一个

多list中
        for sent in neg_docs:
            data.append([self.handle(sent), 'neg'])
        #读取积极评论list,为每条评论分词,加在pos标签
        for sent in pos_docs:
            data.append([self.handle(sent), 'pos'])
        #调用分类器的训练数据集法律土办法,对模型进行训练
        self.classifier.train(data)

经过了此步骤,不可能 对数据外理完毕,接下来就还须要对数据进行训练

 3.classification下的bayes.py

# -*- coding: utf-8 -*-
from __future__ import unicode_literals
 
import sys
import gzip
import marshal
from math import log, exp
 
from ..utils.frequency import AddOneProb
 
 
class Bayes(object):
 
    def __init__(self):
        #标签数据对象
        self.d = {}
        #所有分类的词数之和
        self.total = 0
 
    #保存字典数据
    def save(self, fname, iszip=True):
        #创建对象,用来存储训练结果
        d = {}
        #加在total,也统统

积极消极评论分词总词数
        d['total'] = self.total
        #d为分类标签,存储每个标签的数据对象
        d['d'] = {}
        for k, v in self.d.items():
            #k为分类标签,v为标签对应的所有分词数据,是有另一个

多AddOneProb对象
            d['d'][k] = v.__dict__
        #这里判断python版本
        if sys.version_info[0] == 3:
            fname = fname + '.3'
        #这里可有一种法律土办法还须要选择进行存储
        if not iszip:
            ##将序列化后的二进制数据直接写入文件
            marshal.dump(d, open(fname, 'wb'))
        else:
            #首先获取序列化后的二进制数据,怎么能让写入文件
            f = gzip.open(fname, 'wb')
            f.write(marshal.dumps(d))
            f.close()
 
    #加载数据字典
    def load(self, fname, iszip=True):
        #判断版本
        if sys.version_info[0] == 3:
            fname = fname + '.3'
        #判断打开文件法律土办法
        if not iszip:
            d = marshal.load(open(fname, 'rb'))
        else:
            try:
                f = gzip.open(fname, 'rb')
                d = marshal.loads(f.read())
            except IOError:
                f = open(fname, 'rb')
                d = marshal.loads(f.read())
            f.close()
        #从文件中读取数据,为total和d对象赋值
        self.total = d['total']
        self.d = {}
        for k, v in d['d'].items():
            self.d[k] = AddOneProb()
            self.d[k].__dict__ = v
 
    #训练数据集
    def train(self, data):
        #遍历数据集
        for d in data:
            #d[1]标签-->分类类别
            c = d[1]
            #判断数据字典中是与否当前的标签
            if c not in self.d:
                #不可能

这样

该标签,加入标签,值是有另一个

多AddOneProb对象
                self.d[c] = AddOneProb()
            #d[0]是评论的分词list,遍历分词list
            for word in d[0]:
                #调用AddOneProb中的add法律土办法,加在单词
                self.d[c].add(word, 1)
        #计算总词数
        self.total = sum(map(lambda x: self.d[x].getsum(), self.d.keys()))
 
    #贝叶斯分类
    def classify(self, x):
        tmp = {}
        #遍历每个分类标签
        for k in self.d:
            #获取每个分类标签下的总词数和所有标签总词数,求对数差离米

log(某标签下的总词数/所有标签总词数)
            tmp[k] = log(self.d[k].getsum()) - log(self.total)
            for word in x:
                #获取每个单词突然再次出现的频率,log[(某标签下的总词数/所有标签总词数)*单词突然再次出现频率]
                tmp[k] += log(self.d[k].freq(word))
        #计算概率,不可能

直接得到的概率值比较小,这里应该使用了一种法律土办法来转换,原理还都会很明白
        ret, prob = 0, 0
        for k in self.d:
            now = 0
            try:
                for otherk in self.d:
                    now += exp(tmp[otherk]-tmp[k])
                now = 1/now
            except OverflowError:
                now = 0
            if now > prob:
                ret, prob = k, now
        return (ret, prob)
from . import good_turing
 
class BaseProb(object):
 
    def __init__(self):
        self.d = {}
        self.total = 0.0
        self.none = 0
 
    def exists(self, key):
        return key in self.d
 
    def getsum(self):
        return self.total
 
    def get(self, key):
        if not self.exists(key):
            return False, self.none
        return True, self.d[key]
 
    def freq(self, key):
        return float(self.get(key)[1])/self.total
 
    def samples(self):
        return self.d.keys()
 
 
class NormalProb(BaseProb):
 
    def add(self, key, value):
        if not self.exists(key):
            self.d[key] = 0
        self.d[key] += value
        self.total += value
 
 
class AddOneProb(BaseProb):
 
    def __init__(self):
        self.d = {}
        self.total = 0.0
        self.none = 1
 
    #加在单词
    def add(self, key, value):
        #更新该类别下的单词总数
        self.total += value
        #不可能

单词未突然再次出现过
        if not self.exists(key):
            #将单词加入对应标签的数据字典中,value设为1
            self.d[key] = 1
            #更新总词数
            self.total += 1
        #不可能

单词突然再次出现过,对该单词的value值加1
        self.d[key] += value

在bayes对象中,有有另一个 多属性d和total,d是有另一个 多数据字典,total存储所有分类的总词数,经过train法律土办法训练数据集后,d中存储的是每个分类标签的数据key为分类标签,value是有另一个 多AddOneProb对象。

def __init__(self):
        self.d = {}
        self.total = 0.0

在AddOneProb对象中,同样存在d和total属性,这里的total存储的是每个分类人个的单词总数,d中存储的是所有突然再次出现过的单词,单词作为key,单词突然再次出现的次数作为value.

为了下次计算概率时,不让重新训练,还须要将训练得到的数据序列化到文件中,下次直接加载文件,将文件反序列为对象,从对象中获取数据即可(save和load法律土办法)。

4.得到训练数据后,使用朴素贝叶斯分类进行分类

该法律土办法可自行查阅。