请选择 进入手机版 | 继续访问电脑版
设为首页收藏本站

Crossin的编程教室

微信公众号:
crossincode
 找回密码
 立即加入
查看: 654|回复: 0

Python情感分析:鹿晗的粉丝们究竟原谅他了吗?

[复制链接]

154

主题

1

好友

658

积分

版主

Rank: 7Rank: 7Rank: 7

发表于 2018-7-18 16:44:45 |显示全部楼层

国庆长假的最后一天,鹿晗在微博上公开宣布和关晓彤的恋情。消息来得太突然,不仅粉丝圈里炸了,顺带连微博服务器也给炸了。在此心疼新浪运维工程师一秒,放个假都不能省心。

这条微博让粉丝们心情复杂,却让各路媒体们集体高潮,从各种刁钻的角度进行了全方位的报道和评论,蹭热点的姿势令人眼花缭乱。(在这点上不得不承认,我们是个不称职的公众号,到今天才有了这么一篇分析。)

到目前,这条微博已经有了280多万条评论。有点赞祝福的,有质疑的,当然也少不了悲痛欲绝,甚至表示取关粉转路人的。那么究竟粉丝们对此事的态度如何,真的“原谅”鹿晗了吗?于是,我们编程教室的小伙伴用 python 对评论里的情绪做了个简单的统计分析。

先说我们的结论:原谅?不存在!

此微博的评论中负面情绪较多,说明还是被扎心的粉丝们占了多数,不是一时半会儿就能“原谅”的。这也是符合主观感受的。引用一个热评来说就是“3909万粉丝,一起失恋了”。

这是我们通过一些数据分析得出的结论,到底是不是可信,可以一起来看下我们的分析过程。
1. 抓取微博评论
抓取微博使用了爬虫框架 scrapy,并结合 mongodb 作为数据存储。通常来说,手机版网页会比 PC 版网页更容易抓取数据,所以我们通过 http://m.weibo.cn 找到了此条微博的评论数据接口:
  1. https://m.weibo.cn/api/comments/show?id=4160547165300149&page=1
复制代码
通过修改 page 参数,可以获取各页评论。

得到数据之后,通过正则或 bs4 对信息进行提取(我们的代码里用了正则),将评论内容文本存入数据库。
2. 情感分析2.1 snownlp
首先我们使用了 python 的一个情感分析库 snownlp。在开发过程中,我们看到知乎上也有人做了同样的工作:
用python对鹿晗、关晓彤微博进行情感分析 - 宅米RICE利用500W条微博语料对评论进行情感分析 - 布道
snownlp(https://github.com/isnowfy/snownlp)是一个可以方便处理中文文本的 python 库,提供了分词、词性标注、情感分析、文本分类、转拼音、繁转简、提取关键词、摘要等功能,功能十分强大。

分析结果:

图中情感值越接近 0 表示越消极,越接近 1 表示越积极。从结果来看,0、1 两端和中间 0.5 的数量最多,整体上较为平衡,稍稍偏积极一些。

可真的是这样吗?

我们来挑几热门评论尝试下:
大家觉得是假的点赞  0.99大家觉的鹿晗与关晓彤不配的请点赞。  0.48一定是电视剧的宣传。一定是。  0.39不喜欢关晓彤的赞我  0.80哥哥 我们心脏不好  0.98同意恋爱,关晓彤就算了吧。  0.55如果不是关晓彤。。我觉得我还没那么心痛!人生的悲哀就是最喜欢的和最讨厌的在一起了  0.81


这好像不大对吧。

后来进一步了解发现,snownlp 的默认训练语料库是针对网上商品的购买评价,将其得出的模型用在此微博评论的分析上并不是很准确。于是我们又从网上找了一份针对腾讯微博上新闻事件评价的语料库,来修正训练数据。但可惜因为样本量较少,并且也不是很符合此场景,因此结果和上述差别不大。

我们上面提到的两篇文章,结论也与此类似。如果要进一步提升 snownlp 准确性,则需要一定数量的手动标记样本。
2.2 腾讯文智
那如果一时没有那么多的标记样本,有没有其他方法?我们找到了“腾讯文智” — 腾讯出品的中文语义平台,支持 NLP、转码、抽取、全网数据抓取等中文语义分析需求。这个平台是收费的,不过有一些免费配额,足够我们做一些小的实验分析。

在使用之前,我们也将前文的几条热评测试了一下:

我们来挑几热门评论尝试下:
大家觉得是假的点赞  0.52大家觉的鹿晗与关晓彤不配的请点赞。  0.53一定是电视剧的宣传。一定是。  0.50不喜欢关晓彤的赞我  0.62哥哥 我们心脏不好  0.02同意恋爱,关晓彤就算了吧。  0.48如果不是关晓彤。。我觉得我还没那么心痛!人生的悲哀就是最喜欢的和最讨厌的在一起了  0.35
从这几个例子来看,文智相对要准确一点,虽然有些评论依然没有被划归到负面,但至少没有给到很夸张的积极情感值。

由于文智的数量限制,我们对数据中进行了随机抽样,用一小部分数据进行分析,并且过滤掉了情感值为 0.5 的部分(其中有不少是纯表情回复),得到如下结果:

尽管在手动测试时发现文智的预测会略偏积极,但即便如此,最终的结果依然偏向消极。由此推断,实际的情感可能比这个分布更加负面。这也就是我们文章开始时给出的结论。

这个结论其实并没有多大意义(反正我也不粉鹿晗),但通过程序来做情感分析,也许你会用得到。

获取源码和详细文档,请在公众号(Crossin的编程教室)中回复 鹿晗。



════

其他文章及回答:
用 Python 解读十九工作报告 Python有嘻哈:Crossin教你用代码写出押韵的verse 听说你好不容易写了个爬虫,结果没抓几个就被封了? 喏,你们要的 PyCharm 快速上手指南 编程新手:看懂很多示例,却依然写不好一个程序 给伸手党的福利:Python 新手入门引导 如何用100行Python代码做出魔性声控游戏“八分音符酱” 学习编程的过程中可能会走哪些弯路,有哪些经验可以参考? 你是如何自学 Python 的?
Crossin的编程教室
微信公众号ID:crossincode网站:crossincode.comQQ群:657099683微信加群:crossin123(新手/进阶/爬虫)


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即加入

QQ|Archiver|手机版|Crossin的编程教室 ( 苏ICP备15063769号  

GMT+8, 2019-12-12 12:16 , Processed in 0.049971 second(s), 25 queries .

Powered by Discuz! X2.5

© 2001-2012 Comsenz Inc.

回顶部