舆情监控产品,现在已经可以将NPL引入,为什么大部分还停留在将数据图形化阶段?

1.语义分析技术为什么没有很好的应用,
2.除了简单的积极,中立,消极之外的语义分析之外,做更深的分析
3.没有做到自动智能将危机事件定性,定级的原因在哪里
回答 3 排序
GeekerLee 荣之联 大数据产品经理

首先NLP在几年前其实大都受限于运算能力和运算速度,只实现了基本的应用,不敢做很复杂的应用。近些年其实技术逐步成型的,但是实际上如果把NLP真的应用好的话,需要大量服务器进行GPU计算,光靠CPU很难实现海量级文本数据的计算和分析能力。

所以答案1,NLP投入产出比较差,除非是忽悠客户或者只做几个基本功能,否则这里面的坑可不是一版级别的工程师团队可以填平的;

fetch_filedd15e5a24595bec07b76dd90c041d712-picture

答案2,更深的分析本来就是个缥缈的需求,作为PM,必须挖掘客户细致的需求,比如更落地的需求。例如马云大佬有一阵子有一些负面文章,阿里巴巴动用一堆舆情和公关公司来监控和处理,这就提出了NLP的需求,如何更精准的识别文章以及文章的变体,但是这个需求很多人就当做文本近似度匹配等简单的算法就一带而过了,实际上有很多细节工作在里面,包括词库、训练等等;

答案3,危机事件爆发的监测从来就是个很难通用的事情,分行业垂直化才能了解这个行业的传播渠道,传播渠道各个节点传播能力都不一样,想预知爆发,就需要通过深挖和统计学来对这些传播建立模型或者算法,还要结合预测的一些算法,甚至深度学习建模型才能保证通用性,这里通用性我还仅仅指的是行业级别的,不敢说全行业的。

匿名

关于问题1,语义分析,应该算是搜索引擎的核心技术之一,在这一块,它是得到了长足的发展及持续地应用的,搜索也是语义分析最好的商业化应用场景,没有之一。而在其他领域,语义分析没有得到广泛应用,个人认为,原因有这么五点:1、商业化前景与路径不清晰,市场还不大。换句人话,当前客户不怎么买账,钱少,大公司不愿意大动干戈,小公司不能真正搞定客户,市场没有活力;2、客户需求多样化,无法有效统一,定制化开发成本太高。直白地说,市场上大部分语义分析相关的产品不能满足品牌客户的需求,拿不下有钱的客户,也就没有了发展的源动力;3、商业壁垒形成过程缓慢,需要长期的资源投入及数据积累。换句人话,要很多人去探索行业特性,挖掘客户需求,形成方法论,积累语料库;4、纯技术门槛不高,技术革新过程缓慢,一定时间内,同质化现象会特别严重。换句人话,大家都半斤八两,会被客户疯狂砍价,钱越来越少;5、媒体资源保护,价值数据越来越少,数据获取成本越来越高……当前市场的现状,技术公司大多在讲商业故事,鲜有沉下来认真做研究做积累的,从而导致分析结果不怎么样,客户不怎么买账,即使客户买单也需要强背书,模式出不来,市场活不起来……当然,在内容为王的大背景下,市场还是可期的,客户的关注、BAT的入局在一定程度上会加速市场的繁荣。

fetch_filed7de5b4cbca58bcf9f68c445bd721c24-picture

关于问题2,更深的分析,大家其实是都有在探索的,只是,效果不明显。而在深入分析之前,有几个需要明确但其实一直没有得到很好解决的问题:钱从哪儿来?客户需求是什么?怎么做才有竞争力?怎么才能持续领先?投入产出比是否会符合预期?……这样一些问题如果没有得到解决,在一定程度上会阻碍深入分析的持续展开,资源无法持续投入……回到你的情感判断问题,正中负能大概率地准确判断的公司还不多……

关于问题3,危机没有定性和定级的原因,首先在于危机的定义不能做到统一,不同人,不同公司,不同行业对危机都有不同的认识且不易达成共识,危机定义标准的建立很难;其次,危机的捕捉与识别很难。危机的产生有很多源头,用户讨论,媒体报道,代言人犯错,竞品公关,水军等,难以有效对各个潜在源头进行持续监测及有效识别;最后,危机的定级,是需要定量及预测的,需要多样本、多数据的学习,且不同时期会有不同的社会因素影响传播,有效的危机定级几乎不可能,多数危机定级数据只能作为参考。即使作出参考,但凡多几次不准确的预测,也就不具备可信度。语义分析理论上是可以用于危机公关的,但还没有听说过预测成功的;即使预测成功,怎么应对将会是巨坑的问题。大多数情况下,品牌客户会更相信它们的危机公关团队,这票人一般都是宁错杀三千也不放过一个……

回到你的大标题,从个人的产品体验来说,市面上暂未见到一个将数据图形化做得很好的舆情产品。如果你觉得,还麻烦推荐一下😄

以上文字,个人观点;如有错误,就让它错;如有空,还麻烦指正。

匿名
苏格兰折耳喵 某大数据公司 数据产品

如你所说,舆情领域的很多自然语言分析技术比较陈旧,大都沿用十几年前的技术,而且更多的是在可视化方面下功夫。

关于你说的第二点,那叫情感三元分析,实际上,更为细致的情绪分析已经出现,上个月新浪微舆情的情绪地图上线了,可以识别出喜悦、愤怒、悲伤、惊奇、恐惧这五类较为明显的细分情绪。

第三点,自动将危机事件定性,可能涉及到机器学习中的分类问题,需要建立一个舆情事件库,将历史的舆情事件分类整理,划定等级,然后用来预测新的舆情事件,然后才能“自动化”的定性。

第三点比较麻烦,人力投入比较大,有多少人工,就有多少智能~

2017年07月10日
| 评论 4
匿名

发表评论,请先 登录 · 注册

合作伙伴

诸葛IO
薪人薪事
拉勾
 阿尔法公社
测试兄弟
Growing IO
BOSS直聘
环信
外包大师
CSDN