您已成功订阅主题
伟大的!接下来,完全结账以完全访问主题
欢迎回来!你已经成功登录了。
成功!您的帐户已完全激活,您现在可以访问所有内容。
成功!您的结算信息已更新。
结算信息更新失败。

专题在分析客户反馈时有多准确?

在与潜在客户的讨论中,我们总是听到问题,“专题有多准确?”

这个问题通常出现了两个原因:

“我一直在做分析。将此任务交给自动化解决方案时,我不希望损害准确性。“

“我意识到手动做事并不是最好的方法。我尝试了不同的解决方案。它们都产生了无用的常规结果。是否存在足够准确的解决方案即使存在?“

两者都是有效的原因,我们渴望提供答案。

但是,当谈到分析反馈时,让我们退一步,是什么“准确的“ 实际意思?

为什么单独准确性毫无意义?

发表了几十个学术出版物,评估了准确性,我可以在这个主题上瞄准几个小时。但是,在客户反馈的背景下,这三个关键点最重要:

100%的准确性是一个神话 - 无论如何都是主观

即使是在决定如何编写一条反馈时也不同意。

人们之间的协议水平被称为一致性,它通常是根据任务,40%至70%之间的范围

所以,不要期望一个一般的数字作为答案。

有用性胜过准确性

想象一下这种情况:所有反馈理论上都属于结算价格, 或者客户服务

它相对容易高度准确,因为只有3个选择。

但分析有用吗?

不太可能,特别是因为你已经提前了解这些类别。

一个100%精度的解决方案,无法获得更具体的方法结算实际上比具有85%的水平准确性的解决方案更糟糕,但告诉您哪些评论说“结算日期不方便”与“结算术语改进”与“计费不准确”。

最终,获得特定和可操作的主题更为重要,而不是追逐准确性。更稍后的更多。

轻松和精致的速度也是如此

改进是许多人也忽视的一步。

无论如何“准确”一种方法,都有人类的观点和默认的商业知识,需要纳入,以便使产出可操作。

在审查第一个结果后,这种知识和透视才会变得明显。

假设我们评估了两个解决方案:

解决方案A在寻找主题方面是80%。其决定是透明的,任何人都可以轻松地改善它们使结果更加可操作和相关。在几个小时内,您可以获得几乎完美的准确性。

溶液B为90%精确,但它是一个黑匣子。需要数周的数据科学劳动力来改进输出。

我知道我宁愿选择哪一个......

专题有多准确?

在主题上,我们设计了一个界面,使其很容易快速地改进主题,并从而从这个过程中学习的内置算法,在未来的项目中提供改进的结果。

其他解决方案需要广泛的手动配置,并且使用手动反馈分析(其中一些可能声称最准确的方法)炼油主题可以意味着从头开始。

以前,我们已发布指南如何评估客户反馈的分析和一份白皮书高级评估专题

在白皮书中,我们使用了两个不同的客户反馈数据集。每个人都有4个人的主题。

我们计算了人们彼此的一致性,并将主题与他们的平均一致性相比。

我们的研究表明,主题很容易比人更准确,他们的分析可能遭受个人偏见或疲倦。

请注意主题提供一个简单的方式编辑主题确保可能的最高精度。这个过程需要30分钟和2小时。

尝试快速眼球,主题在其中一个数据集中找到的主题:“我们如何改善商学院的东西?”

高级评估结果如下:

  • 预先编辑,专题略低于人。后编辑,专题优于4人中的2个。
  • 主题的结果更具体,因为不仅它发现了主题,还要是子主题。人们刚刚提供一般类别的地方,专题找到了主题和次节。

与NLP API相比,专题的准确性是多么准确?

在早期的帖子上,如何在内部建立客户反馈解决方案,我们已经测试了在线航空公司评论的主要播放器,IBM Watson,谷歌云,亚马逊理解。

结果令人失望:

  • 关键字是通用的,没有用。
  • 只有小比例实际上是标记:32%在最好的情况下。
  • 甚至非常简单的变化,如大写和复数/奇异都没有被视为同样的事情。
左:IBM Watson - 右:谷歌云
亚马逊理解

比较主题对这些主要球员的准确性没有意义。

毕竟,这些解决方案已经在非常不同类型的文本上开发:报纸文章,网页,研究论文。

因此,虽然它们可能会在这些类型的文本中擅长,但他们对客户反馈失败。

与其他解决方案相比,专题有多大准确?

莫里斯·菲茨杰拉德评价过其他具有本文中使用的同一数据集的其他公开的解决方案:DataCracker,Wordyup,WordClouds.com,Sift Keatext,SurveyTagger,SPS,Lexalytics,MainCloud,Text2data和HP的Havenondemand。他的调查结果:

  • 大多数系统表现不佳,因为它们只能提取最相关的单个单词,人们比任何工具都要好。
  • 最好的表演系统是lexalytics和havenondemand。然而,他们既早先错过了发布日期,其中一个最重要的改进建议之一(没有手动干预的专题发现)。

为什么主题如此准确?

专题专有的专有解决方案专门用于分析世界领先专家在该领域的客户反馈。

该研究是由专题的联合创始人和首席执行官博士博士领先地位,他们在关键词提取和超过的博士学位2500个自然语言处理学术引用

通过允许一个人可以改进主题的选择,还确保了准确性:主题可以重新组合,重命名和删除。

这种细化是可选的,因为即使没有帮助主题获得80-90%的方式。

专题还有其他优势:它学会了不仅仅是从数百万个反馈中收集的语言,还可以从过去5年中捕获的所有人类改进。

最好的事情:它不需要预定义的类别或注释数据。

外带

  • 当人们存在时,解决方案是准确的(如果没有更准确)!
  • 在自动化此任务时,您不需要损害分析质量。
  • 仅限有用性(特殊性和可行性)比单独的准确性更重要。
  • 轻松和精致的速度也是如此
  • 不要只是要求准确性,眼球的结果,了解主题是如何有用和可行的感觉。

在专题我们关心准确性大不了!我们保证人类竞争结果。毕竟,首席执行官有博士学位人类竞争力专题分析!!

继续阅读

我们如何使用我们自己的平台和Chrome扩展来集中和分析反馈

我们如何使用我们自己的平台和Chrome扩展来集中和分析反馈

客户反馈没有所有答案。但它对战略和优先级有关具有重要洞察力。专题是B2B SaaS公司。我们不是在反馈中游泳。每一块反馈计数。收集和分析此反馈需要不同的方法。我们收到许多地方的反馈:我们的产品内部NPS

Alyona Medelyan博士学位
Alyona Medelyan博士学位
反馈分析
伟德app上怎么提款文本分析软件 - 如何解锁您性能背后的驱动程序

伟德app上怎么提款文本分析软件 - 如何解锁您性能背后的驱动程序

许多组织,无论大小,都收集客户的反馈来改进他们的CX努力,并最终提高他们的底线。但是仅仅收集反馈并不能带来多大的不同。我们需要分析我们的反馈,以发现启发我们在组织中推动行动的见解。输入;文本

梅兰妮·斯特塞斯
梅兰妮·斯特塞斯
人工智能与NLP
专题分析软件:它如何工作和为什么需要它(2020)

专题分析软件:它如何工作和为什么需要它(2020)

最有可能,您降落在此博客中,因为您有太多的反馈来分析。您发出了调查或收集的评论或其他形式的免费文本反馈。现在你有这个反馈,你用它做什么?您如何在响应中识别共同主题?

Alyona Medelyan博士学位
Alyona Medelyan博士学位
人工智能与NLP