此内容是《基本指南》的一部分: 大数据分析工具、趋势和最佳实践指南

必要的指导

浏览部分
管理 学会应用最佳实践并优化您的操作。

大数据分析项目增加了预测模型的风险

在开始大数据分析应用程序的分析建模过程之前,组织需要具备适当的技能——并计算出需要分析多少数据来产生准确的结果。

大数据分析项目成功的关键之一是建立牢固的联系数据分析师和业务单位.但也存在一些技术和技能问题,这些问题可能会推动(或阻碍)创建有效的分析模型,以便对大数据集运行预测分析和数据挖掘应用程序。

一个基本的问题是要将多少数据纳入预测模型。在过去的几年里,我们看到了可用性的爆炸式增长大数据技术,如hadoop和NoSQL数据库,提供相对便宜的数据存储。公司现在从更多的渠道收集信息,保留过去他们认为多余的零碎数据。能够分析所有这些数据的承诺增加了它作为企业资产的感知价值。看起来,数据越多越好。

但分析团队需要权衡使用各种各样的数据所带来的好处。对于某些应用程序,可能是有必要的——例如,欺诈检测,这取决于识别异常值的数据集指向欺诈活动,或隆起建模工作旨在部分潜在客户营销计划可以针对积极的人可能会受到他们的影响。在其他情况下,预测建模在大数据环境中可以有效地完成 - 更快 - 通过使用较小的数据集数据采样技巧。

TEASONG Analytics Datetics主任,旧金山的营销分析服务公司DataSong分析总监,表示统计定理表明,经过一定程度,将更多数据喂养成一个分析模型不能提供更准确的结果。她还表示,取样——分析可用信息的代表性部分——可以帮助加快模型的开发时间,使它们能够更快地部署。

预测模型从剩余数据中受益

不过,对于保留组织能够收集到的所有数据仍然存在争议。DataSong帮助企业优化其在线广告活动做预测分析在什么网站上投放广告最好,在不同的网站上投放什么类型的广告;出于销售归属的目的,它还分析了客户点击流数据,以确定哪些广告促使人们购买产品。为了给它的分析应用程序提供动力,该公司将大量的网络数据吸收到一个Hadoop集群

内斯比特说,这些数据中的大部分不一定会直接用于模型开发,但如果需要,这些数据是可以使用的——即使没有,拥有所有的信息也很有用。例如,一个大数据集为建模者提供更多开发过程中的记录,用于测试模型和调整模型以提高准确性。“你有更多的数据来测试和验证你的模型,这是一件好事,”她说。

数据质量是构建模型时需要考虑的另一个问题大数据分析应用迈克尔·贝瑞表示,旅游网站运营商的分析总监Michael Berry表示,TripAdvisor LLC's TripAdvisor的牛顿商业部门的商业部门。“希望数据现在很大,你不必担心它是准确的,”贝里在一个中说在波士顿2013年预测分析世界会议上的会议。“你只是按下按钮,你会学到一些东西。但这可能不会忍受现实。”

招聘也成为预测建模和大数据分析的挑战之一。熟练的数据科学家是供不应求的,特别是结合了大数据和预测分析体验。这就很难找到合格的数据分析师和建模师领导大数据分析项目

分析技能短缺需要招聘灵活性

Mark Pitts,Enterprise信息学,数据和Analytics副总裁,Highmick Inc.表示,对于匹兹堡的医疗保险公司和医疗服务提供者希望他们拥有的所有技能来说,数据分析师都罕见。Pitts寻找了解管理数据技术方面的人,拥有定量分析技能并知道如何使用预测分析软件;如果他们理解业务概念,也会有所帮助。但要找到完整的套餐却很困难。“所有这些事情加在一起都非常罕见,”他说。“你需要正确的个性和能力,我们可以建立其他的。”

在皮茨的团队中,有一位计算机工程师拥有工商管理硕士学位,但对相关专业一无所知统计分析.为工程师支付的高级标记还回到学校,也可以获得统计硕士学位。皮特表示,他不仅确定了继续教育支持的工人,不仅是因为工程师有一些必要的资格,而且因为他有一个人格特质,那些对披着特别感兴趣的人物特质:好奇心。

在DataSong大学,内斯比特通常寻找的是拥有统计学博士学位并有使用数据分析的经验的人R编程语言,该公司用于将其与基于R基的软件的预测模型从革命分析建立。“在我们的团队上工作,我们在哪里一直建造模型而我们在数据中陷得很深,你必须有技术技能,”她说。

不过,最终这些技能必须用于从组织的大数据库中提取业务价值。匹兹堡分析咨询公司The Modeling Agency的高级顾问和培训总监托尼·拉斯伯恩(Tony Rathburn)说:“关键在于,这不是一个真正的技术问题,而是一个商业问题。”对分析师来说,这才是真正的问题:以一种能为业务部门提供价值的方式来解决问题。无论数据数量如何,这一点都没有改变。”

Ed Burns是SearchBusinessAnalyabo2008ytics的网站编辑器。给他发电子邮件[电子邮件受保护]在推特上关注他:@EdBurnsTT

执行编辑Craig Stedman也为这个故事做出了贡献。

下一步

获得管理的提示分析建模过程来自顾问韦恩·埃克森

阅读案例研究,趋势故事,提示文章等等大数据分析指南

做一个小测验来检查你的知识大数据分析最佳实践

深入挖掘大数据分析

搜索数据管理
搜索AWS.
搜索内容管理
搜索甲骨文
搜索SAP
搜索SQL服务器
关闭