大数据分析工具的12个必备功能

1.实时分析和报告的嵌入结果

当从分析模型中收集到的见解可以帮助支持即时做出的业务决策时，大数据分析活动就会为组织带来更多价值，而此时业务主管和经理通常正在使用其他应用程序。

“能够将这些见解纳入实时决策过程中最重要的是，”内存数据库提供商VoltDB的首席产品官员Dheeraj Remella说。

这些功能应包括能够以一种在决策平台中轻松嵌入的格式创建洞察的能力，这应该能够将它们应用在一起实时数据流帮助你做出即时决定。

2.数据争吵和准备

数据科学家倾向于花费很多时间清洁，标签和组织数据，以便为分析用途做好准备。这数据争吵和准备过程涉及跨不同数据源的无缝集成，以及包括数据收集，分析，清理，转换和验证的步骤。

数据库和医疗保健软件供应商InterSystems的数据平台产品和行业营销总监Joe Lichtenberg表示，大数据分析工具必须支持全面的数据类型、协议和集成场景，以加快和简化这些数据处理步骤。

3.数据探索

大数据分析经常涉及临时数据发现和探索阶段。有时被认为是数据准备的一部分，探索潜在的数据有所帮助数据科学团队理解问题的业务背景，并制定更好的分析问题。帮助简化这一过程的特性可以减少对数据的新假设进行测试的工作量，从而更快地剔除不好的假设，并简化数据中隐藏的有用联系的发现。

此外，它们还应更容易地在与同事的数据集上进行协作。“工具必须支持探索和协作，使人们的所有技能水平都能从多个角度迅速看，”伯爵和分析供应商Tableau技术福音学师Andy Cotgreave表示，“Andy Cotgreave表示。

强的数据可视化能力还可以在数据探索过程中有所帮助;有时候，即使对数据科学家来说，如果不先将数据可视化，也很难对数据集提出有用的见解。

4.支持不同类型的分析

有很多方法可以将大数据分析技术应用到生产中，从基本的BI应用到预测分析，实时分析，机器学习以及其他形式的高级分析。每种方法都提供不同类型的业务价值。好的大数据分析工具应该具有足够的功能和灵活性，以最小的努力支持这些不同的用例，而且不需要进行再培训，而在采用单独的工具时往往需要进行再培训。

5.可伸缩性

数据科学家通常具有在长持续时间的小数据集上开发和测试不同的分析模型。但是预测和机器学习模型由这些努力的结果需要经济上运行，并且通常必须快速提供结果。这要求大数据分析系统支持高水平的可扩展性，用于摄取数据，并在没有过高的硬件或云服务成本的情况下使用生产中的大数据集。

地理空间分析供应商笛卡尔实验室(Descartes Labs)市场预测业务负责人爱德华多·弗兰科(Eduardo Franco)说:“一种能够以最小的努力将算法从小数据集扩展到大数据集的工具也很关键。”“在这种转变上花费了太多的时间和精力，所以自动化是一个巨大的帮助。”

6.版本控制

在一个大数据分析项目中，一些数据科学家和其他用户可能会参与调整分析模型的参数。所做的一些更改最初可能看起来很有希望，但当进一步测试或投入生产时，它们可能会产生意想不到的问题。

内置大数据分析工具内置的版本控制功能可以提高跟踪这些更改的能力。如果稍后会出现问题，它们还可以更轻松地将分析模型滚动到以前工作的先前版本。

“没有版本控制，单个开发人员制作的一个更改可能导致所有已经创建的所有已创建的崩溃，”PuSsales Engineering副总裁和Devo Technology（Devo Technology）的副议长副总裁Charles Amick表示，安全记录和分析平台提供商。

7.简单的数据集成

数据科学家和开发人员越少花费定制集成，以将分析系统连接到数据源和业务应用程序，这些产品越多，他们可以花费改进，部署和运行分析模型的时间越多。

简单的数据集成和访问功能也使与其他用户共享分析结果更容易。大数据分析工具应提供内置的连接器和开发工具包，可轻松集成与现有数据库，数据仓库，数据湖泊以及应用程序——包括本地和云中的应用程序。

8.数据管理

大数据分析工具需要强大而有效数据管理分析咨询公司Abisam Solutions的数据科学总监Tim Lafferty表示，平台是确保所有交付物的连续性和标准化的基础。随着大数据环境中数据量的增加，其可变性也随之增加。数据集可能包含大量的不一致性和需要协调的不同格式。

强大的数据管理功能可以帮助企业维护单一的真相来源，这对大数据计划的成功至关重要。它们还可以为用户提高数据集的可见性，并为用户提供指导。例如，推送通知功能可以主动提醒用户有关陈旧数据、正在进行的维护或数据定义的更改。

9.数据治理

数据治理功能在大数据分析工具中也很重要，以帮助企业实施内部数据标准，并遵守数据隐私和安全法。这包括跟踪用于构建分析模型的数据集的来源和特性，这有助于确保数据科学家，数据工程师和其他人正确使用数据，以及识别隐藏数据集中的偏见这可能是歪曲的分析结果。

有效的数据治理对敏感数据特别至关重要，例如受保护的健康信息和受私权法规的个人身份信息。例如，某些工具现在包括能力匿名数据，允许数据科学家根据个人信息构建模型，符合GDP和CCPA等法规。

10.支持数据处理框架

许多大数据平台专注于分析或数据处理。一些框架 - 类似Apache Spark - 支持两者，这使得数据科学家和其他人能够使用相同的实时流处理平台;复杂的提取物，变换和负载任务;机器学习;并在SQL，Python，R和其他语言中编程。

大数据分析工具需要与各种处理引擎具有联系，这些引擎可以帮助组织构建数据管道，以支持分析模型的开发，培训和实施。这很重要，因为数据科学是一个高度迭代的过程。数据科学家在到达投入生产的人之前可能会创建100个型号，这是一个经常涉及丰富数据以改善模型的结果。

11.数据安全

过度的数据安全性会阻碍用户使用分析数据。但包含精心设计的安全功能的大数据分析工具可以解决IT对数据泄露的担忧，同时也鼓励适当的数据使用。保持这种平衡至关重要建立数据文化真正成为一个数据驱动的组织。

实现这一目标可能涉及提供基于角色的访问权限和其他粒度安全控制。此外，帮助标志个人信息的功能可以使其更容易地处理和共享数据，以符合GDPR，CCPA和其他隐私法规的方式。

12.数据可视化，仪表板设计和报告

最终，数据科学家和分析师需要将大数据分析应用程序的结果传达给商业管理人员和工人。为此，他们需要集成的工具来创建数据可视化，仪表板和报告，以及管理数据可视化和仪表板设计过程的功能。

例如,许多可视化技术可以应用于数据集，但必须以商业用户可以理解的方式呈现信息。此外，太多的可视化可以堵塞仪表板，并“向快速寻找信息的用户压倒性”，“Tableau的高级营销福音学家Ashley Howard Neville说。

功能可用，使可视化和仪表板设计人员能够根据需要提供更多信息并添加上下文。示例包括添加具有附加数据或可视化的工具提示叠加层，以及显示或隐藏导航按钮，过滤器和其他设计元素的选项。