Microsoft在其支持文档中将该技术描述为允许您实时处理数据的分布式

2019-12-02 17:35:18    来源:    作者:

在纽约的Strata + Hadoop World会议上,微软通过在HDInsight中宣布Apache Storm的支持来升级其云分析游戏,HDInsight是该公司基于云的Hadoop发行版,Hadoop是流行的开源大数据处理平台。公司副总裁TK Rengarajan宣布:“今天将提供预览,我们将在HDInsight中支持Apache Storm,使我们的客户可以使用完全托管的Hadoop服务从其物联网设备近乎实时地处理数百万个Hadoop数据。”微软数据平台总裁在10月15日的声明中。“通过将实时分析功能引入HDInsight,我们正在开拓新的客户场景,例如能够实时分析运营数据以进行预测性维护。”

Apache Storm是一个开源项目,可以实时处理大型数据流。Microsoft 在其支持文档中将该技术描述为“允许您实时处理数据的分布式,容错,开源计算系统。Storm解决方案还可以提供有保证的数据处理,并具有重放数据的能力。第一次未成功处理。”

根据Apache Software Foundation的说法,Storm做到了“实时处理,而Hadoop进行了批处理。” Twitter,Spotify和阿里巴巴等公司目前正使用Storm来帮助满足其大规模数据处理要求。

随着今天的宣布,微软已经加入了潮流。Rengarajan表示:“ HDInsight中Storm的预览版将继续微软对Hadoop生态系统和HDInsight的投资。”

HDInsight Storm可以作为Azure中的托管群集使用,可以将其集成到其他Azure服务中。微软解释说:“例如,Storm可能会使用ServiceBus队列或事件中心等服务中的数据,并使用网站或云服务来提供数据可视化。”

除了实现实时大数据分析之外,Microsoft预计客户还将利用HDInsight Storm来支持其在线机器学习工作。

根据HDInsight Storm常见问题解答,“风暴可以与以前通过批处理进行过训练的机器学习解决方案一起使用,例如基于Mahout的解决方案,” Apache的机器学习和数据挖掘项目。“然而,其通用的分布式计算模型也为基于流的机器学习解决方案打开了大门。”

Azure HDInsight Storm支持.NET,Java和Python。Microsoft承认,尽管Storm支持其他语言(根据Apache进行的任何编程),但要启用其他编程支持将需要更改HDInsight群集配置。

在相关新闻中,微软透露,Hadoop供应商Hortonworks的大数据软件平台将具有Microsoft Azure集成功能。该公司的Azure机器学习生态系统还新增了一些新功能,包括推荐引擎,异常检测服务和一批R程序包(数据科学家首选的编程语言)。

Rengarajan表示:“这些公告以及我们参与[Strata + Hadoop World]活动是我们致力于通过利用云的功能,灵活性和规模将大数据带给所有人的承诺的一部分。”

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。