“Google宣布Cloud Dataflow SDK的开放源代码可用性”

谷歌帮助软件开发人员轻松创建应用程序，并将其与云数据流托管服务集成，以解决大型数据集。 12月18日，该公司向开源社区发布了用于cloud dataflow的java软件开发工具包。 该工具包代表的是旨在推动围绕该技术开发应用程序的实体。

谷歌软件工程师sam mcveety在博客中表示，在开源sdk后，他将考虑帮助开发者将云数据流移植到其他语言和其他服务执行环境中。

mcveety先生写道，可重复使用的编程模型是提高开发者效率的重要因素。 “cloud dataflow sdk引入了批量解决和流式数据解决的统一模型，开发者可以通过创新的新方法加以利用。

mcveety表示，我们期待共同构建一个系统，为所有背景的客户提供分布式数据解决方案。

谷歌在6月的谷歌I/o会议上发布了云数据流。 这是一种托管服务，允许企业实时、批量提取和分析大量数据集。

该公司将云数据流描述为基于mapreduce的技术、flume和millwheel等最新技术，谷歌在内部采用了所有这些技术来分析真正的大容量数据存储。

谷歌希望提供数据解决方案服务，通过整合所有这些技术的要素，灵活地批量分解大型数据集，几乎可以实时分解流入数据库的数据。 公司还可以捕获数据，并逐步存储数据，以供其他分析工具和服务(如谷歌自己的bigquery )使用。

对于希望从大数据中获取商业价值的公司来说，这一功能很重要。 云服务、移动设备和传感器技术的急剧增长，使企业能够从无数来源收集更多的数据。 难题是如何组织和管理数据，从而获得商业价值。

亚马逊是最大的云服务提供商之一，已经提供了名为kinesis的托管服务。 该服务类似于谷歌计划通过云数据流提供的服务。 亚马逊将kinesis视为大规模实时流媒体数据解决的服务。 被设计为捕获、存储和分析从在线交易、网络日志、社交网络媒体源和移动设备中提取的tb级数据的服务。

使用cloud dataflow，谷歌希望向开发者和公司提供同样的功能。 mcveety在他博客的副本中指出，数据的价值是分解和分解生成的信息。

随着数据集的规模变大并分布在不同的存储系统中，将数据智能转换可能会变得非常困难。 他还表示，随着对实时分解的诉求不断增加，从数据集挖掘价值的障碍也成为开发者的一大难题。