Google开源C/C++版MapReduce框架

boxi · 2015-02-23
据GigaOM消息,Google上周宣布,将自己用C++开发的MapReduce框架MapReduce for C(MR4C)开源,此举可给Hadoop社区带来福音,因为这样用户就可以在自己的Hadoop环境中运行原生的C及C++代码了。 Hadoop是许多大数据应用的基础,它是由Apache基金会所开发的分布式系统基础架构,主要由分布式文件系统HDFS和计算框架MapReduce组成。由于原先的MapReduce是用Java编写的,与C++相比,在性能上要略逊一筹。因此,许多处理大规模数据集的软件公司都开发了自己的专有系统来在MapReduce框架之内执行其原生代码。Facebook的HipHop(将PHP转换为C++)以及MemSQL执行前将SQL转为C++代码也都是出于同样的性能考虑。 MR4C原先由卫星影像公司Skybox Imaging开发,目的是为了优化其地理空间数据及计算机视觉代码库。MR4C围绕着几个简单概念开发而成,其目标是将MapReduce的重要细节抽象化,允许用户专注于开发有价值的算法。去年6月,Google收购了Skybox。半年之后的现在,又将MR4C开源出来。这对于没有能力开发专有系统或者对Java不感冒的开发者来说无疑是一个福音。


据GigaOM消息,Google上周宣布,将自己用C++开发的MapReduce框架MapReduce for C(MR4C)开源,此举可给Hadoop社区带来福音,因为这样用户就可以在自己的Hadoop环境中运行原生的C及C++代码了。

Hadoop是许多大数据应用的基础,它是由Apache基金会所开发的分布式系统基础架构,主要由分布式文件系统HDFS和计算框架MapReduce组成。由于原先的MapReduce是用Java编写的,与C++相比,在性能上要略逊一筹,因此,许多处理大规模数据集的软件公司都开发了自己的专有系统来在MapReduce框架之内执行其原生代码。Facebook的HipHop(将PHP转换为C++)以及MemSQL执行前将SQL转为C++代码也都是出于同样的性能考虑。


MR4C原先由卫星影像公司Skybox Imaging开发,目的是为了优化其地理空间数据及计算机视觉代码库。MR4C围绕着几个简单概念开发而成,其目标是将MapReduce的重要细节抽象化,允许用户专注于开发有价值的算法。去年6月,Google收购了Skybox。半年之后的现在,又将MR4C开源出来。这对于没有能力开发专有系统或者对Java不感冒的开发者来说无疑是一个福音。

当然,MR4C的受欢迎程度仍有待观察。因为在数据处理方面,Apache Spark是一个速度比Mapreduce更快的框架,它支持Scala、Python和Java(但不支持C/C++),已经引起了开发社区极大的兴趣。

+1
0

好文章,需要你的鼓励

参与评论
登录后才能参与讨论哦...
后参与讨论
提交评论0/1000

请回复有价值的信息,无意义的评论将很快被删除,账号将被禁止发言。

下一篇

注:独角兽当然是难得的异兽。既然难得,就不是每一匹马都能成为独角兽。做生活方式类企业Flow的Andrew Wilkinson认为,初创企业未必需要走融资、永远争当第一的独木桥,就像稳扎稳打的In-N-Out快餐店一样,做一匹专注于客户、员工和自己快乐而闷声发财的纯种马也挺好。 自从1948年Harry和Esther Snyder创办了In-N-Out快餐连锁以来,其免下车快餐的概念就迅速流行了起来。Snyder家族跟其他竞争对手不一样,他们专注于给员工提供好的薪水,为顾客提供高品质的食品,不着急扩大规模以维持品质。尽管67年的时间里In-N-Out发展到300多家店面,但是这些店面仍大部分仅限于美国西部。而且它的食谱、服务和价格基本都维持不变。食材一直保持新鲜,薯条依然手工切制,In-N-Out既不谋求不上市也不去融资,这家估值超5亿美元的公司仍归Snyder家族所有。 In-N-Out是一家生活方式类企业,这家排名第15的快餐连锁没有为了与业界排名第一的麦当劳竞争而采取快速扩张的策略,而是慢慢增长自己的业务,哪怕已经发展了67年,其估值也才有6.25亿美元。

2015-02-23

36氪APP让一部分人先看到未来
36氪
鲸准
氪空间

为你推送和解读最前沿、最有料的科技创投资讯

一级市场金融信息和系统服务提供商

聚集全球最优秀的创业者,项目融资率接近97%,领跑行业