Dryad是一款
微软并行软件平台。微软的Dryad项目主要研究用于编写并行和分布式程序的编程模型。
微软发布了公测版Dryad平台,成为
谷歌MapReduce分布式数据计算平台的竞争对手。微软的Dryad项目主要研究用于编写并行和分布式程序的编程模型。
目前,科技界已经有一款发展迅速的开源版MapReduce:
apache的
Hadoop项目。微软至少有一个部门正在使用Hadoop,并且为其贡献代码。现在微软推出自己的产品并不令人奇怪,因为Hadoop毕竟是开源项目。
微软在博客中表示,已经发布了Dryad平台以及DryadLINQ
编程语言的“社区技术预览”。 DryadLINQ被用于在该平台上构建应用。与
谷歌的专有平台MapReduce相似,Dryad也通过分布式计算机网络计算
海量数据。但与MapReduce不同的是,Dryad是针对运行Windows HPC Server的
计算机集群设计的,而且DryadLINQ使用.NET的LINQ查询语言模型。
2004年,谷歌发布了两篇关于MapReduce和分布式文件系统
GFS的研究报告,这两篇报告成为
Hadoop的基础。Hadoop最初是由开源网络爬虫
nutch的创始人达格·卡廷(Doug Cutting)开发的。
apache 将Hadoop变为开源项目,
雅虎日本也对Hadoop进行了单独开发。现在,Hadoop是雅虎的在线基础设施的重要支撑,并且已经被Facebook、
Twitter、
苹果公司和
微软等科技巨头采用。2008年,微软收购了语义搜索企业
Powerset,并将Powerset公司基于Hadoop的相关技术用于必应(Bing)搜索引擎。
微软甚至允许原Powerset员工承诺向
Hadoop贡献代码。Powerset还成立了Hadoop的姊妹项目
HBase,模仿
谷歌的
BigTable分布式数据库。
事实上,Dryad和DryadLINQ早在微软收购Powerset之前就已经存在。微软于2007年首次发布了关于该技术的研究报告,并于2009年夏向学术界发布了非商业版Dryad和DryadLINQ。
Dryad的“社区技术预览”要求必须有基于Windows HPC Pack 2008 R2 Enterprise的
计算机集群,并且安装有Service Pack 1。已经注册HPC Pack 2008 R2的用户可以获取该社区技术预览。
类似于Dryad,
Hadoop也提供自己的查询语言,事实上,它有两种查询语言。
雅虎日本开发的查询语言被称为Pig,而Facebook开发的更
高级语言被称为
hive。