红联Linux门户
Linux帮助

开源Lustre TOP500超级计算机

发布时间:2011-08-27 09:06:59来源:红联作者:pinla
  Whamcloud,创建于2010年7月,专注于开源Lustre超级计算机文件系统的研制。(中国的天河- 1A系统也在大比例使用Lustre)他们以获得OpenSFS 210万美元的合约,以完善其功能并发展新的特性。

  Lustre是HP,Intel,Cluster File System公司联合美国能源部开发的Linux集群并行文件系统。它来源于卡耐基梅隆大学的的研究员Peter Braam在NASD项目研究工作。Lustre优势在于其可扩展性和可靠性,同时可满足大规模并行集群存储系统上的I/O需求。

  在世界500强超级计算机的文件系统中Lustre占据60%的份额,该设计支持PB级别的文件,并可高速访问存储在文件系统中的数据。

  在2007年Sun Microsystems公司对Cluster File Systems公司的包括Lustre File System在内的知识产权和商务资产等主要资产进行并购。并将技术用于ZFS(Zettabyte File System)之中,同时用于高性能计算市场。

  但是Oracle在2010年收购了Sun Microsystems,但Lustre并没有在Oracle的发展计划之中。因为Oracle对传统超级计算机集群并不是很感兴趣。不过Oracle将继续提供对Lustre 1.8业务的支持,但对于Lustre 2.0版本却不提供支持。

  Whamcloud是由一批来自美国能源部的Lustre爱好者组建的,并投入大量的资金用于超级计算机的研究。2010年9月公司得到1000万美元的赞助,同时在今年1月更多的Lustre专家从Oracle加入其中。

  即使有天使基金的投资,Whamcloud仍然需要更多的资金。前美国洛斯阿拉莫斯国家实验室数据中心的经理(Los Alamos National Laboratory)及现OpenSFS的CEO Norman Morse表示OpenSFS的成员每年要支付50万美元的会费。所以最初的5各成员已经缴纳了250万美元,在未来几个月中还会有400万美元用于Lustre的研发。

  Morse表示非营利OpenSFS的贡献者包括超级计算机制造商Cray、HPC存储供应商Data Direct Networks、劳伦斯?利弗摩尔国家实验室(Lawrence Livermore National Laboratory)和橡树岭国家实验室(Oak Ridge National Laboratory)。并已与这些贡献者达成一致,他们将优先发展并投资开发Lustre。

  目前,Lustre只有单一的元数据服务器,这是其文件服务的一个瓶颈。所以Whamcloud的开发人员将云数据服务器并行化,以提高容量和吞吐量。另外两个被添加到Lustre的特性是分布式命名空间和文件系统检查。

  Whamcloud CEO Brent Gorda表示虽然Lustre拥有高性能的特点。Lustre文件系统已经部署在政府、用于学术研究的超级计算实验室和商业领域,并取得成功。同时在华尔街、石油和天然气行业也是其用户。

  传统上,Lustre的管理一直使用CLI(命令行界面)。而今年6月在汉堡举行的国际超级计算机会议上,Whamcloud已经开始开发一个新的GUI(图形用户界面),这将使它更易于管理开源的Lustre文件系统。同时图形用户界面将使其更适合用于云服务。

  最后Gorda表示“如果你正在寻找有关IT的工作,也许成为Lustre专家是个不错的选择。Lustre的开发和管理人员有很高的需求。这项技术已经再次被人们重视,并逐渐开始使用它”。
文章评论

共有 3 条评论

  1. linuxunix 于 2011-08-28 11:08:13发表:

    牛B

  2. drivers 于 2011-08-27 21:16:57发表:

    强汗

  3. pgssk 于 2011-08-27 15:19:58发表:

    晓得了