EasyStack雲平台助力東南大學探索反物質
滿足高性能計算應用發揮極限性能

AMS計劃,阿爾法磁譜儀計劃(Alpha Magnetic Spectrometer),是由1976年諾貝爾獎獲獎者、著名美籍華裔物理學家、美國麻省理工學院丁肇中教授領導的,由全球包括美國、中國、俄羅斯、意大利、瑞士、德國等16個國家和地區的56個研究機構、1500多名科研人員參與合作承擔的國際性大型科研項目,造價約7億美元。這是人類第一次在太空中使用粒子物理精密探測儀器和技術的實驗。AMS計劃是國際空間站上唯一的大型科學實驗,是人類第一次在太空中使用粒子物理精密探測儀器和技術的實驗。其目的是通過探測宇宙中的反物質和暗物質,探索宇宙的起源與未知。
2002年開始,東南大學作為中國大陸第一所參與AMS項目的高校與丁肇中教授合作,包括參與AMS探測器的合作研制和建立東南大學AMS-02數據處理和分析中心(AMS-SOC)。自2011年5月AMS探測器升空以來,目前已累計接收並分析來自國際空間站的數據超過1PB,未來十年的實驗數據總量將達到4PB,對這些海量數據存儲、處理和分析是一個典型的科學大數據應用,同時也是AMS實驗當前工作的重中之重。作為AMS-02實驗在亞洲地區乃至世界范圍內最主要的數據處理中心,東南大學大數據共享服務平台主要承擔AMS實驗數據的處理和分析,利用雲計算和大數據技術助力AMS以給出暗物質存在的有力証據。
東南大學大數據共享服務平台面臨的四大挑戰
隨著近些年的數據爆炸、歷史數據沉積和計算量的猛增,東南大學現有的高性能雲計算中心受到硬件規模及性能、軟件配置等方面明顯的限制,已經無法滿足平台上承載的AMS實驗數據處理等大數據應用需求。從平台管理、穩定性、性能和擴展性方面均提出了巨大挑戰:
為實現對現有平台虛擬機、物理機、容器等實例資源的整合與調度,並確保計算高性能,東南大學要求以OpenStack作為軟件框架重新構建雲計算平台,支撐大數據服務等高性能計算應用﹔
高性能計算和大數據等應用對平台的穩定性和高可用性提出了雙重挑戰,要求基於雲平台所有的模塊都能夠穩定運行,並且任何模塊都需要有高可用功能支持﹔
為支撐AMS計劃等高性能計算任務,雲平台需要結合高速並行文件系統,在保証高可靠的前提下,並行文件系統實際持續並發讀寫性能≧10GB/s﹔
為支撐PB級數據處理,雲平台需要具備在統一平台上納管物理機、虛擬機、容器、大數據、高速分布式文件系統、網絡SDN解決方案,並且任何一個方向都能做到靈活擴展。
易捷行雲EasyStack如何助力東南大學AMS計劃?
為滿足東南大學大數據共享服務平台多項建設目標,對AMS實驗平台進行升級,東南大學選擇基於EasyStack ECS易捷行雲企業雲將原有大數據共享服務平台重構為雲計算平台,用以支撐AMS實驗數據處理、機械仿真、5G通信仿真等大數據應用,該項目建設具體實現。
管理方面:通過ECS易捷行雲企業雲,基於OpenStack架構為東南大學建設雲計算架構平台,利用OpenStack的ironic組件來進行純物理機的管理,在物理機上搭建高性能計算集群,利用Nova組件來進行虛擬機的管理、利用Magnum來進行容器的管理,既可滿足高性能計算應用發揮極限性能,又可對整個高性能計算集群的監控和平台統一管理。
穩定性方面:通過ECS易捷行雲企業雲所提供的熱遷移以及高可用特性,保証任何物理節點故障都不會影響上層業務的正常服務能力,除此之外,還通過業務層數據同步機制實現業務層級的高可用﹔
性能方面:通過ECS易捷行雲企業雲的Nova、Glance和Cinder組件,整合高速並行文件系統GPFS,通過GPFS並行文件系統實現對於所有IO硬盤的同時讀寫,持續保証並行文件系統實際並發讀寫性能≧10GB/s﹔
擴展性方面:通過ECS易捷行雲企業雲,實現API,物理機、虛擬機、容器、大數據、高速分布式文件系統、網絡SDN高擴展性,有效支撐PB級數據處理和存儲需求。
截止目前,東南大學AMS-SOC處理和分析的數據總量超過1PB,累計貢獻超過85萬CPU小時,在AMS-02全球六個地區的數據處理中心排行第一。
未來,基於EasyStack ECS易捷行雲企業雲平台,東南大學將繼續深入開展AMS實驗大數據處理的相關工作,進一步攻克面向AMS的雲計算及大數據處理關鍵技術,積極推動AMS實驗探索暗物質來源的進程,同時還將有效促進我國在面向科學計算的大數據處理以及雲計算等相關領域的研究水平與技術創新,形成自主知識產權,提升國際競爭力。
分享讓更多人看到
推薦閱讀
相關新聞
- 評論
- 關注