⑴ 尋找宇宙第一縷曙光,華為HPC存儲為地球擦亮眼睛
愛因斯坦曾經說過「宇宙中最不可理解的事情,就是宇宙是可以被理解的。」人們尚不足以理解宇宙,但人們卻一直以來都嘗試觀測宇宙。也許每個人都曾仰望星空,好奇宇宙到底有多大,引力波、暗物質、黑洞都是怎麼回事兒。天文讓我們意識到人類的渺小,好奇心又讓人類不斷 探索 宇宙。可以說天文望遠鏡是地球的眼睛,關於它,你是否也有很多問號?
一問:人類有史以來建造的最大射電天文望遠鏡是?
答:不是哈勃望遠鏡
在絕大多數人們的印象中,能叫出名字的天文望遠鏡一定是哈勃望遠鏡了。哈勃望遠鏡的全稱是哈勃空間望遠鏡(Hubble Space Telescope),是以美國天文學家愛德溫·哈勃為名,於1990年4月24日成功發射,位於地球的大氣層之上的光學望遠鏡。
而人類有史以來建造的最大射電天文望遠鏡,則是平方公里陣列射電望遠鏡(Square kilometer Array, SKA)。於2011年由全球超過10個國家共同出資建造、運行、維護和管理的一部國際大科學裝置,將是人類有史計劃建造的世界最大綜合孔徑射電望遠鏡,將開啟人類認識宇宙的新紀元。
作為全球最大科學合作計劃,SKA始終致力於回答宇宙的一些最基本問題,如宇宙的第一縷曙光、宇宙的結構形成、宇宙中的生命起源等。對這些問題的研究必將開辟人類認識宇宙的新紀元。中國作為SKA成員國之一,致力於尋找「宇宙第一縷曙光」,揭開宇宙從黑暗走向光明這一壯觀的 歷史 畫卷。
二問:SKA牛在哪?
答:不但能打,還不單打獨斗
SKA橫跨三大洲,台址位於澳大利亞、南非及南部非洲8個國家的無線電寧靜區域,由分布在3000km范圍內的約2500面15m口徑碟形天線(高頻)、250km范圍內的250個直徑約60m的緻密孔徑陣列(中頻)以及130萬個對數周期天線組成的稀疏孔徑陣列(低頻)組成,其等效接收面積達平方公里級,頻率覆蓋范圍為50MHz 20GHz,核心處的半徑在5km左右。與現有地面最大的射電望遠鏡陣列EVLA相比,SKA的靈敏度提高了50倍,巡天速度提高了10000~200000倍
以往的天文望遠鏡往往是單打獨斗或僅形成局部網路,受地域限制都只能觀測星空的很小一部分,許多重要天文事件可能因此未被發現。而將世界各地的天文望遠鏡連成網路後,可以更加全面地觀測整個星空,減少「魚兒漏網」的幾率。此外,在某一重大天文事件發生時,也可通過寬廣的觀測網路來抵消地球自轉的影響,利用各地望遠鏡持續不斷地觀測。
三問:SKA還有什麼超出想像?
答:將產生天文學有史以來最大的數據流
SKA將產生天文學有史以來最大的數據流。一旦投入運行,僅在SKA的第一階段,生成的數據將達到約760PB!(1PB約105萬GB)
SKA能否取得里程碑式的重大科研成果,取決於SKA 科學數據處理能力和科學分析研究水平。承擔SKA最終的科學處理、面對科學家用戶、直接產生科學成果的工作將由 SKA 區域中心完成。中國SKA區域中心將作為國際上幾個大型區域數據中心之一,一方面承擔一定份額的SKA數據處理和存儲的國際義務,另一方面重點為中國乃至亞洲區域科學用戶提供必要的計算和數據存儲資源以及技術支持。
中國SKA區域中心原型機研製任務,由上海天文台負責完成。其中存儲系統的構建,是至關重要的一環。SKA巨大的數據量,高性能計算集群,分布在全球的SKA科學用戶,對區域中心的存儲系統提出了極高的要求,包括極致(I/O)高帶寬低時延;動態擴容、模塊化設計,保護投資;極致可靠,對數據缺失零容忍。
滿足SKA的存儲需要具備四種能力
首先,SKA需要處理多任務高度並發的應用 。以SKA第一階段全規模工作流實驗為例,整個實驗模擬宇宙再電離6小時觀測,多任務高度並發,數據峰值速度達到400Gb/s。需要構建高性能存儲系統,提升最大並發用戶數。
其次,需要大幅提升IO性能, 支撐SKA的天文大數據處理。以SKA的特徵星體檢索任務為例,天文學家人工分析模式下需要169天,超強算力升騰集群服務將時間縮短為10秒。為了匹配高性能計算集群,縮短數據訪問時間,需要構建低時延、高帶寬的存儲系統。
第三,海量天文數據的深度分析、存檔發布、科學研究、技術研發,面臨可擴展性、經濟成本可承受、穩定性和靈活適應性等多方面的挑戰 ,需要可以平滑擴容的存儲系統,降低TCO和提升存儲系統利用率。
第四,SKA區域中心,將吸引SKA國際夥伴和其他成員圍繞SKA進行科學研究和交流。 其數據重要性不言而喻,任何天文數據的缺失都會對最後的科研結果產生影響,失之毫釐謬以千里。這需要高可靠性的存儲系統,來保障SKA區域中心的全天候可訪問的能力。
四問:地球之眼誰來擦亮?
答:華為HPC存儲舍我其誰
為解決當前SKA天文數據處理過程中的問題,上海天文台攜手 華為OceanStor海量存儲 ,打造了高性能、高可靠、平滑擴容的數據分析處理平台。基於華為OceanStor海量存儲,上海天文台建成「 世界上首台SKA區域中心原型機 」,入選2019年中國天文十大 科技 進展,滿足SKA數據中心未來10~30年數據發展需求,在即將籌建的SKA區域中心全球網路中發揮引領性作用。
華為OceanStor海量存儲,採用DHT(Distributed Hash Table)演算法結合對高性能硬體(全NVMe SSD配置時)快速兼容,最大並發用戶數由400增加至1000,成功支撐迄今最大規模的SKA工作流程測試。
創新分層讀緩存機制,縮短數據訪問時間,對於常見的4K數據讀寫,平均時延保持在1ms左右;對於內部組網,採用大吞吐、低時延的InfiniBand交換機,內部數據交換帶寬由10Gb/s擴展至128Gb/s,縮短數據訪問時間,大幅提升IO性能,支撐天文大數據處理。
採用Scale-out架構設計,可以進行動態靈活擴容。增加存儲節點和存儲設備,在不影響原有業務的情況下,容量和性能兩個維度進行擴展。降低TCO和提升存儲系統利用率,應對SKA區域中心未來10~30年數據發展需求。
採用創新EC演算法,為SKA提供數據可靠保障。重構能力也能提升到傳統存儲的10倍,1小時重構2TB。
中國科學院上海天文台射電天文科學與技術室副主任&SKA課題組組長安濤表示:
我們需要重點解決海量數據的高效能的匯集海量數據的處理以及協同功能。華為OceanStor系統具有 高效能,高穩定性和大規模擴展能力 ,非常適合SKA數據處理和數據存儲能夠支持SKA項目的數據處理需求。我們期待在未來與華為公司能夠有更深入的合作,進一步的驗證和拓展華為OceanStor分布式存儲的能力,共同 探索 一條面向未來SKA EB量級海量存儲的解決方案。