(관심 논문) HadaFS: A File System Bridging the Local andShared Burst Buffer for Exascale Supercomputers

Xiaobin He1 , Bin Yang2 1∗ , Jie Gao1 , Wei Xiao1 , Qi Chen2 , Shupeng Shi1 , Dexun Chen1 , Weiguo Liu4 , Wei Xue2 3 1, Zuo-ning Chen5† 1National Supercomputing Center in Wuxi, 2Tsinghua University, Dept. of C.S, 3Tsinghua University, BNRist.,4Shandong University, 5Chinese Academy of Engineering

February 21–23, 2023 • Santa Clara, CA, USA

USENIX Association

21st USENIX Conference on File and Storage Technologies

 

 

 

---

Abstract

---

 

 

 

  현재 supercomputers는 HPC application의 증가하는 I/O requirements를 충족시키기 위해 SSD를 도입하여 Burst Buffer (BB) layer를 형성한다. BB는 deployment location에 따라 두 가지 유형으로 나뉠 수 있다. 하나는 local BB로, scalability와 performance로 유명하다. 다른 하나는 shared BB로, data sharing and deployment costs의 장점이 있다. local BB와 shared BB의 이점을 통합하는 방법은 HPC community에서 중요한 문제이다. 

  저자들은 local BB deployment의 이점을 shared BB deployment에 제공하는 혁신적인  BB file system인 HadaFS를 제안한다. 

1. 먼저, HadaFS는 ultra-scale expansion and data sharing 문제를 해결하기 위해 new Localized Triage Architecture (LTA)를 제공한다.
2. HadaFS는 full-path indexing approach와 metadata synchronization strategies 3가지를 제안하여 전통적인 file system의 복잡한 metadata management 문제와 application I.O behavior의 불일치 문제를 해결한다.
3. 또한, HadaFS는 BB내에서 efficient data query를 지원하고 BB와 전통적인 HPC storage 간의 data migration을 가속화하는 데이터 관리 도구인 Hadash를 통합한다.

  HadaFS는 Sunway New-generation Supercomputer (SNS)에서 배포되어 수백 개의 응용 프로그램을 서비스하며 최대 60만 clients scaling을 지원한다.