(관심 논문) Fisc: A Large-scale Cloud-native-oriented File System
Qiang Li⋄ , Lulu Chen†⋄ , Xiaoliang Wang‡ , Shuo Huang⋄ , Qiao Xiang⋆ , Yuanyuan Dong⋄ , Wenhui Yao⋄ , Minfei Huang⋄ , Puyuan Yang⋄ , Shanyang Liu⋄ , Zhaosheng Zhu⋄ , Huayong Wang⋄ , Haonan Qiu⋄ , Derui Liu⋄ , Shaozong Liu⋄ , Yujie Zhou⋄ , Yaohui Wu⋄ , Zhiwu Wu⋄ , Shang Gao⋄ , Chao Han⋄ , Zicheng Luo⋄ , Yuchao Shao⋄ , Gexiao Tian⋄ , Zhongjie Wu⋄ , Zheng Cao⋄ , Jinbo Wu⋄ , Jiwu Shu⋆ , Jie Wu† , Jiesheng Wu⋄ , ⋄Alibaba Group, †Fudan University, ‡Nanjing University, ⋆Xiamen University
February 21–23, 2023 • Santa Clara, CA, USA
USENIX Association
21st USENIX Conference on File and Storage Technologies
Abstract
현재 cloud-native technologies의 발전에도 불구하고, existing distributed file system들은 multi-tenant cloud native application에는 적합하지 않다. 이는 두가지 이유 때문이다.
- 첫째, existing distributed file system의 clients는 일반적으로 heavyweight여서, containers 간에 resource multiplexing level이 낮아지기 때문이다.
- 둘째, existing distributed file system의 architecture는 network gateway를 기반으로 하고, cloud-native application에 대한 efficient하고 high-available and scalable I/O services를 제공하는 데 한계가 있다.
본 논문에서는, large-scale cloud-native distributed file system인 Fisc를 제안한다. Fisc는 세 가지 주요 디자인을 도입한다.
- 첫째, resource multiplexing을 개선하기 위해 lightweight file system client로 two-layer resource aggregation을 사용한다.
- 둘째, I/O service의 performance, availability and scalability를 개선하기 위한 storage-aware distributed gateway를 도입한다.
- 셋째, DPU-based virtio-Fisc device를 사용하여 핵심 기능을 하드웨어로 offload한다.
Fisc는 이미 3년 이상 운영 환경에서 배포되어, 현재 300만 개 이상의 코어에서 실행되는 cloud application을 제공한다. 실험 결과, Fisc client는 file system client에 비해 68%의 CPU resource만을 소비한다. 운영 환경에서 online searching tasks의 average latency는 Fisc에서 file에 access할 때 500 ㎲ 미만이다.