(관심 논문) Fisc: A Large-scale Cloud-native-oriented File System

Qiang Li⋄ , Lulu Chen†⋄ , Xiaoliang Wang‡ , Shuo Huang⋄ , Qiao Xiang⋆ , Yuanyuan Dong⋄ , Wenhui Yao⋄ , Minfei Huang⋄ , Puyuan Yang⋄ , Shanyang Liu⋄ , Zhaosheng Zhu⋄ , Huayong Wang⋄ , Haonan Qiu⋄ , Derui Liu⋄ , Shaozong Liu⋄ , Yujie Zhou⋄ , Yaohui Wu⋄ , Zhiwu Wu⋄ , Shang Gao⋄ , Chao Han⋄ , Zicheng Luo⋄ , Yuchao Shao⋄ , Gexiao Tian⋄ , Zhongjie Wu⋄ , Zheng Cao⋄ , Jinbo Wu⋄ , Jiwu Shu⋆ , Jie Wu† , Jiesheng Wu⋄ , ⋄Alibaba Group, †Fudan University, ‡Nanjing University, ⋆Xiamen University

February 21–23, 2023 • Santa Clara, CA, USA

USENIX Association

21st USENIX Conference on File and Storage Technologies

 

 

 

---

Abstract

---

  

 

 

  현재 cloud-native technologies의 발전에도 불구하고, existing distributed file system들은 multi-tenant cloud native application에는 적합하지 않다. 이는 두가지 이유 때문이다.

1. 첫째, existing distributed file system의 clients는 일반적으로 heavyweight여서, containers 간에 resource multiplexing level이 낮아지기 때문이다.
2. 둘째, existing distributed file system의 architecture는 network gateway를 기반으로 하고, cloud-native application에 대한 efficient하고 high-available and scalable I/O services를 제공하는 데 한계가 있다.

  본 논문에서는, large-scale cloud-native distributed file system인 Fisc를 제안한다. Fisc는 세 가지 주요 디자인을 도입한다.

1. 첫째, resource multiplexing을 개선하기 위해 lightweight file system client로 two-layer resource aggregation을 사용한다.
2. 둘째, I/O service의 performance, availability and scalability를 개선하기 위한 storage-aware distributed gateway를 도입한다.
3. 셋째, DPU-based virtio-Fisc device를 사용하여 핵심 기능을 하드웨어로 offload한다.

  Fisc는 이미 3년 이상 운영 환경에서 배포되어, 현재 300만 개 이상의 코어에서 실행되는 cloud application을 제공한다. 실험 결과, Fisc client는 file system client에 비해 68%의 CPU resource만을 소비한다. 운영 환경에서 online searching tasks의 average latency는 Fisc에서 file에 access할 때 500 ㎲ 미만이다.