(관심 논문) Intelligent Resource Scheduling for Co-locatedLatency-critical Services: A Multi-ModelCollaborative Learning Approach

Lei Liu1∗ , Xinglei Dou2 , Yuetao Chen2 1Beihang University; 2 ICT, CAS; Sys-Inventor Lab

February 21–23, 2023 • Santa Clara, CA, USA

USENIX Association

21st USENIX Conference on File and Storage Technologies

 

 

 

---

Abstract

---

 

 

 

  Latency-critical services는 cloud environments에서 널리 배포되어 있다. cost-efficiency를 위해, multiple services는 일반적으로 server에 co-located한다. 따라서, runtime resource scheduling은 이러한 complicated co-location cases에서 QoS control의 핵심이 된다. 그러나 server resource가 증가함에 따라 scheduling exploration space가 빠르게 확대되어서, schedulers는 빠르고 효율적인 이상적인 solution을 제공할 수 없게 된다. 더 중요한 것은, 저자들은 scheduling exploration space에서 "resource cliffs (자원 절벽)"가 잇다는 것을 관찰하였다. 이러한 resource cliff는 exploration efficiency에 영향을 미치고, previous schedulers에게 심각한 QoS 변동을 일으키게 한다. 이러한 문제를 해결하기 위해, 저자들은 새로운 ML-based intelligent scheduler인 OSML을 제안한다. 이것은 architectural hints (e.g., IPC, cache misses, memory footprint, etc...), scheduling solution and Qos demands 간의 correlation을 학습한다. OSML은 multiple ML model을 사용하여 QoS variation(Qos 변동)을 예측하고 scheduling을 조율하며, 복잡한 co-location case에서 QoS violation(Qos 위반)을 복구한다. OSML은 scheduling 중 resource cliffs를 지능적으로 피하고, co-located application에 대한 이전 접근 방식보다 훨씬 빠르게 최적의 solution에 도달할 수 있다. 실험 결과, OSML은 더 낮은 scheduling overhead and shorter convergence time으로 더 높은 loads를 지원하고 이전 연구보다 QoS 목표를 충족한다.