(관심 논문) GL-Cache: Group-level learning forefficient and high-performance caching

Juncheng Yang, Carnegie Mellon University; Ziming Mao, Yale University; Yao Yue, Pelikan Foundation; K. V. Rashmi, Carnegie Mellon University

February 21–23, 2023 • Santa Clara, CA, USA

USENIX Association

21st USENIX Conference on File and Storage Technologies

 

 

 

---

Abstract

---

 

 

 

  Web applications는 low-latency, high-throughput services를 위해 software cache에 매우 의존한다. 변화하는 workloads에 대응하기 위해, 최근 몇 년간 learned cache (learned evictions)의 세 가지 유형이 디자인되었다 :

• object-level learning
• learning-from-distribution
• learning-from-simple-experts

  그러나 저자들은 existing approaches에서 learning granularity가 too fine(자잘한, 미세한)하면 (object-level), significant computation and storage overheads가 발생하고, too coarse하면 (workload or expert-level), 객체 간의 차이를 포착하는 데 부적합하며 상당한 효율성 차이가 남아있을 수 있다고 주장한다.

  본 연구에서는, cache 학습을 위한 새로운 접근 방식인 "group-level learning"을 제안한다. 이는 비슷한 객체들을 group으로 묶어 학습과 방출(제거, eviction)을 group level에서 수행한다. group level에서 학습하면 더 많은 신호를 축적하여 adaptive weights로 더 많은 특징을 활용하고, overhead를 객체로 분할하여 분할 비용을 줄이면서 high efficiency and high throughput을 모두 달성할 수 있다. 저자들은 GL-Cache를 opensource production cache에 구현하여 group-level learning을 증명했다. 118개의 rpoduction block I/O 와 CDN cache traces에 대한 평가 결과, GL-Cache는 state-of-the-art designs보다 높은 hit ratio와 throughput을 보여준다. LRB(object-level learning)과 비교했을 때, GL-Cache는 cache 크기 전체에서 평균적으로 throughput을 228배 향상시키고 hit ratio를 7% 향상시킨다. P90(상위 10% traces)의 경우, GL-Cache는 LRB보다 25% bit ratio를 향상시킨다. 모든 학습된 cache 중 최상의 결과와 비교했을 때, GL-Cache는 평균 64% 높은 throughput, 3% 높은 hit ratio 그리고 13% hit ratio 증가를 달성한다.