Accelerator-Centric Systems for Scalable and Energy-Efficient Deep Learning

Deep learning is currently the fastest-growing field in machine learning and is transforming the various segments of our lives. This fast evolving technology was pioneered by GPU-accelerated computing systems and has enabled machines to be trained at a speed, accuracy, and scale that can drive innovation in artificial intelligence. In this talk, I will discuss two of my recent works focused on building accelerator-centric systems for scalable and energy-efficient deep learning: (a) by leveraging throughput-optimized GPUs for training, and (b) by using latency and energy-optimized ASICs for inference.

Minsoo is an assistant professor at the Department of Computer Science and Engineering at POSTECH, South Korea. He was formerly with NVIDIA Research as a senior research scientist developing hardware & software systems for accelerating deep learning applications. He holds a B.E. from Sogang University (2007), a M.S. from KAIST (2009) and a Ph.D. from the University of Texas at Austin (2014).

딥 러닝에 사용되는 모델의 크기가 커지면서 많은 데이터가 필요해지고, 이에 따라 더 많은 연산 능력이 필요해짐. Moore’s Law가 끝남에 따라 가속기를 사용하게 됨. HPC 어플리케이션에서 딥 러닝이 중요한 역할을 차지하게 됨. 딥 러닝 어플리케이션 성능을 높이기 위한 아키텍쳐 측면의 개선이 필요함. Training은 많은 데이터를 batching해 연산하므로 GPU에 적합하지만, inference는 적합하지 않다. Deep networks는 더 많은 GPU 메모리를 요구한다. Baidu에서는 다음 세대의 GPU에서 다른 기능보다도 더 많은 메모리를 기대하고 있다. 물론 unified address space를 사용하면 해결되는 문제이지만, 성능이 떨어진다는 문제가 있다. 성능이 떨어지는 이유는 GPU가 slave로서 동작하기 때문이다. Page migration에 많은 추가 연산이 필요함. TPU도 마찬가지의 문제가 있다고 함. GPU 메모리 사용량의 대부분은 feature map이다. feature maps > gradients > weights의 순서로 메모리를 사용함.

virtualized DNN(vDNN)을 제안함. CPU와 GPU 메모리를 동시에 사용할 수 있도록 DNN 메모리를 가상화. 메모리 가상화에서 발생하는 성능 저하를 최소화하고자 함. CPU-centric HW/SW 스택을 우회. Feature map이 주기적으로 재사용된다는 점에 착안하여, CPU 메모리에 spill 해두었다가 사용되는 시점에 다시 가져온다. 평균 3%의 성능 저하로 GPU 메모리 사용량의 90%를 줄일 수 있다.

Posted in 1) Memo

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

누적 방문자 수
  • 98,778 hits
%d bloggers like this: