20160623

초청연사: Stephen W. Keckler (VP of NVIDIA Research, UT Austin 겸임 교수)
일시: 2016년 6월 23일 (목) 오후 2시 00분
장소: KAIST 전자과 2층 우리별 세미나실 (E3-2, 2201호)

Title: Architectures for Deep Neural Network

Abstract: Deep Neural Networks (DNNs) have emerged as a key algorithm for a wide range of difficult applications including image recognition, speech processing, and computer virus detection. Today’s DNNs are often trained on farms of GPUs and then deployed in a wide range of systems from mobile to server. Current trends in DNN architectures are toward deeper and more complex networks, placing more stress on both training and inference. This talk will discuss the challenges associated with emerging DNNs and describe recent work that (1) enables larger and more complex networks to be trained on a single GPU with limited memory capacity; and (2) methods of reducing the memory and computation footprints of DNNs at inference time, enabling them to run with vastly improved energy efficiency. This talk will draw on recent results by researchers at NVIDIA, MIT, and Stanford.

Bio: Steve Keckler is the Vice President of Architecture Research at NVIDIA and an Adjunct Professor of Computer Science at the University of Texas at Austin, where he served on the faculty from 1998-2012. His research interests include parallel computer architectures, high-performance computing, energy-efficient architectures, and embedded computing. Dr. Keckler is a Fellow of the ACM, a Fellow of the IEEE, an Alfred P. Sloan Research Fellow, and a recipient of the NSF CAREER award, the ACM Grace Murray Hopper award, the President’s Associates Teaching Excellence Award at UT-Austin, and the Edith and Peter O’Donnell award for Engineering. He earned a B.S. in Electrical Engineering from Stanford University and an M.S. and a Ph.D. in Computer Science from the Massachusetts Institute of Technology.

Deep learning이 많은 곳에서 사용되고 있다. Neural network가 지속적으로, 반복적으로 주의를 끌고 있다. 이는 기계 학습 트렌드 때문이다. 기계 학습을 적용할 수 있는 많은 데이터를 사용할 수 있게 되었다. Self-driving에도 deep learning을 사용하고 있다. 데이터 셋이 커짐에 따라 모델의 정확도는 더욱 증가하고 있지만, 연산 시간 또한 증가한다. DNN은 어떻게 동작하나? DNN은 back propagation을 통해 학습. 그리고 이렇게 학습한 DNN을 사용해 작동. 하지만 알고 보면 DNN은 dense MxV 연산이다. CNN에서 convolutional stage는 trained feature detector로서 동작한다. 가속을 통해 network를 빠르게, 그리고 효율적으로 실행할 수 있다. 오늘날 GPU는 de facto training engine이다. vDNN: Virtualizing DNN training on GPU data. Trend: large and deep neural networks. ML의 트렌드는 더 크고 더 깊은 네트워크 topology로 가고 있다. 왜 학습이 그렇게 많은 메모리를 사용하나? Feature map 데이터가 가장 많은 메모리를 사용한다. 문제는 feature map의 reuse distance가 길다는 것이다. 수백ms 이후에 재사용된다. Virtualized DNN(vDNN). DNN 메모리 사용을 가상화한다. CPU와 GPU 메모리 모두를 메모리 할당에 사용한다. GPU 메모리를 캐시로 사용한다. 성능 손실을 최소화한다. 현재의 GPU 가정인 large memory GPU보다 적은 오버헤드를 보인다. CPU / GPU 링크 대역폭을 늘린다면 성능 향상은 더욱 잘 될 것이다. DNN을 더욱 효율적으로 만들자. MAC, RAM access를 줄이면서도 정확도는 높이는 것이 목적. 메모리 계층에서 local data를 사용하는 것은 매우 중요하다. local SRAM 접근에는 5pJ/word, on-chip SRAM 접근에 50pj/word, LPDDR DRAM 접근에 640pJ/word 소모됨. 에너지 절약에 reducing precision, network pruning, reduce storage, reduce energy 등을 사용할 수 있음. 자료형 크기에 따른 에너지 소모를 봄. 자료형이 크면 클수록, 정확하면 정확할수록 더 많은 에너지가 들게 됨. 32bit에서 16bit로 자료형의 크기를 줄일 때, 에너지는 20%밖에 안 들지만 정확도는 거의 유사하다. 따라서 자료형의 크기를 줄임으로써 에너지 대비 정확도를 크게 높일 수 있다. Pruning은 그래프 edge의 일부를 삭제함으로써 연산량을 줄이는 것. Pruning만 하면 정확도가 떨어질 수 있으므로, pruning 이후 retrain을 함으로써 연산량을 줄이면서도 정확도는 거의 비슷하게 유지할 수 있다. Unique한 weight의 수를 줄임으로써 메모리 사용량을 줄일 수 있다. 예를 들어, 4×4 테이블이 있다면 원래는 16개의 unique한 weight가 발생함. 하지만 유사한 것끼리 묶어서 네 개의 레벨로 만들고, 인덱스만 기록한다면 더 적은 메모리 사용해 표현 가능함(Quantization?). ISCA’16에 발표된 논문 중 하나인 Eyeriss 논문 소개. DCNN 가속기 아키텍쳐. Processing engine(PE) 내에서의 데이터 재사용을 최대화하고자 설계함. Filter를 압축해서 사용함. Run-length compression을 사용. 그 다음으로 ISCA’16에 발표된 EIE 소개. 이 논문에서는 DNN model 자체를 압축함. compressed pruned network, weight sharing, zero skipping의 특징을 갖는다. 현재의 GPU보다 5000~7000배 에너지 효율적이다. CNN에서 요구하는 연산량은 계속해서 증가하고 있다. emerging CNN variants: RNNs, LSTMs. Architecture, VLSI, circuit 수준에서 많은 발전의 기회가 있다.
Sparking neural network에 대해서 어떻게 생각하나? SNN은 알지 못하는 것에 대해 모델링하는 것으로 본다 (Keckler). 우리는 뇌에 대해서 이해하지 못하고 있다. 그런데 모델링하는 것은 이상하다. Memristor를 사용하는 것은 어떤가? 앞으로 수십년간 사용될 것으로 보임. 기회가 있지만, 연구가 진행되기를 보고 있다.

Advertisements
Tagged with: , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,
Posted in 1) Memo

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google+ photo

You are commenting using your Google+ account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s

Recent Posts
누적 방문자 수
  • 144,084 hits
%d bloggers like this: