Lecture 1

1. Pruning
2. Quantization
3. Low Rank
4. Distillation

Lecture 2

wide & shallow vs narrow & deep network

• 같은 parameter 수 가정
• GPU에서 wide & shallow가 narrow & deep 보다 빠름!
  • Kernel call이 적기 때문에
• Accuracy는 narrow & deep 가 wide & shallow 보다 높음!

CNN

How to make large receptive field

$$ \text{Receptive field size}= L \times (k-1) + 1\newline (L\text{ : layer number, }k\text{ : kernel size)} $$

• $L$ 증가

  • 속도 느려짐!

• $k$ 증가

  • weight 개수 증가!

  <aside> ❓ k vs L 논의해보면 좋을듯? 일반적으로 L 증가하는게 성능 증가하는데, k증가시킨다고 속도가 안느려지나? parameter 개수 늘어나도 parallel computation으로 속도저하 없나?

  </aside>

Grouped / Depth-Wise Conv

• Grouped Conv

  

  • Channel을 group화!
  • ex) g = 2
    • channel을 두개의 group으로 묶음
    • 두개의 group간에는 상호작용 X
    • parameter 개수 $\div 2$

• Depth-Wise Conv

  

  • 각 channel마다 group화!

    • element-wise..?

  • NO FREE LUNCH

    • 장점: weight 개수 감소
    • 단점: channel 개수 자체를 증가시켜야함
      • memory data movement 증가
      • 느려짐

  • MobileNetV2에서 사용됨

    

    • Inverted Bottleneck!