Lecture 19

Federated Learning

Deep Leakage from Gradients

• Gradient로 Training Data 유추가능?!
• Gradient Inversion
  • Membership Inference
    • Data point가 batch에 속해있는지 유추 가능!
  • Property Inference
    • Data point와 특정 property가 batch에 속해있는지 유추 가능!

Gradients Matching

• Vision Model과 Language Model 둘다 원본 복원 가능!

Defense Strategy

1. Gaussian and Laplacian Noise
   1. ⇒ 효과 X!
      1. Noise 증가 → Leakage 감소 하지만 Acc도 감소 ㅠㅠ
2. Gradient Compression (Pruning)

   1. ⇒ 효과 O!

      1. 30% 이상 prune했을 때 no leak!

      

Memory bottleneck of on-device training

CNN

• Inference

  • 문제 X
    • 매 layer마다 하나의 weight, activation, bias 사용

  

• Training

  • 문제 O

    • Parameter 문제 X
    • Activation 문제 O

    

    

  • 해결방법

    1. 마지막 layer만 finetune?

       

       1. parameter 12배 감소
       2. Acc 처참함 → 효과 안좋음

    2. BN layer + 마지막 layer finetune?

       1. parameter 12배 감소
       2. Acc 12% 감소
       3. 하지만 memory cost는 1.8배 감소… → 효과 떨어짐!

       

    3. Bias term만 + Last layer

       

       1. memory cost 12배 감소
       2. Acc 16.3% 감소

    4. TinyTL (Bias + Lite Residual Learning) (more detail below)

       1. memory cost 6배 감소
       2. Acc Not bat

TinyTL

Tiny Transfer Learning