Machine Learning Operations = ML + DevOps

Why MLOps?

• 새로운 데이터가 추가되었을 때, 데이터셋의 분포가 어떻게 달라졌을까?
• 데이터를 라벨링 한 후에 해당 데이터가 제대로 추가되었는지 어떻게 확인할 수 있을까?
• 로컬에서 학습한 모델을 온프레미스 클러스터나 클라우드에 옮겨서 빠르게 스케일업할 수 없을까?
• 로컬의 GPU 머신을 여러 명이 나눠 써야 하는데 어떻게 관리할 수 있을까?
• 1년 전에 만들어놓은 모델을 다시 재현하기 위해서는 어떻게 해야 하지?
• 모델을 배포한 후에 모델의 성능은 어떻게 모니터링할까?
• 깃업에 커밋이 되거나 데이터가 추가될 때 마다 자동으로 모델이 학습되는 CI 파이프라인을 구성할 수 없을까?
• 새로운 SOTA 모델이 공개되었는데, 나의 데이터를 사용해 해당 모델을 빠르게 재현해 보려면 어떻게 해야 할까?

5 steps to start MLOps

1. Experiment Tracking

• 머신러닝 실험과 Hyperparameter 및 Modeling 과정을 정확하게 기록

  1. Hyperparameter뿐만 아니라 개발환경, 커맨드, 로그, 메트릭 등 실험과 관련된 모든 정보를 기록합니다.
  2. 기록된 정보로 모델을 정확히 재현할 수 있는지 확인합니다. 특히, 데이터셋이 수시로 바뀌는 경우, 실험을 실행할 때마다 데이터셋의 버전을 기록하지 않으면 모델이 재현되지 않을 수 있습니다.
  3. 기록된 정보를 쉽게 찾아볼 수 있도록 중앙화된 저장소에 구조화하여 저장합니다. 시간이 지나도 해당 정보를 쉽게 찾아볼 수 있도록 엑셀이나 로컬환경에 저장하지 않고, 팀원과 상시 공유되는 중앙화된 저장소에 저장하는 것이 좋습니다.

  e.g. VESSL Experiments, Tensorboard, MLflow, Weights & Biases, Neptune.ai

2. Model Registry

• Model과 Model의 ‘Artifact’를 저장하는 저장소

  1. 모델 파일 뿐만 아니라, 서빙 또는 fine-tuning 할 때 필요한 데이터 전처리 관련 통계 및 설정 값 또한 저장해야 합니다.
  2. 이후에 쉽게 찾아볼 수 있도록 중앙화된 저장소에 구조화하여 저장합니다.
  3. 지속적인 모델 업데이트를 위해 파이프라인과 연계하여 사용하는 것이 좋습니다.

  e.g. VESSL Model Registry와 MLflow, Amazon Sagemaker

3. Job Orchestration

4. Model Serving

5. CI / CD Pipeline

• Other Components
  • Model Monitoring
  • 모델을 배포한 후 모델의 성능과 인퍼런스 결과 등을 모니터링 하는 작업. (Neptune AI, Evidently AI)
  • Dataset Versioning
  • 데이터가 지속해서 업데이트 되는 환경에서 각 파일을 git 처럼 시점에 따라 저장하고 복원할 수 있도록 버전관리 합니다. (Git LFS, DVC, VESSL Dataset)
  • Hyperparameter Optimization
  • AutoML의 일종으로, 머신러닝 모델에서 필요한 하이퍼파라미터를 자동으로 찾아주는 기술입니다. 데이터와 코드를 유지한채 더욱 정교한 모델을 찾고 싶을때 활용할 수 있습니다. (VESSL Sweep, Weights & Biases Sweep, Katib, Ray Tune)