<aside> 💡 **실습 목표

1. Github Actions 를 활용하여 예제 머신러닝 코드 실행하여 성능 지표 출력하기
2. CML 을 사용하여 성능 지표를 레포트 형태로 출력하기
3. 분석 코드 변경 후 재배포 시 레포트 재생성 하기
4. DVC 를 활용하여 Metric 의 변화 추적하기**

</aside>

Github Actions 를 활용하여 예제 머신러닝 코드 실행하여 성능 지표 출력하기

• New Repository

  • Repository name : github-actions-cml

• 실습 Github Repo 복사

  • https://github.com/yunjjun/github-actions-project.git 에 접속하여 github-actions-cml 브랜치로 이동하여 우측 상단 Fork 클릭
  • 또는 해당 링크 복사 후 자신의 Github Repo 에 push

• Red Wine Quality 데이터 소개

• 훈련 코드 (train.py) 소개

• .github/workflows/cml.yml 파일 생성

  • 아래 코드 복사

  name: model-training
  on: [push]
  jobs:
    run:
      runs-on: ubuntu-latest
      steps:
        - uses: actions/checkout@v2
        - uses: actions/setup-python@v2
        - uses: iterative/setup-cml@v1
        - name: Train model
          env:
            REPO_TOKEN: ${{ secrets.GITHUB_TOKEN }}
          run: |
            pip install -r requirements.txt
            python train.py
  					echo "MODEL METRICS"
  					cat metrics.txt
  

• 새로운 브랜치 만들어서 commit → build → terminal 에 metric 프린트 → 충분하지 않음

CML 을 사용하여 성능 지표를 레포트 형태로 출력하기

• CML : 데이터 사이언스 프로젝트를 지속적으로 통합시키기 위한 오픈소스

  GitHub - iterative/cml: ♾️ CML - Continuous Machine Learning | CI/CD for ML

• Markdown 형식으로 내보내기

  echo "## MODEL METRICS" > report.md
  cat metrics.txt >> report.md
  

• CML Command 를 사용하여 분석 결과 이미지를 Markdown 형식으로 내보내기

  • CML Command 살펴보기

  echo "## Data viz" >> report.md
  cml-publish feature_importance.png --md >> report.md
  cml-publish residuals.png --md >> report.md
  cml-send-comment report.md
  

• Build

분석 코드 변경 후 재배포 시 레포트 재생성 하기

• 분석 코드 변경
  • max_depth 를 2 → 5 변경
  • commit 변경
  • Build
• 결과 변화 확인
• Commit 기록으로 해당 변화 시의 데이터,코드,환경 확인 가능

DVC 를 활용하여 Metric 의 변화 추적하기

• Github Repo Fork

  • 데이터 확인 및 다운로드

  • process_data.py 실행

  • train.py 실행

    ## AttributeError: 'Series' object has no attribute 'to_numpy' 에러 시 참고
    pip install --upgrade pandas
    

• Metric 의 변화는 어떻게 알 수 있을까?

  • Git diff

    • 수치 비교보다는 코드의 변화를 알기 위해 보통 사용하므로 활용이 어렵다.
    • 파일 변경 이력을 알기 어렵다 → 모델링 전략 변경을 알기 어렵다.

  • DVC 사용!

    • install dvc

    pip install dvc
    

    • 파이프라인 빌드
    • 파이프라인에 따라 재생성
    • .github/workflows/train.yaml 생성
    • 모델링 변경하여 테스트