Search for a command to run...
Series
AI관련된 무언무언가?
Intro to ETL Pipeline 우선 ETL은 약자인데 무엇의 약자이냐면 ETL: Extract Transform Load 의 약자이다. 그래서 ETL 파이프라인이 뭐냐고 하면, ETL 파이프라인은 데이터 파이프라인의 일부이다. 그럼 다시 데이터 파이프라인이란 무엇인가? 데이터 파이프라인이란 다양한 데이터 소스에서 원시 데이터를 수집하고 변환한 다음 분석을 위해 데이터 레이크나 데이터 웨어하우스같은 데이터 저장소로 이식하는 방법...
이번에는 MLOps 입문을 위해 빠르고 간단한 도커 관련 개념 글 하나로 정리하기...같은 개념으로 작성해봤다. 어차피 이미 도커 관련 글이 블로그에 있으니... Why Docker container? ML 프로젝트들을 하다보면 특정 라이브러리에 의존하게 되는 경우가 많은데, 배포하려는 경우 환경도 라이브러리 버전, 운영체제 및 기타 환경들을 똑같이 맞춰주지 않으면 프로그램이 정상적으로 동작하지 않는다. 이러한 문제점을 해결하기 위해 가상머신들...
MLFLOW Pipeline with DVC, MLFLOW, Dagshub 여기서는 MLFLOW, Dagshub, DVC를 이용해 모델을 트랙킹하는 것을 실제로 진행하는 과정을 보여준다. 우선 결론부터 ├── data │ ├── processed │ │ └── data.csv │ └── raw │ ├── data.csv │ └── data.csv.dvc ├── dvc.lock ├── dvc.yaml ├── ...
대단한 뜻은 없고 MLOps 강의에 있는 플라스크 부분을 가져온 것 뿐이다 Flask Flask 시작하기 flask를 돌리기 위해 우선 flask를 설치해주어야한다. from flask import Flask app = Flask(__name__) @app.route("/") def welcome(): return "Welcome to this Flask course" @app.route("/index") def welcome_...
사용 개념 Deepseek-R1-Distill-Llama-8B 이 블로그 글은 Deepseek-R1-Distill-Llama-8B를 4비트 양자화와 LoRA를 활용해 파인튜닝하고 허깅페이스에 모델을 호스팅하는 것까지를 설명한다. 코드 리뷰를 위해 파인튜닝하였는데, 그 코드를 변형하여 포스팅한다. Deepseek-R1-Distill-Llama-8B모델은 딥시크 R1을 경량화한 모델로 8B크기라서 쓸만한 편이다. 양자화 모델을 그냥 파인튜닝(FP3...
