Dagster Config로 단순 예측 모델 설정하기

 Dagster에서는 자산(@asset)에 사용자 설정(config) 을 깔끔하게 적용할 수 있는 구조를 제공합니다.
이번 글에서는 Config 클래스를 정의하고, 이를 간단한 평균 기반 예측 모델에 적용하는 예시를 통해 살펴보겠습니다.

 

Config란?

Dagster의 Config는 외부에서 자산 실행 시 파라미터를 유연하게 전달할 수 있게 해주는 도구입니다.

예를 들어 "최근 며칠 동안의 데이터를 보고 예측할 것인지"를 사용자가 설정할 수 있도록 하려면 다음과 같이 작성할 수 있습니다:

import dagster as dg

class ForecastModelConfig(dg.Config):
    lookback_window_days: int = 30  # 기본값 30일

 

 

단순 예측 모델 예시

이제 해당 설정값을 받아서 단순한 평균 기반 예측 모델을 실행하는 자산을 만들어보겠습니다.

import pandas as pd
import dagster as dg

# 설정값 정의
class ForecastModelConfig(dg.Config):
    lookback_window_days: int = 30

# 자산 정의
@dg.asset
def forecast_model(config: ForecastModelConfig) -> float:
    # 더미 데이터: 최근 100일간의 매출 데이터
    data = pd.Series([100 + i for i in range(100)])

    # 설정된 기간만큼 데이터를 슬라이싱
    recent = data[-config.lookback_window_days:]

    # 평균을 기반으로 단순 예측 수행
    forecast = recent.mean()
    
    print(f"[예측] 최근 {config.lookback_window_days}일 평균 = {forecast:.2f}")
    return forecast

이 자산은 실행할 때마다 설정값에 따라 동작을 다르게 하며,
예측 결과(예: 다음 주 평균 매출)를 숫자로 반환합니다.

 

 

실행 구성

Dagster CLI나 UI를 통해 다음과 같은 설정으로 자산을 실행할 수 있습니다:

assets:
  forecast_model:
    config:
      lookback_window_days: 7

→ 최근 7일간의 평균을 기준으로 예측이 수행됩니다.

 

 

왜 유용한가?

 

마무리

Dagster의 Config 기능은 데이터 파이프라인에서 자산을 더욱 유연하고 확장 가능하게 만들어 줍니다.
단순한 예측 모델부터 고급 머신러닝 모델까지, 설정값을 파라미터화하면 관리와 실험이 쉬워집니다.

🔍 한 줄 요약:
@asset + Config 조합은 “설정 가능한 데이터 자산” 을 만들 수 있는 강력한 도구입니다.