DAG란?

Directed Acyclic Graph
→ 방향성이 있는 비순환 그래프

 

 

DAG의 구성 요소

Dagster에서 DAG는 다음과 같은 요소로 구성됩니다:

 

 

Dagster에서의 DAG

Dagster는 모든 자산(asset)과 작업(op)을 내부적으로 DAG 형태로 구성합니다.
그래서 Definitions(...)에 자산들을 등록하면,
Dagster는 자동으로 각 자산의 의존 관계를 분석해서 DAG을 생성합니다.

예:

@asset
def raw_data():
    ...

@asset
def clean_data(raw_data):  # 👈 raw_data를 입력으로 받음
    ...

위 구조는 다음과 같은 DAG이 됩니다:

raw_data ───▶ clean_data

 

요약

Dagster에서 DAG는 자산 또는 작업들 사이의 의존 관계를 나타내는 방향성 있는 비순환 그래프입니다.

• 각 자산/작업은 노드
• 데이터 흐름은 간선
• 순환이 없어서 정해진 순서대로만 실행