Data Mastery: From Analysis to System De

검증 요약 리포트  def verification_table_summary(file_id): # 검증 데이터 로드 data = get_dataframe_from_database('order verification', file_id) # 문서 생성 doc = docx.Document() previous_parent_index = None for index, row in data.iterrows(): file_id = row[1] numbering = row[2] # 'Numbering' 열 result = row[4] # 'Verification Result' 열 parent_index = row[7..

형식 검증  1. 순위 검증 import pandas as pdimport numpy as npdef check_sequence_and_start_order(data): """ 주어진 번호 매기기(numbering sequence) 값을 이용하여 형식검증을 진행합니다. Args: data (DataFrame): 업데이트할 데이터 프레임. Returns: DataFrame: 업데이트된 데이터 프레임. """ # 'None' 값이 있는 행 제거 data = data.dropna(subset=['Numbering Sequence']) data['Verification Content'] = 'Normal' data['Verification..

문단 자연어 처리  본 시스템은 발전소와 같은 대규모 시설의 안전하고 효율적인 운영 및 유지 관리를 지원하기 위해, 절차서의 각 단락에서 구문 및 의미 정보를 추출하는 새로운 방법을 제안함. 이를 위해, 절차서에서 비텍스트 요소인 이미지 및 표를 제거하는 단계와 텍스트의 구조적 특성을 분석하는 단계를 포함하는 전처리 과정을 거치고. 전처리된 텍스트는 확장된 자연어 처리 유닛으로 전달되어, 자연어 처리 기술을 통해 분석 및 수정됨. 이 과정을 통해, 각 단락에 포함된 중요한 의미를 가진 개체를 식별하고, 단락의 유형을 분류하며, 조치사항을 담은 단락의 세부 요소를 파악하는 정보 추출 작업을 수행함. 1. 구문 분석 구문분석은 문장의 구조를 나타내는데 사용되며, 구문 분석을 통해 문장의 각 구성 요소를 문법..

문서 파일 전처리 문단과 문서의 속성 정보를 정밀하게 분석하여 체계적으로 처리합니다. 자동화된 시스템을 통해 효율적으로 데이터를 추출하고, 이를 데이터베이스(DB)에 안전하게 적재하여, 추후 분석 및 관리가 용이하도록 합니다. 이를 통해 문서 관리의 효율성을 극대화하고, 데이터의 일관성과 정확성을 보장합니다. 1. 문서 속성  def get_document_info(doc_path, file_id): import win32com.client as win32 word = win32.Dispatch("Word.Application") doc = word.Documents.Open(doc_path) word.Visible = False paragraphs = doc.Paragraph..

제안 배경장치산업 분야에서는 모든 작업을 절차서에 준해서 수행하기 때문에, 절차서에 내재된 인적 오류 요인의 제거가 필수적임. 특히, 대외비 자료인 절차서에 대한 기밀 유지가 필요하므로 인적 유출의 방지를 위해 자동화된 시스템의 도입이 필요함  기술 개발의 필요성본 기술개발의 목적은 절차서에서 인적 오류 요인을 효율적으로 검증하여 안전성과 생산성을 향상시키는 것 이를 위해 절차서의 구문적 및 의미적 정보를 추출하고 절차서 관리의 정확성을 높이기 위한 자연어처리 기반 방법론과 소프트웨어를 개발할 필요가 있음 자연어처리 기술을 이용하여 절차서의 중요 정보를 자동으로 추출하고 오류를 효과적으로 식별함으로써, 절차서가 적용될 해당 분야의 안전성과 생산성을 제고할 수 있을 것으로 기대함 개발 목표   자연어 처리..