6863번 팀 · 재물조사 데이터 정제 파이프라인 만들기 — 더러운 엑셀을 믿을 수 있는 표로 동료검토

제공된 엑셀 3종을 열어 시트 구성, 헤더 위치, 병합 셀 유무, 총 행수를 표로 정리해 첨부하라. 세 파일의 양식 차이를 함께 적어라.

pandas 로 각 파일을 읽어 컬럼별 결측 건수와 비율을 출력하라. 빈 문자열과 공백만 들어 있는 칸도 결측으로 세어야 한다.

완전 중복 행과 "관리번호는 같지만 다른 값이 있는 행"을 각각 찾아 건수와 예시를 출력하라. 두 번째가 더 골치 아픈 문제다.

수량 칸에 숫자가 아닌 값이 들어 있는 행, 날짜 칸이 여러 형식으로 섞인 행을 찾아 목록으로 뽑아라.

품목명 컬럼의 고유값을 세어 상위 30개를 출력하고, 같은 물건을 다르게 적은 것으로 의심되는 쌍을 최소 5건 찾아 제시하라.

다음 중 이번 데이터에서 실제로 확인된 문제 유형을 모두 고르시오. ① 결측 ② 중복 ③ 표기 불일치 ④ 형식 불일치 ⑤ 참조 무결성 위반(마스터에 없는 품목코드) ⑥ 단위 불일치

발견한 문제를 고치는 순서를 정하고 근거를 쓰라. 건수가 많은 것부터가 항상 답은 아니다. 뒤 단계 작업을 막는 문제가 무엇인지 생각하라.

헤더가 첫 행이 아닌 엑셀 파일을 올바르게 읽어 들이고, shape / dtypes / head 를 출력하라. 병합 셀로 비어 있는 칸을 앞 값으로 채우는 처리도 포함하라.

수량이 0 이하인 행, 취득일자가 오늘 이후인 행을 각각 골라내 건수와 함께 출력하라.

부대별·품목분류별 수량 합계와 건수를 구해 수량이 많은 순으로 출력하라.

재물조사 데이터와 품목 마스터를 품목코드로 붙이고, 마스터에 없어서 붙지 않은 행이 몇 건인지 출력하라.

"재물조사 데이터는 모두 남기고, 마스터에 있는 품목명만 가져다 붙인다"에 맞는 merge 의 how 값은? ① inner ② left ③ right ④ outer

전체 수량 합계를 groupby 없이 한 줄로 구하고, groupby 결과의 합과 같은지 확인해 값을 적어라.

양식이 다른 3개 파일의 컬럼명을 통일한 뒤 하나의 DataFrame 으로 합치고, 원본 파일명을 구분 컬럼으로 남겨라. 합친 뒤 총 행수가 개별 행수 합과 같은지 확인하라.

컬럼별로 결측을 어떻게 처리할지 정하고 근거를 쓰라. 수량, 취득일자, 관리부서, 비고 각각 다른 답이 나와야 정상이다.

정한 방침대로 결측을 처리하고, 처리한 행의 원본 값과 변경 값을 별도 이력 파일로 남겨라.

모든 컬럼이 같은 중복 행을 제거하고, 제거 건수를 출력하라.

관리번호는 같지만 다른 값이 있는 행들을 찾아 어느 쪽을 남길지 규칙(예: 조사일자가 최신인 것)을 정해 처리하라. 판정이 애매한 건은 지우지 말고 검토 대상으로 분리해 내보내라.

수량 컬럼의 이상값을 판정할 기준을 한 줄로 적어라. 단순 상한값도 좋지만 왜 그 값인지 근거가 있어야 한다.

세운 기준으로 이상값을 찾아 별도 시트로 분리하고, 본 데이터에서는 플래그 컬럼으로 표시하라. 삭제하지 마라.

정제 전후의 행수·수량 합계·부대별 건수를 나란히 출력하는 비교표를 만들라. 차이가 있는 항목은 그 차이가 어디서 왔는지 설명할 수 있어야 한다.

"이력 파일만으로 정제 결과를 원본으로 되돌릴 수 있다"에 몇 점인가(1~5). 5점이 아니면 무엇이 빠졌는지 적어라.

앞뒤 공백 제거, 연속 공백 축약, 전각/반각 통일, 괄호 내용 분리를 수행하는 정규화 함수를 만들고, 적용 전후 고유값 개수를 비교하라.

정규화만으로 합쳐지지 않는 것들에 대해 직접 매핑 규칙(딕셔너리 또는 CSV)을 만들어 적용하라. 규칙은 코드가 아닌 파일로 분리하라.

정규화 후에도 남은 고유 품목명 목록을 LLM 에 주고 같은 물건으로 보이는 것들을 묶게 하라. 사용한 프롬프트와 받은 결과를 첨부하라.

LLM 이 묶은 그룹에서 30건을 무작위 추출해 사람이 판정하고, 정확·오류·판단보류로 나눠 검수 기록을 첨부하라. 오류율을 숫자로 적어라.

검수에서 발견한 오분류 중 하나를 골라 왜 LLM 이 틀렸는지 분석하고, 이런 실수를 줄일 프롬프트 개선안을 제시하라.

"태블릿을 노트북 분류에 넣을 것인가" 같은 판정이 갈리는 사례를 최소 2건 제시하고, 어떤 기준으로 정할지 쓰라. 정답이 없다는 것을 인정하는 답도 좋다.

표준화된 품목명을 품목 마스터와 대조해 마스터에 없는 항목을 찾아내라. 마스터를 늘릴 것인지, 데이터를 고칠 것인지 판단해 표시하라.

표기 표준화에서 LLM 을 쓰는 가장 적절한 방식은? ① 최종 매핑을 LLM 이 확정 ② LLM 이 후보를 내고 사람이 확정 ③ 사람이 후보를 내고 LLM 이 확정 ④ LLM 없이 전부 수동

장부 데이터와 정제된 조사 데이터를 품목코드+부대 기준으로 대조해 수량 차이를 계산하라. 한쪽에만 있는 항목도 빠뜨리지 마라.

차이를 (가) 조사 누락 (나) 장부 미등록 (다) 수량 불일치 (라) 표기 문제 의심 으로 분류하는 로직을 만들라.

차이 금액(수량 × 단가) 기준으로 정렬해 상위 100건을 뽑아라. 단가가 없는 품목은 어떻게 처리할지 정하고 그 방침을 주석으로 남겨라.

요약 시트와 상세 시트로 나눈 엑셀 파일을 생성하라. 요약에는 부대별·유형별 차이 건수와 금액, 상세에는 조치가 필요한 목록이 들어간다.

생성한 리포트를 근거로 "먼저 확인해야 할 3가지"를 제시하라. 각각 무엇을 어떻게 확인할지까지 구체적으로 쓰라.

차이가 비정상적으로 큰 품목을 골라 원본까지 거슬러 올라가 확인하라. 정제 과정의 실수가 원인이었다면 어느 미션에서 생긴 문제인지 지목하라.

"이 리포트를 근거로 실제 조치를 지시할 수 있다"에 몇 점인가(1~5). 점수와 함께 남은 불확실성을 적어라.

읽기 → 정제 → 표준화 → 대조 → 리포트 단계를 각각 함수로 분리하고, 순서대로 호출하는 실행 스크립트를 만들라.

입출력 경로, 이상값 기준, 매핑표 위치 같은 값을 설정 파일(예: config.json)로 빼내라. 코드를 고치지 않고 설정만 바꿔 동작이 달라져야 한다.

각 단계 시작·종료 시각, 처리 건수, 경고 건수를 로그 파일로 남겨라. print 대신 logging 을 쓰라.

입력 파일이 없거나 컬럼이 바뀐 경우 무엇이 문제인지 알려 주고 중단하도록 만들라. 절반만 처리된 결과 파일을 남기지 않아야 한다.

같은 입력으로 두 번 실행해 결과 파일이 동일한지 확인하라. 다르다면 원인을 찾아 고치고, 그 과정을 기록해 첨부하라.

이 도구를 처음 받는 사람을 위한 설명서를 쓰라. 설치, 입력 파일 준비, 실행, 결과 확인, 자주 나는 오류 순서로 구성하라.

동료 또는 교육 담당자에게 설명서만 주고 실행해 보게 하라. 막힌 지점을 기록하고 설명서를 고쳐 최종본을 첨부하라.

이 파이프라인이 실제 업무에 투입될 때 남은 위험을 3가지 적고, 각각에 대한 대비책을 쓰라. 데이터 품질 문제가 재발할 지점도 함께 짚어라.