LLM 에이전트 상황보고 자동화 1기

프로젝트 정보

강의레벨: 고급
수행 형태: 3인 팀
교육일수: 20일
이수시간: 56시간
분야: 자율 판단 및 에이전트, 분류·추출 파이프라인 구축, 멀티모달 통합 서비스, LLMs

프로젝트 소개

여러 시스템에서 자료를 모아 상황보고 초안을 만드는 LLM 에이전트 워크플로우를 구축한다. 에이전트가 스스로 도구를 골라 호출하고, 결과를 종합해 보고서를 쓴다.

에이전트는 강력하지만 통제하기 어렵다. 같은 입력에 다른 경로로 움직이고, 도구 호출을 무한 반복하고, 자료가 없으면 있는 것처럼 쓴다. 이 프로젝트의 실질적 주제는 "자율성을 얼마나 주고 어디에 벽을 세우는가"다.

단순한 순차 워크플로우에서 시작해 도구 호출, 다단계 추론, 검증 단계 추가, 실패 복구까지 올린다. 그리고 사람이 승인하는 지점을 설계한다. 보고서는 지휘 판단의 근거가 되므로 검증 없이 나가서는 안 된다.

3인 1팀. 도구 구현·에이전트 설계·평가로 역할을 나눈다.

미션 여정

미션 8개 · 문제 71개

1. 보고 업무 분해 — 무엇을 자동화하고 무엇을 남기나 6시간 180 크레딧 문제 8개

2. 도구 만들기 — 에이전트가 쓸 손발 7시간 190 크레딧 문제 9개

3. 순차 워크플로우 — 에이전트 없이 먼저 6시간 200 크레딧 문제 8개

4. 에이전트 도입 — 스스로 도구를 고르게 하기 7시간 210 크레딧 문제 9개

5. 사실 검증 단계 — 지어내지 못하게 막기 7시간 220 크레딧 문제 9개

6. 견고성 — 이상한 입력과 장애를 견디기 7시간 230 크레딧 문제 9개

7. 승인 화면과 사람 개입 6시간 240 크레딧 문제 9개

8. 비용·성능 최적화와 최종 평가 6시간 250 크레딧 문제 10개

수행 조건과 산출물

선수학습: · 선수 : 「교범·규정 질의응답 RAG 챗봇 구축」 또는 동등한 LLM 애플리케이션 개발 경험.
· 선수 스킬 : 「프롬프트 설계 Level 3」 이상, 「AI 워크플로우 Level 3」 진단 통과.
· 준비물 : 파이썬 3.11+, 도구 호출을 지원하는 LLM API(교육 환경 제공), 실습용 사내 시스템 모의 API.
· 사전 학습 : 도구 호출(function calling)의 동작 원리를 설명할 수 있어야 한다.
제약조건: · 제공된 모의 시스템 API 와 더미 데이터만 사용한다. 실제 운영 시스템에 연결하지 않는다.
· 에이전트가 쓰기·삭제 동작을 하는 도구는 이 프로젝트에서 제공하지 않는다. 조회 전용이다.
· 보고서 초안은 반드시 사람 승인을 거치는 구조여야 한다. 자동 발송 기능을 만들지 않는다.
· 도구 호출 횟수와 토큰 사용량에 상한을 걸어야 한다. 상한 없는 에이전트는 제출 불가.
· 대외비 문서를 실습에 사용하지 않는다.
산출물: 1. 에이전트 워크플로우 — 요청 입력, 자료 수집, 보고서 초안 생성
2. 도구 정의 모음 — 각 도구의 스펙·제약·오류 처리
3. 평가셋 — 보고 요청 30건 이상 + 자료 없는 요청 10건
4. 성능 리포트 — 정확성, 확인불가 표기율, 도구 호출 횟수, 토큰·비용, 지연
5. 통제 설계서 — 자율성 경계, 승인 지점, 상한, 실패 복구
6. 실패 사례집 — 잘못된 도구 선택, 반복 호출, 사실 오류
7. 사람 승인 화면
참고자료: · 모의 시스템 API : 인원 현황, 장비 가동, 기상, 일정, 정비 이력 (각 조회 전용, 의도적 오류 응답 포함)
· 참고 : 「LLM 도구 호출 설계 가이드」(사내), 에이전트 패턴 정리 자료
· 보고서 양식 표준(더미) 3종
· 실습 LLM API(도구 호출 지원)