프로젝트 / 자율 판단 및 에이전트

4017번 팀 · LLM 에이전트 기반 상황보고 자동화 — 도구를 쓰는 AI 를 통제하며 만들기 동료검토

test16 2026-08-17 20:15 · 검토 종료

LLM 에이전트 기반 상황보고 자동화 — 도구를 쓰는 AI 를 통제하며 만들기

프로젝트 설명

여러 시스템에서 자료를 모아 상황보고 초안을 만드는 LLM 에이전트 워크플로우를 구축한다. 에이전트가 스스로 도구를 골라 호출하고, 결과를 종합해 보고서를 쓴다.

에이전트는 강력하지만 통제하기 어렵다. 같은 입력에 다른 경로로 움직이고, 도구 호출을 무한 반복하고, 자료가 없으면 있는 것처럼 쓴다. 이 프로젝트의 실질적 주제는 "자율성을 얼마나 주고 어디에 벽을 세우는가"다.

단순한 순차 워크플로우에서 시작해 도구 호출, 다단계 추론, 검증 단계 추가, 실패 복구까지 올린다. 그리고 사람이 승인하는 지점을 설계한다. 보고서는 지휘 판단의 근거가 되므로 검증 없이 나가서는 안 된다.

3인 1팀. 도구 구현·에이전트 설계·평가로 역할을 나눈다.

미션 1. 1. 보고 업무 분해 — 무엇을 자동화하고 무엇을 남기나

미션 설명

상황보고 작성 과정을 단계로 분해하고, 각 단계의 자동화 적합성을 판정한다.

보고서 작성은 자료 수집, 정리, 해석, 판단, 서술이 섞인 일이다. 이 중 자료 수집과 정리는 자동화에 적합하지만 판단은 그렇지 않다. 이 경계를 흐리면 위험한 시스템이 된다.

1.1 보고 작성 과정 분해 (퀴즈-장문형) — 수행완료

문제 지시문

상황보고 작성을 처음부터 끝까지 단계로 분해하라. 각 단계에 걸리는 시간과 필요한 자료를 함께 적어라.

제출 응답

test16

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.
test17

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.
test18

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.

1.2 자동화 적합성 판정 (행동) — 수행완료

문제 지시문

단계별로 자동화 적합/부적합을 판정한 표를 만들어 첨부하라. 판정 기준은 "틀렸을 때의 결과"여야 한다.

제출 응답

test16
```
(제출 내용 없음)
```
test17
```
(제출 내용 없음)
```
test18
```
(제출 내용 없음)
```

1.3 자료 출처 매핑 (행동) — 수행완료

문제 지시문

필요한 자료가 어느 시스템에서 어떻게 조회되는지 매핑한 표를 만들어라. 조회 불가한 것은 명시하라.

제출 응답

test16
```
(제출 내용 없음)
```
test17
```
(제출 내용 없음)
```
test18
```
(제출 내용 없음)
```

1.4 승인 지점 설계 (퀴즈-장문형) — 수행완료

문제 지시문

사람이 반드시 확인해야 하는 지점을 정하고 근거를 쓰라. 승인 없이 넘어가면 무슨 일이 생기는지 구체적으로 적어라.

제출 응답

test16

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.
test17

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.
test18

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.

1.5 보고서 양식 분석 (코딩) — 수행완료

문제 지시문

제공된 보고서 양식 3종을 분석해 공통 항목과 양식별 특수 항목을 구조화된 형태로 정리하라.

제출 응답

test16

# 보고서 양식 분석
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test17

# 보고서 양식 분석
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 보고서 양식 분석
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

1.6 자동화 부적합 판정 (퀴즈-다항선택) — 수행완료

문제 지시문

다음 중 LLM 에이전트에 맡기기 부적합한 단계를 모두 고르시오. ① 여러 시스템에서 수치 조회 ② 조회한 수치를 표로 정리 ③ 상황의 심각성 판단 ④ 문장 형식 표준화 ⑤ 조치 권고안 확정

제출 응답

test16

선택: 여러 시스템에서 수치 조회
선택: 조회한 수치를 표로 정리
선택: 문장 형식 표준화
선택: 조치 권고안 확정

test17

선택: 상황의 심각성 판단
선택: 조치 권고안 확정

test18

선택: 상황의 심각성 판단
선택: 조치 권고안 확정

1.7 실패 시나리오 예상 (퀴즈-장문형) — 수행완료

문제 지시문

이 자동화가 실패하는 방식을 5가지 이상 예상하라. 시스템 장애 같은 기술 실패뿐 아니라 잘못된 자료로 그럴듯한 보고서를 만드는 경우도 포함하라.

제출 응답

test16

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.
test17

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.
test18

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.

1.8 기대 효과 추정 (퀴즈-단답형) — 수행완료

문제 지시문

자동화로 절감될 시간을 추정해 숫자로 적고 근거를 한 줄 덧붙여라.

제출 응답

test16

월 20시간 (건당 30분 x 40건)
test17

월 20시간 (건당 30분 x 40건)?
test18

월 20시간 (건당 30분 x 40건)

미션 2. 2. 도구 만들기 — 에이전트가 쓸 손발

미션 설명

에이전트가 호출할 도구를 정의하고 구현한다. 도구 설계가 에이전트 품질을 크게 좌우한다.

도구 설명이 모호하면 에이전트가 잘못 고른다. 파라미터가 많으면 잘못 채운다. 오류를 애매하게 돌려주면 무한 재시도한다. 도구는 사람이 쓰기 좋게 만드는 것과 다른 원칙으로 만들어야 한다.

2.1 도구 목록 설계 (퀴즈-장문형) — 수행완료

문제 지시문

필요한 도구를 정의하라. 도구를 너무 잘게 나누면 호출이 늘고, 너무 크게 묶으면 파라미터가 복잡해진다. 그 균형에 대한 판단을 쓰라.

제출 응답

test16

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.
test17

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.
test18

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.

2.2 도구 스펙 작성 (코딩) — 수행완료

문제 지시문

각 도구의 이름·설명·파라미터 스키마를 작성하라. 설명에는 "언제 쓰는가"와 "언제 쓰지 않는가"가 들어가야 한다.

제출 응답

test16

# 도구 스펙 작성
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test17

# 도구 스펙 작성
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 도구 스펙 작성
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

2.3 조회 도구 구현 (코딩) — 수행완료

문제 지시문

모의 API 를 호출하는 도구를 구현하라. 반환값은 LLM 이 읽기 쉽고 토큰을 적게 쓰는 형태로 정리하라.

제출 응답

test16

# 조회 도구 구현
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test17

# 조회 도구 구현
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 조회 도구 구현
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

2.4 반환 크기 제한 (코딩) — 수행완료

문제 지시문

조회 결과가 클 때 잘라 내거나 요약해 돌려주는 처리를 넣어라. 잘랐다는 사실을 반드시 알려야 한다.

제출 응답

test16

# 반환 크기 제한
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test17

# 반환 크기 제한
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 반환 크기 제한
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

2.5 오류 응답 설계 (코딩) — 수행완료

문제 지시문

입력 오류, 데이터 없음, 시스템 장애를 구분해 각각 다른 오류 응답을 돌려주도록 구현하라. 에이전트가 다음 행동을 정할 수 있어야 한다.

제출 응답

test16

# 오류 응답 설계
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test17

# 오류 응답 설계
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 오류 응답 설계
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

2.6 도구 단위 테스트 (코딩) — 수행완료

문제 지시문

각 도구에 대해 정상·오류 경로 테스트를 작성해 실행하라.

제출 응답

test16

# 도구 단위 테스트
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test17

# 도구 단위 테스트
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 도구 단위 테스트
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

2.7 호출 로그 구조 (코딩) — 수행완료

문제 지시문

도구 호출 시각·입력·출력·소요시간·성공여부를 기록하라. 나중에 에이전트 행동을 재현하는 데 쓰인다.

제출 응답

test16

# 호출 로그 구조
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test17

# 호출 로그 구조
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 호출 로그 구조
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

2.8 도구 설명 개선 실험 (행동) — 수행완료

문제 지시문

도구 설명을 모호하게 쓴 버전과 명확하게 쓴 버전으로 각각 에이전트를 돌려 도구 선택 정확도를 비교하라. 결과를 첨부하라.

제출 응답

test16
```
(제출 내용 없음)
```
test17
```
(제출 내용 없음)
```
test18
```
(제출 내용 없음)
```

2.9 도구 설계 원칙 정리 (퀴즈-단답형) — 수행완료

문제 지시문

실습에서 얻은 도구 설계 원칙을 쉼표로 나열하라.

제출 응답

test16

입력 검증 우선, 실패 시 명확한 오류 메시지, 부작용 최소화
test17

입력 검증 우선, 실패 시 명확한 오류 메시지, 부작용 최소화?
test18

입력 검증 우선, 실패 시 명확한 오류 메시지, 부작용 최소화

미션 3. 3. 순차 워크플로우 — 에이전트 없이 먼저

미션 설명

에이전트를 쓰기 전에 정해진 순서대로 실행하는 워크플로우를 만든다. 이것이 기준선이다.

많은 보고 업무는 정해진 자료를 정해진 순서로 모으는 일이다. 그러면 에이전트가 필요 없다. 자율성이 필요한 지점을 확인하려면 자율성 없는 버전을 먼저 만들어 봐야 한다.

3.1 평가셋 구축 (행동) — 수행완료

문제 지시문

보고 요청 30건 이상과 자료가 없는 요청 10건으로 평가셋을 만들라. 각 요청에 대한 정답 자료(사람이 확인한 것)를 함께 준비하라.

제출 응답

test16
```
(제출 내용 없음)
```
test17
```
(제출 내용 없음)
```
test18
```
(제출 내용 없음)
```

3.2 순차 수집 구현 (코딩) — 수행완료

문제 지시문

정해진 순서로 도구를 호출해 필요한 자료를 모으는 워크플로우를 구현하라.

제출 응답

test16

# 순차 수집 구현
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test17

# 순차 수집 구현
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 순차 수집 구현
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

3.3 보고서 생성 (코딩) — 수행완료

문제 지시문

수집한 자료로 보고서 초안을 생성하라. 자료가 없는 항목은 "확인 불가"로 표기해야 한다.

제출 응답

test16

# 보고서 생성
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test17

# 보고서 생성
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 보고서 생성
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

3.4 사실 정확성 측정 (코딩) — 수행완료

문제 지시문

생성된 보고서의 수치를 정답 자료와 대조해 오류 건수를 세어라. 자동 대조가 어려운 항목은 사람이 확인하라.

제출 응답

test16

# 사실 정확성 측정
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test17

# 사실 정확성 측정
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 사실 정확성 측정
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

3.5 확인불가 표기율 측정 (코딩) — 수행완료

문제 지시문

자료가 없는 요청에 대해 올바르게 "확인 불가"로 표기한 비율을 측정하라. 지어낸 사례는 전문을 남겨라.

제출 응답

test16

# 확인불가 표기율 측정
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test17

# 확인불가 표기율 측정
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 확인불가 표기율 측정
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

3.6 비용·지연 측정 (퀴즈-단답형) — 수행완료

문제 지시문

요청 1건당 평균 토큰 사용량, 비용, 소요 시간을 적어라.

제출 응답

test16

평균 850토큰, 12원, 1.8초
test17

평균 850토큰, 12원, 1.8초
test18

평균 850토큰, 12원, 1.8초

3.7 순차 방식 한계 분석 (퀴즈-장문형) — 수행완료

문제 지시문

순차 방식으로 처리할 수 없는 요청 유형을 찾아 제시하라. "조건에 따라 추가 조회가 필요한 경우"가 대표적이다.

제출 응답

test16

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.
test17

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.
test18

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.

3.8 에이전트 필요성 판단 (퀴즈-장문형) — 수행완료

문제 지시문

에이전트가 필요한 이유를 순차 방식의 한계로부터 논증하라. 필요 없다는 결론도 근거가 있으면 정당하다.

제출 응답

test16

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.
test17

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.
test18

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.

미션 4. 4. 에이전트 도입 — 스스로 도구를 고르게 하기

미션 설명

에이전트가 요청을 읽고 필요한 도구를 스스로 골라 호출하도록 만든다.

동시에 상한을 건다. 호출 횟수, 토큰, 시간에 상한이 없으면 한 번의 요청이 수백 번 호출로 번질 수 있다. 상한은 나중에 붙이는 것이 아니라 처음부터 있어야 한다.

4.1 도구 호출 루프 구현 (코딩) — 수행완료

문제 지시문

모델이 도구를 호출하면 실행해 결과를 돌려주고 반복하는 루프를 구현하라. 종료 조건을 명확히 하라.

제출 응답

test16

# 도구 호출 루프 구현
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test17

# 도구 호출 루프 구현
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 도구 호출 루프 구현
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

4.2 호출 횟수 상한 (코딩) — 수행완료

문제 지시문

한 요청당 도구 호출 횟수 상한을 걸어라. 상한에 도달하면 지금까지 모은 자료로 부분 보고서를 만들고 그 사실을 표기하라.

제출 응답

test16

# 호출 횟수 상한
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test17

# 호출 횟수 상한
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 호출 횟수 상한
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

4.3 토큰·시간 상한 (코딩) — 수행완료

문제 지시문

누적 토큰과 총 소요 시간에 상한을 걸어라. 상한 초과 시 처리를 정하고 구현하라.

제출 응답

test16

# 토큰·시간 상한
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test17

# 토큰·시간 상한
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 토큰·시간 상한
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

4.4 반복 호출 감지 (코딩) — 수행완료

문제 지시문

같은 도구를 같은 인자로 반복 호출하는 것을 감지해 차단하고, 에이전트에 그 사실을 알려라.

제출 응답

test16

# 반복 호출 감지
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test17

# 반복 호출 감지
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 반복 호출 감지
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

4.5 판단 경로 기록 (코딩) — 수행완료

문제 지시문

에이전트의 각 단계(생각·도구선택·결과·다음판단)를 기록하라. 나중에 왜 그렇게 움직였는지 추적할 수 있어야 한다.

제출 응답

test16

# 판단 경로 기록
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test17

# 판단 경로 기록
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 판단 경로 기록
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

4.6 성능 비교 (코딩) — 수행완료

문제 지시문

같은 평가셋으로 에이전트 방식과 순차 방식의 정확성·확인불가 표기율·비용·지연을 비교하라.

제출 응답

test16

# 성능 비교
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test17

# 성능 비교
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 성능 비교
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

4.7 도구 선택 오류 분석 (퀴즈-장문형) — 수행완료

문제 지시문

에이전트가 잘못된 도구를 고른 사례를 모아 원인을 분석하라. 도구 설명 문제인지, 요청 해석 문제인지 구분하라.

제출 응답

test16

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.
test17

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.
test18

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.

4.8 상한 도달 사례 확인 (행동) — 수행완료

문제 지시문

상한에 도달하는 요청을 일부러 만들어 시험하고, 그때의 동작을 캡처해 첨부하라. 부분 결과가 안전하게 처리되는지 확인하라.

제출 응답

test16
```
(제출 내용 없음)
```
test17
```
(제출 내용 없음)
```
test18
```
(제출 내용 없음)
```

4.9 자율성 대가 평가 (퀴즈-장문형) — 수행완료

문제 지시문

에이전트 도입으로 얻은 것과 잃은 것을 측정 결과로 정리하라. 비용이 몇 배 늘었는지, 정확성이 얼마나 변했는지 숫자로 제시하라.

제출 응답

test16

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.
test17

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.
test18

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.

미션 5. 5. 사실 검증 단계 — 지어내지 못하게 막기

미션 설명

생성된 보고서의 각 수치가 실제 도구 응답에서 온 것인지 검증하는 단계를 붙인다.

이 미션이 이 프로젝트의 핵심이다. LLM 은 표에 빈칸이 있으면 채우려 한다. 그럴듯한 숫자를 넣고 문장을 매끄럽게 만든다. 보고서에서 이것은 치명적이다.

5.1 근거 추적 구조 (코딩) — 수행완료

문제 지시문

보고서의 각 수치가 어느 도구 호출의 어느 필드에서 왔는지 추적할 수 있게 구조를 만들라.

제출 응답

test16

# 근거 추적 구조
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test17

# 근거 추적 구조
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 근거 추적 구조
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

5.2 수치 대조 검증 (코딩) — 수행완료

문제 지시문

보고서에 나온 모든 숫자를 도구 응답과 대조해 일치하지 않는 것을 찾아내라.

제출 응답

test16

# 수치 대조 검증
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test17

# 수치 대조 검증
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 수치 대조 검증
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

5.3 근거 없는 서술 탐지 (코딩) — 수행완료

문제 지시문

수집된 자료로 뒷받침되지 않는 서술 문장을 탐지하라. 완벽할 필요는 없고 의심 문장을 표시하는 수준이면 된다.

제출 응답

test16

# 근거 없는 서술 탐지
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test17

# 근거 없는 서술 탐지
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 근거 없는 서술 탐지
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

5.4 검증 실패 처리 (코딩) — 수행완료

문제 지시문

검증에 실패한 항목을 "확인 불가"로 바꾸거나 재생성하도록 처리하라. 두 방식의 결과를 비교하라.

제출 응답

test16

# 검증 실패 처리
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test17

# 검증 실패 처리
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 검증 실패 처리
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

5.5 검증 효과 측정 (코딩) — 수행완료

문제 지시문

검증 단계 추가 전후의 사실 오류율과 확인불가 표기율을 비교하라. 추가 비용도 함께 측정하라.

제출 응답

test16

# 검증 효과 측정
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test17

# 검증 효과 측정
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 검증 효과 측정
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

5.6 지어냄 사례 수집 (행동) — 수행완료

문제 지시문

에이전트가 자료 없이 수치를 지어낸 사례를 최소 5건 모아 정리해 첨부하라. 어떤 상황에서 그러는지 공통점을 찾아라.

제출 응답

test16
```
(제출 내용 없음)
```
test17
```
(제출 내용 없음)
```
test18
```
(제출 내용 없음)
```

5.7 일부러 실패시키기 (행동) — 수행완료

문제 지시문

도구가 오류를 돌려주거나 빈 결과를 주는 상황을 만들어 에이전트가 어떻게 반응하는지 확인하라. 지어내는지, 확인 불가로 처리하는지 기록하라.

제출 응답

test16
```
(제출 내용 없음)
```
test17
```
(제출 내용 없음)
```
test18
```
(제출 내용 없음)
```

5.8 검증 한계 서술 (퀴즈-장문형) — 수행완료

문제 지시문

기계적 검증으로 잡을 수 없는 오류 유형을 제시하라. 수치는 맞지만 해석이 틀린 경우가 대표적이다.

제출 응답

test16

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.
test17

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.
test18

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.

5.9 확인불가 표기율 확인 (퀴즈-단답형) — 수행완료

문제 지시문

자료 없는 요청 10건에 대한 최종 확인불가 표기율을 적어라.

제출 응답

test16

10건 중 3건 (30%)
test17

10건 중 3건 (30%)
test18

10건 중 3건 (30%)

미션 6. 6. 견고성 — 이상한 입력과 장애를 견디기

미션 설명

정상 경로가 아닌 상황을 시험한다. 모호한 요청, 범위를 벗어난 요청, 시스템 장애, 느린 응답.

데모는 정상 경로만 보여 주지만 운영은 대부분 비정상 경로다. 여기서 무너지면 쓸 수 없다.

6.1 모호한 요청 처리 (코딩) — 수행완료

문제 지시문

"상황 좀 정리해 줘" 같은 모호한 요청에 대해 되묻거나 범위를 명시해 처리하도록 만들라.

제출 응답

test16

# 모호한 요청 처리
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test17

# 모호한 요청 처리
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 모호한 요청 처리
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

6.2 범위 밖 요청 거부 (코딩) — 수행완료

문제 지시문

이 시스템이 다룰 수 없는 요청(예: 판단·결정 요구)을 감지해 거부하고 이유를 설명하도록 만들라.

제출 응답

test16

# 범위 밖 요청 거부
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test17

# 범위 밖 요청 거부
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 범위 밖 요청 거부
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

6.3 도구 장애 대응 (코딩) — 수행완료

문제 지시문

도구가 오류를 반환하거나 응답하지 않을 때의 처리를 구현하라. 재시도 정책과 포기 시점을 정하라.

제출 응답

test16

# 도구 장애 대응
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test17

# 도구 장애 대응
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 도구 장애 대응
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

6.4 부분 결과 처리 (코딩) — 수행완료

문제 지시문

일부 자료를 얻지 못했을 때 얻은 것으로 보고서를 만들되 빠진 항목과 이유를 명시하도록 만들라.

제출 응답

test16

# 부분 결과 처리
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test17

# 부분 결과 처리
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 부분 결과 처리
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

6.5 견고성 시험 계획 (행동) — 수행완료

문제 지시문

이상 입력·장애 상황을 망라한 시험 목록을 만들어 첨부하라. 최소 15개 케이스가 나와야 한다.

제출 응답

test16
```
(제출 내용 없음)
```
test17
```
(제출 내용 없음)
```
test18
```
(제출 내용 없음)
```

6.6 시험 실행 (행동) — 수행완료

문제 지시문

시험 목록을 실행해 결과를 기록하라. 통과·실패·부분통과로 판정하고 실패 건은 원인을 적어라.

제출 응답

test16
```
(제출 내용 없음)
```
test17
```
(제출 내용 없음)
```
test18
```
(제출 내용 없음)
```

6.7 프롬프트 주입 시험 (행동) — 수행완료

문제 지시문

요청 문장에 에이전트의 지시를 무력화하려는 문구를 넣어 시험하라(방어 목적). 결과와 대응 방안을 기록하라.

제출 응답

test16
```
(제출 내용 없음)
```
test17
```
(제출 내용 없음)
```
test18
```
(제출 내용 없음)
```

6.8 실패 사례집 정리 (퀴즈-장문형) — 수행완료

문제 지시문

수집한 실패 사례를 유형별로 정리하고, 각 유형에 대한 개선안을 제시하라.

제출 응답

test16

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.
test17

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.
test18

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.

6.9 견고성 자기평가 (퀴즈-선형배율) — 수행완료

문제 지시문

"이 시스템을 실무자에게 열어도 사고가 나지 않는다"에 몇 점인가(1~5). 우려 지점을 적어라.

제출 응답

test16
```
선택: 전혀 아니다
```
test17
```
선택: 매우 그렇다
```
test18
```
선택: 그렇다
```

미션 7. 7. 승인 화면과 사람 개입

미션 설명

보고서 초안을 사람이 검토·수정·승인하는 화면을 만든다.

중요한 것은 검토를 형식으로 만들지 않는 설계다. 매끄러운 초안을 보여 주면 사람은 그냥 승인한다. 근거와 불확실한 부분이 눈에 띄게 만들어야 검토가 실제로 일어난다.

7.1 초안 검토 화면 (코딩) — 수행완료

문제 지시문

생성된 보고서 초안을 보여 주고 항목별로 수정할 수 있는 화면을 만들라.

제출 응답

test16

# 초안 검토 화면
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test17

# 초안 검토 화면
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 초안 검토 화면
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

7.2 근거 표시 (코딩) — 수행완료

문제 지시문

각 수치에 마우스를 올리거나 클릭하면 어느 도구 호출에서 온 값인지 볼 수 있게 하라.

제출 응답

test16

# 근거 표시
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test17

# 근거 표시
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 근거 표시
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

7.3 불확실 항목 강조 (코딩) — 수행완료

문제 지시문

검증에서 근거가 약하다고 판정된 항목을 시각적으로 구분해 표시하라. 검토자가 어디를 봐야 할지 알게 하는 것이 목적이다.

제출 응답

test16

# 불확실 항목 강조
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test17

# 불확실 항목 강조
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 불확실 항목 강조
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

7.4 수정 이력 저장 (코딩) — 수행완료

문제 지시문

사람이 무엇을 어떻게 고쳤는지 저장하라. 원본 초안과 최종본을 모두 보존하라.

제출 응답

test16

# 수정 이력 저장
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test17

# 수정 이력 저장
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 수정 이력 저장
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

7.5 승인 절차 구현 (코딩) — 수행완료

문제 지시문

승인·반려 처리를 구현하고 반려 시 사유를 남기게 하라. 승인 없이 다음 단계로 갈 수 없어야 한다.

제출 응답

test16

# 승인 절차 구현
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test17

# 승인 절차 구현
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 승인 절차 구현
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

7.6 수정 패턴 분석 (코딩) — 수행완료

문제 지시문

수정 이력을 분석해 어떤 항목이 자주 고쳐지는지 집계하라. 그 항목이 에이전트의 약점이다.

제출 응답

test16

# 수정 패턴 분석
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test17

# 수정 패턴 분석
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 수정 패턴 분석
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

7.7 되먹임 반영 (퀴즈-장문형) — 수행완료

문제 지시문

수정 패턴 분석 결과를 프롬프트·도구·검증 중 어디에 반영할지 정하고 실제로 반영한 내용을 쓰라.

제출 응답

test16

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.
test17

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.
test18

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.

7.8 자동화 편향 대응 (퀴즈-장문형) — 수행완료

문제 지시문

검토가 형식으로 전락하는 것을 막기 위한 설계를 제안하라. 표본 정밀 검토, 의도적 오류 삽입 시험 등도 고려하라.

제출 응답

test16

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.
test17

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.
test18

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.

7.9 검토 시간 측정 (행동) — 수행완료

문제 지시문

실제로 초안 10건을 검토해 건당 소요 시간과 발견한 오류 수를 기록하라. 손으로 처음부터 쓰는 시간과 비교하라.

제출 응답

test16
```
(제출 내용 없음)
```
test18
```
(제출 내용 없음)
```

미션 8. 8. 비용·성능 최적화와 최종 평가

미션 설명

비용과 지연을 줄이고 최종 성능을 측정한다. 그리고 운영 전환 판단을 정리한다.

에이전트는 비싸다. 요청 하나에 도구 호출 열 번, 모델 호출 열 번이면 순차 방식의 몇 배가 된다. 어디를 줄일 수 있는지 측정으로 찾는다.

8.1 비용 구성 분해 (코딩) — 수행완료

문제 지시문

요청 1건의 비용을 단계별로 분해하라. 어느 단계가 가장 많은 토큰을 쓰는지 확인하라.

제출 응답

test16

# 비용 구성 분해
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 비용 구성 분해
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

8.2 맥락 축약 (코딩) — 수행완료

문제 지시문

도구 결과를 모델에 넘길 때 불필요한 필드를 걸러내거나 요약해 토큰을 줄여라. 품질 변화를 함께 측정하라.

제출 응답

test16

# 맥락 축약
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 맥락 축약
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

8.3 캐싱 적용 (코딩) — 수행완료

문제 지시문

같은 도구 호출 결과를 재사용하는 캐시를 넣어라. 캐시 유효 기간을 정할 때 자료의 신선도 요구를 고려하라.

제출 응답

test16

# 캐싱 적용
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 캐싱 적용
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

8.4 모델 분리 (코딩) — 수행완료

문제 지시문

단순한 단계는 작은 모델로, 종합·서술 단계는 큰 모델로 나눠 처리해 보고 비용·품질 변화를 측정하라.

제출 응답

test16

# 모델 분리
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 모델 분리
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

8.5 병렬 호출 (코딩) — 수행완료

문제 지시문

서로 의존하지 않는 도구 호출을 병렬로 실행해 지연을 줄여라. 순서 의존이 있는 호출을 잘못 병렬화하지 않도록 주의하라.

제출 응답

test16

# 병렬 호출
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 병렬 호출
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

8.6 최적화 후 품질 확인 (코딩) — 수행완료

문제 지시문

모든 최적화를 적용한 뒤 평가셋으로 사실 정확성과 확인불가 표기율을 다시 측정하라. 나빠졌으면 되돌려라.

제출 응답

test16

# 최적화 후 품질 확인
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

test18

# 최적화 후 품질 확인
# 문제 설명과 수행 가이드를 참고하여 아래에 코드를 작성하세요.


def main():
    pass


if __name__ == "__main__":
    main()

PYTHON

8.7 최종 성능 요약 (퀴즈-단답형) — 수행완료

문제 지시문

최종 시스템의 사실 오류 없는 보고서 생성률, 확인불가 표기율, 건당 비용, 평균 지연을 적어라.

제출 응답

test16

사실오류없는 생성률 94%, 확인불가 표기율 8%, 건당 15원, 평균 지연 2.1초
test18

사실오류없는 생성률 94%, 확인불가 표기율 8%, 건당 15원, 평균 지연 2.1초

8.8 운영 전환 판단 (퀴즈-장문형) — 수행완료

문제 지시문

이 시스템을 실제 업무에 투입할 수 있는지 판단하고 근거를 쓰라. 투입 조건(승인 필수, 대상 보고 유형 제한 등)을 명시하라.

제출 응답

test16

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.
test18

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.

8.9 잔여 위험 정리 (퀴즈-장문형) — 수행완료

문제 지시문

투입 후 남는 위험을 정리하라. 기술 위험뿐 아니라 사람이 초안에 의존하며 작성 능력이 떨어지는 위험도 다뤄라.

제출 응답

test16

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.
test18

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.

8.10 팀 협업 회고 (퀴즈-장문형) — 수행완료

문제 지시문

도구·에이전트·평가 역할 분담이 어떻게 작동했는지 쓰라. 통합 과정에서 가장 어긋난 지점과 해결 과정을 남겨라.

제출 응답

test16

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.
test18

이번 미션을 수행하며 겪은 시행착오와 배운 점을 정리합니다. 초기 접근이 예상과 달라 중간에 방식을 바꿨고, 최종적으로는 요구사항을 충족하는 결과물을 만들 수 있었습니다.

4017번 팀 · LLM 에이전트 기반 상황보고 자동화 — 도구를 쓰는 AI 를 통제하며 만들기 동료검토

LLM 에이전트 기반 상황보고 자동화 — 도구를 쓰는 AI 를 통제하며 만들기

1.1 보고 작성 과정 분해 (퀴즈-장문형) — 수행완료

1.2 자동화 적합성 판정 (행동) — 수행완료

1.3 자료 출처 매핑 (행동) — 수행완료

1.4 승인 지점 설계 (퀴즈-장문형) — 수행완료

1.5 보고서 양식 분석 (코딩) — 수행완료

1.6 자동화 부적합 판정 (퀴즈-다항선택) — 수행완료

1.7 실패 시나리오 예상 (퀴즈-장문형) — 수행완료

1.8 기대 효과 추정 (퀴즈-단답형) — 수행완료

2.1 도구 목록 설계 (퀴즈-장문형) — 수행완료

2.2 도구 스펙 작성 (코딩) — 수행완료

2.3 조회 도구 구현 (코딩) — 수행완료

2.4 반환 크기 제한 (코딩) — 수행완료

2.5 오류 응답 설계 (코딩) — 수행완료

2.6 도구 단위 테스트 (코딩) — 수행완료

2.7 호출 로그 구조 (코딩) — 수행완료

2.8 도구 설명 개선 실험 (행동) — 수행완료

2.9 도구 설계 원칙 정리 (퀴즈-단답형) — 수행완료

3.1 평가셋 구축 (행동) — 수행완료

3.2 순차 수집 구현 (코딩) — 수행완료

3.3 보고서 생성 (코딩) — 수행완료

3.4 사실 정확성 측정 (코딩) — 수행완료

3.5 확인불가 표기율 측정 (코딩) — 수행완료

3.6 비용·지연 측정 (퀴즈-단답형) — 수행완료

3.7 순차 방식 한계 분석 (퀴즈-장문형) — 수행완료

3.8 에이전트 필요성 판단 (퀴즈-장문형) — 수행완료

4.1 도구 호출 루프 구현 (코딩) — 수행완료

4.2 호출 횟수 상한 (코딩) — 수행완료

4.3 토큰·시간 상한 (코딩) — 수행완료

4.4 반복 호출 감지 (코딩) — 수행완료

4.5 판단 경로 기록 (코딩) — 수행완료

4.6 성능 비교 (코딩) — 수행완료

4.7 도구 선택 오류 분석 (퀴즈-장문형) — 수행완료

4.8 상한 도달 사례 확인 (행동) — 수행완료

4.9 자율성 대가 평가 (퀴즈-장문형) — 수행완료

5.1 근거 추적 구조 (코딩) — 수행완료

5.2 수치 대조 검증 (코딩) — 수행완료

5.3 근거 없는 서술 탐지 (코딩) — 수행완료

5.4 검증 실패 처리 (코딩) — 수행완료

5.5 검증 효과 측정 (코딩) — 수행완료

5.6 지어냄 사례 수집 (행동) — 수행완료

5.7 일부러 실패시키기 (행동) — 수행완료

5.8 검증 한계 서술 (퀴즈-장문형) — 수행완료

5.9 확인불가 표기율 확인 (퀴즈-단답형) — 수행완료

6.1 모호한 요청 처리 (코딩) — 수행완료

6.2 범위 밖 요청 거부 (코딩) — 수행완료

6.3 도구 장애 대응 (코딩) — 수행완료

6.4 부분 결과 처리 (코딩) — 수행완료

6.5 견고성 시험 계획 (행동) — 수행완료

6.6 시험 실행 (행동) — 수행완료

6.7 프롬프트 주입 시험 (행동) — 수행완료

6.8 실패 사례집 정리 (퀴즈-장문형) — 수행완료

6.9 견고성 자기평가 (퀴즈-선형배율) — 수행완료

7.1 초안 검토 화면 (코딩) — 수행완료

7.2 근거 표시 (코딩) — 수행완료

7.3 불확실 항목 강조 (코딩) — 수행완료

7.4 수정 이력 저장 (코딩) — 수행완료

7.5 승인 절차 구현 (코딩) — 수행완료

7.6 수정 패턴 분석 (코딩) — 수행완료

7.7 되먹임 반영 (퀴즈-장문형) — 수행완료

7.8 자동화 편향 대응 (퀴즈-장문형) — 수행완료

7.9 검토 시간 측정 (행동) — 수행완료

8.1 비용 구성 분해 (코딩) — 수행완료

8.2 맥락 축약 (코딩) — 수행완료

8.3 캐싱 적용 (코딩) — 수행완료

8.4 모델 분리 (코딩) — 수행완료

8.5 병렬 호출 (코딩) — 수행완료

8.6 최적화 후 품질 확인 (코딩) — 수행완료

8.7 최종 성능 요약 (퀴즈-단답형) — 수행완료

8.8 운영 전환 판단 (퀴즈-장문형) — 수행완료

8.9 잔여 위험 정리 (퀴즈-장문형) — 수행완료

8.10 팀 협업 회고 (퀴즈-장문형) — 수행완료

댓글 1