gyubo.dev

LLM 평가 파이프라인 설계 - 프롬프트를 어떻게 테스트하는가

문제 프롬프트를 수정할 때마다 “이번 수정이 전체적으로 더 나아졌는가?”를 판단하기 어렵다. 특정 케이스에서 좋아지면 다른 케이스에서 나빠지기도 한다. 전통적인 소프트웨어는 유닛 테스트로 회귀를 잡을 수 있지만, LLM 출력은 비결정적이다. 같은 프롬프트에 같은 입력을 넣어도 다른 출력이 나올 수 있다. 프롬프트 변경의 품질을 체계적으로 측정하는...

건강보험 연소득 산정의 엣지케이스 - 비즈니스 규칙이 코드보다 어려울 때

배경 대출 심사에서 연소득은 핵심 지표다. 건강보험 납부 데이터로 연소득을 추정하는 로직이 있는데, 현실 세계의 복잡한 상황들이 이 로직을 계속 깨뜨렸다. 여신기획팀, 신용분석팀, 백엔드 엔지니어가 모여서 엣지케이스들을 하나씩 정리한 과정을 기록한다. 기본 로직 flowchart LR A["당해년도<br>건강보험 납부 내역...

외부 시스템 제약이 더 나은 설계를 만들 때 - 배열에서 단순 집계로

배경 부동산 담보대출 비교 서비스를 위해, 외부 신용정보 기관의 데이터를 조회하고 이를 내부 심사 엔진(이하 “평가 엔진”)에 전달하는 작업을 했다. 핵심은 DSR(총부채원리금상환비율) 계산에 필요한 선순위 대출 잔액을 전달하는 것이었다. 작업 규모: 약 2개월 소요 (가장 무게감 있는 평가 엔진 연동 작업) 최초 설계: 배열 기반 순위 리스...

소켓 기반 파일 전송 시스템 설계 - 이벤트 드리븐 아키텍처

배경 금융 기관과 파일 전문(전자문서)을 주고받는 시스템을 새로 설계했다. 기존에는 Windows 전용 프로그램을 통해 담당자가 수동으로 파일을 전송/수신하고 있었는데, 이를 24시간 자동화된 소켓 기반 시스템으로 전환하는 프로젝트였다. 요구사항과 제약조건 3가지 양방향 프로세스: 변동 데이터 수신, 선택적 수신 요청, 집중 데이터 수신 ...

운영팀 자율화를 위한 워크플로우 재설계 - 상태 머신 패턴

배경 대출 연체 후에는 화해(합의), 워크아웃(자율 채무조정), 회생(법원 개입) 세 가지 후처리 프로세스가 있다. 이 세 프로세스의 공통점은 등록 → 상환 → 종결이라는 생명주기를 갖는다는 것이다. 문제는 이 워크플로우가 여러 도구와 팀에 분산되어 있었다는 점이다. AS-IS: 3개 도구, 2개 팀 flowchart TD subgrap...