개인 칸반 보드

민

장민석

AI Evaluation Engineer

"이 슬롯에 어떤 모델을 쓸 것인가"라는 질문을 측정 가능한 실험으로 설계하고 실행한다. 평가 러너·프로브 코퍼스·게이트를 소유하고, Core 슬롯 선정(E7)과 NPC 슬롯 descent(E6)에 숫자를 붙인다. 하네스 계측(HarnessReport)을 집계하고, provider 어댑터와 판단 근거를 시각화하는 Inspector·Harness 뷰를 만든다. 발표의 모델 평가 구간을 맡는다.

진행 현황

완료 27 확인 요청 6 진행 중 0 전체 42

소유 영역

평가 설계 (E7 · E6 · Funnel · 게이트)
하네스 계측 집계 (HarnessReport)
평가 러너 · metrics.yml (append-only)
provider 어댑터 · 배포 지표 (지연 · VRAM)
Inspector / Harness 뷰 · 발표 모델 평가 구간

칸반 보드

카드 상태는 _data/kanban/minseok.yml 의 status 값을 바꾸면 반영됩니다 (todo → doing → review → done). review 는 팀장 확인 대기를 뜻하고, done 은 팀장이 확인한 뒤에만 붙입니다.

할 일 9

BE-22 P1 09/09

판정 로그 조회 인덱스

완료 기준
인스펙터 조회가 N+1 없이 단일 쿼리 범위에서 처리

성능→ 인덱스

BE-27 P0 09/11

API 계약 최종 고정

완료 기준
Freeze 시점 스키마 태깅, 에러 코드 표 완성

API→ openapi v1.0

BE-30 P0 09/12

마이그레이션 롤백 검증

완료 기준
downgrade 1스텝 후 재적용까지 데이터 손상 없이 성공

인프라→ 롤백 로그

BE-31 P1 09/12

회귀 R5·R7 담당 수행

완료 기준
거짓 출처 발각과 민석 간파 시나리오 통과 표시

QA→ 회귀 결과

BE-33 P0 09/13

부하 스모크 · 커넥션 풀

완료 기준
동시 50 세션에서 커넥션 고갈 없음, 아침 화면 p95 < 500ms

성능→ 부하 리포트

BE-34 P1 09/13

백업 · 복구 리허설

완료 기준
백업 파일로 별도 DB 복구 후 API 기동 성공

인프라→ 복구 로그

BE-38 P0 09/15

Code Freeze 대응 · 핫픽스 대기

완료 기준
승인된 핫픽스만 처리

릴리스→ 핫픽스 로그

BE-39 P0 09/15

배포·롤백 리허설 백엔드 파트

완료 기준
마이그레이션 적용과 downgrade 가 리허설에서 무오류

릴리스→ 리허설 기록

BE-42 P2 09/16

데브로그 — 포트 3개 설계 회고

완료 기준
도메인 어댑터 교체가 실제로 짧은 작업이었는지 기록

기록→ 데브로그

진행 중 0

— 없음 —

확인 요청 6

BE-04 P0 09/04

ERD v1 FREEZE + Alembic 초기 리비전

완료 기준
빈 DB에 전체 스키마 생성 성공, downgrade 작성 완료

ERD→ alembic/versions

BE-19 P1 09/08

손상 발현 기록 — damage_event

완료 기준
층별 발현이 어디서 언제 일어났는지 조회 가능

ERD→ damage_event

BE-29 P0 09/12

버그 스쿼시 (P0·P1)

완료 기준
배정 전건 종료. 판정 로그 유실은 최우선

QA→ 이슈 종료

BE-36 P0 09/14

프로덕션 마이그레이션 스크립트 확정

완료 기준
추가만 하는 마이그레이션으로 구성, 소요시간·롤백 방법 명시

인프라→ 배포 런북

BE-37 P1 09/14

헬스체크 · 레디니스

완료 기준
DB·LLM 연결 실패가 각각 구분되어 응답

운영→ GET /health

BE-40 P0 09/16

프로덕션 배포 백엔드 검증

완료 기준
마이그레이션 후 1루프 완주 + 인스펙터 개봉 정상

릴리스→ 배포 검증

완료 27

BE-01 P0 09/03

ERD 초안 — 세션·루프·발화·판정 로그

완료 기준
계정 테이블 없이 익명 session 기준으로 테이블 목록과 관계 초안 게시, 고립 테이블 0개

ERD→ /plan/data/

BE-02 P0 09/03

도메인 계층 골격 — 의심도·신뢰도·발화 예산

완료 기준
LLM 없이 import 되고 유닛테스트가 도는 순수 함수 모듈이 존재

도메인→ domain/

BE-03 P0 09/03

포트 3개 인터페이스 정의 (LLM·도구·도메인)

완료 기준
세 포트의 시그니처가 코드로 존재하고, 도구 이름이 도메인 중립(ask_third_party·search_history)

규약→ ports/

BE-05 P0 09/04

도메인 규칙 테스트 우선 작성

완료 기준
의심 누적·신뢰 임계·예산 감소/회복/하한·루프 잔류율 5% 가 테스트로 고정

도메인→ tests/domain

BE-06 P0 09/04

API 계약 v1 발행 (OpenAPI)

완료 기준
세션·루프·발화(SSE)·노트·인스펙터 스키마 공개, 프론트 2인이 참조 시작

API→ /plan/api/

BE-07 P1 09/04

세션 발급 + GET /sessions/me 배선 검증

완료 기준
로그인 없이 첫 요청에서 익명 세션이 발급되고 200 왕복

규약→ session API

BE-08 P0 09/05

루프 생성 · 상태 전이 · 아침 화면 데이터

완료 기준
POST /loops 가 고정 문장과 손상 1층 문장을 담아 반환, LLM 호출 없이 즉시

도메인→ loop API

BE-09 P0 09/05

발화 예산 소모 · 차단 · 회복

완료 기준
예산 소진 시 BUDGET_EXHAUSTED, 루프 스킵 시 회복, 하한 3 유지

도메인→ 예산 규칙

BE-10 P0 09/05

발화 엔드포인트 + SSE 골격

완료 기준
POST /loops/{id}/utterances 가 delta→done 이벤트를 실제로 흘린다

API→ SSE 엔드포인트

BE-11 P0 09/06

판정 로그 저장 — judgement_log

완료 기준
발화 1건당 의심/신뢰/도구/불일치/재계획 판정이 순서대로 기록됨

판정→ 판정 저장소

BE-12 P0 09/06

도구 디스패치 + 탐문 예산

완료 기준
ask_npc 호출이 하네스를 통과하고, NPC 하루 2회 초과 시 실행 전 거부

도구→ 도구 포트 구현

BE-13 P0 09/06

도구 부작용 반영 — 이름 빌린 쪽 의심도

완료 기준
ask_npc 결과의 side_effect 가 대상 NPC 상태에 실제로 적용되고 로그에 남음

도구→ side_effect 처리

BE-14 P0 09/07

웹 1차 통합 대응

완료 기준
프론트 2인이 실 API로 아침→대화→응답을 완주, 계약 이슈 당일 해소

협업→ 계약 변경 로그

BE-15 P0 09/07

도메인 어댑터 30분 탐색

완료 기준
감사 도메인 어댑터를 시도해 코어가 막히는지만 확인. 막히면 새어든 개념을 지목

전이→ 탐색 기록

BE-16 P1 09/07

노트 자동 기록 — note_entry

완료 기준
루프 종료 시 죽음의 감각·주요 사건이 노트에 자동 적재

ERD→ 노트 저장

BE-17 P0 09/08

세계 손상 산출 — 개입 깊이

완료 기준
발화 수·신뢰 변화량·결정적 발언에서 depth_score 가 계산되고 층 전환이 일어남

도메인→ world_damage

BE-18 P0 09/08

권고 응답 기록 엔드포인트

완료 기준
POST /advices/{id}/response 로 accepted/ignored 가 저장, 발화 전 무시도 기록됨

API→ advice API

BE-20 P0 09/09

알파 시연 대응 · 백엔드 핫픽스

완료 기준
1루프 완주 중 발생한 백엔드 P0 를 당일 처리

QA→ 핫픽스

BE-21 P0 09/09

인스펙터 API

완료 기준
GET /loops/{id}/inspector 가 8.8 구조 그대로 판정 체인 반환

API→ 인스펙터 API

BE-23 P0 09/10

메모리 정책 주입 — 민석 예외

완료 기준
루프 전이 시 채연·은상은 5% 잔류, 민석은 유지. 같은 인터페이스에 정책만 다름

도메인→ 메모리 정책

BE-24 P0 09/10

엔딩 판정 — 4종 분기

완료 기준
원인 파악·관계 축으로 repeat/isolation/hesitation/handover 가 결정됨

도메인→ 엔딩 판정

BE-25 P0 09/10

도메인 포트 정식 구현

완료 기준
게임/감사 두 어댑터가 같은 포트를 구현하고 설정으로 전환됨

전이→ domain adapter

BE-26 P0 09/11

전이 시연 — 감사 대응 실행

완료 기준
어댑터 교체만으로 감사 시나리오가 돌고 엔진 코드 diff 가 비어 있음

전이→ 전이 시연

BE-28 P1 09/11

도메인 회귀 테스트 스위트

완료 기준
CI에서 도메인 테스트가 LLM 없이 3분 내 통과

QA→ CI 리포트

BE-32 P0 09/13

세션/IP 루프 제한 구현

완료 기준
익명 반복 접속이 차단되고 429 반환, 정상 유저는 영향 없음

보안→ 레이트 리밋

BE-35 P0 09/14

RC 백엔드 검증

완료 기준
RC1 이미지로 스테이징 회귀 전건 통과

릴리스→ 검증 결과

BE-41 P0 09/16

오픈 온콜 — API·DB

완료 기준
에러 로그 실시간 확인, 이상 시 즉시 보고

운영→ 온콜 기록

날짜별 업무

D-13 2026-09-03 (목) 기획서 반영 · 기준선 고정 3건

당일 관문
기획 문서가 기획서 v6 기준으로 갱신되고, ERD 초안과 에이전트 구성이 올라간다

BE-01 P0 ERD 초안 — 세션·루프·발화·판정 로그
완료 기준 · 계정 테이블 없이 익명 session 기준으로 테이블 목록과 관계 초안 게시, 고립 테이블 0개
BE-02 P0 도메인 계층 골격 — 의심도·신뢰도·발화 예산
완료 기준 · LLM 없이 import 되고 유닛테스트가 도는 순수 함수 모듈이 존재
BE-03 P0 포트 3개 인터페이스 정의 (LLM·도구·도메인)
완료 기준 · 세 포트의 시그니처가 코드로 존재하고, 도구 이름이 도메인 중립(ask_third_party·search_history)

D-12 2026-09-04 (금) 계약 확정 · 뼈대 세우기 4건

당일 관문
ERD v1 FREEZE, API 계약 v1 발행, 도메인 계층 순수 함수 테스트가 CI에서 돈다

BE-04 P0 ERD v1 FREEZE + Alembic 초기 리비전
완료 기준 · 빈 DB에 전체 스키마 생성 성공, downgrade 작성 완료
BE-05 P0 도메인 규칙 테스트 우선 작성
완료 기준 · 의심 누적·신뢰 임계·예산 감소/회복/하한·루프 잔류율 5% 가 테스트로 고정
BE-06 P0 API 계약 v1 발행 (OpenAPI)
완료 기준 · 세션·루프·발화(SSE)·노트·인스펙터 스키마 공개, 프론트 2인이 참조 시작
BE-07 P1 세션 발급 + GET /sessions/me 배선 검증
완료 기준 · 로그인 없이 첫 요청에서 익명 세션이 발급되고 200 왕복

D-11 2026-09-05 (토) 방어선 ① 착수 — 대화와 판정 3건

당일 관문
유저 발화 1건이 Agent 판정을 거쳐 응답으로 돌아온다 (의심도 수치가 코드에서 계산됨)

BE-08 P0 루프 생성 · 상태 전이 · 아침 화면 데이터
완료 기준 · POST /loops 가 고정 문장과 손상 1층 문장을 담아 반환, LLM 호출 없이 즉시
BE-09 P0 발화 예산 소모 · 차단 · 회복
완료 기준 · 예산 소진 시 BUDGET_EXHAUSTED, 루프 스킵 시 회복, 하한 3 유지
BE-10 P0 발화 엔드포인트 + SSE 골격
완료 기준 · POST /loops/{id}/utterances 가 delta→done 이벤트를 실제로 흘린다

D-10 2026-09-06 (일) 방어선 ① 완성 — 탐문 도구 3건

당일 관문
ask_npc 가 실제로 호출되고, 거짓 출처가 발각되며, 이름을 빌린 쪽 의심도가 오른다

BE-11 P0 판정 로그 저장 — judgement_log
완료 기준 · 발화 1건당 의심/신뢰/도구/불일치/재계획 판정이 순서대로 기록됨
BE-12 P0 도구 디스패치 + 탐문 예산
완료 기준 · ask_npc 호출이 하네스를 통과하고, NPC 하루 2회 초과 시 실행 전 거부
BE-13 P0 도구 부작용 반영 — 이름 빌린 쪽 의심도
완료 기준 · ask_npc 결과의 side_effect 가 대상 NPC 상태에 실제로 적용되고 로그에 남음

D-9 2026-09-07 (월) 1차 통합 · 전이 탐색 3건

당일 관문
웹에서 아침→대화→응답이 실 API로 돌고, 도메인 어댑터 인터페이스가 30분 탐색으로 뚫린다

BE-14 P0 웹 1차 통합 대응
완료 기준 · 프론트 2인이 실 API로 아침→대화→응답을 완주, 계약 이슈 당일 해소
BE-15 P0 도메인 어댑터 30분 탐색
완료 기준 · 감사 도메인 어댑터를 시도해 코어가 막히는지만 확인. 막히면 새어든 개념을 지목
BE-16 P1 노트 자동 기록 — note_entry
완료 기준 · 루프 종료 시 죽음의 감각·주요 사건이 노트에 자동 적재

D-8 2026-09-08 (화) 방어선 ② — 침묵 권고 3건

당일 관문
권고가 근거와 함께 뜨고, 수용/무시가 advice_log 에 남는다 (A/B 분기 포함)

BE-17 P0 세계 손상 산출 — 개입 깊이
완료 기준 · 발화 수·신뢰 변화량·결정적 발언에서 depth_score 가 계산되고 층 전환이 일어남
BE-18 P0 권고 응답 기록 엔드포인트
완료 기준 · POST /advices/{id}/response 로 accepted/ignored 가 저장, 발화 전 무시도 기록됨
BE-19 P1 손상 발현 기록 — damage_event
완료 기준 · 층별 발현이 어디서 언제 일어났는지 조회 가능

D-7 2026-09-09 (수) 알파 — 1루프 완주 3건

당일 관문
아침 → 대화 → 판정 → 죽음 → 아침 복귀를 팀 전원이 각자 완주한다

BE-20 P0 알파 시연 대응 · 백엔드 핫픽스
완료 기준 · 1루프 완주 중 발생한 백엔드 P0 를 당일 처리
BE-21 P0 인스펙터 API
완료 기준 · GET /loops/{id}/inspector 가 8.8 구조 그대로 판정 체인 반환
BE-22 P1 판정 로그 조회 인덱스
완료 기준 · 인스펙터 조회가 N+1 없이 단일 쿼리 범위에서 처리

D-6 2026-09-10 (목) 방어선 ③④ — 루프 축적과 민석 예외 3건

당일 관문
노트가 쌓이고 손상 3층이 발현되며, 민석만 기억하고 정체 발현 트리거가 작동한다

BE-23 P0 메모리 정책 주입 — 민석 예외
완료 기준 · 루프 전이 시 채연·은상은 5% 잔류, 민석은 유지. 같은 인터페이스에 정책만 다름
BE-24 P0 엔딩 판정 — 4종 분기
완료 기준 · 원인 파악·관계 축으로 repeat/isolation/hesitation/handover 가 결정됨
BE-25 P0 도메인 포트 정식 구현
완료 기준 · 게임/감사 두 어댑터가 같은 포트를 구현하고 설정으로 전환됨

D-5 2026-09-11 (금) 방어선 ⑤ + Feature Freeze 3건

당일 관문
감사 대응 어댑터로 같은 인스펙터가 열린다. 18:00 기능 동결

BE-26 P0 전이 시연 — 감사 대응 실행
완료 기준 · 어댑터 교체만으로 감사 시나리오가 돌고 엔진 코드 diff 가 비어 있음
BE-27 P0 API 계약 최종 고정
완료 기준 · Freeze 시점 스키마 태깅, 에러 코드 표 완성
BE-28 P1 도메인 회귀 테스트 스위트
완료 기준 · CI에서 도메인 테스트가 LLM 없이 3분 내 통과

D-4 2026-09-12 (토) 회귀 · 버그 스쿼시 3건

당일 관문
회귀 시나리오 R1~R10 전건 통과, P0/P1 0건

BE-29 P0 버그 스쿼시 (P0·P1)
완료 기준 · 배정 전건 종료. 판정 로그 유실은 최우선
BE-30 P0 마이그레이션 롤백 검증
완료 기준 · downgrade 1스텝 후 재적용까지 데이터 손상 없이 성공
BE-31 P1 회귀 R5·R7 담당 수행
완료 기준 · 거짓 출처 발각과 민석 간파 시나리오 통과 표시

D-3 2026-09-13 (일) 공개 대비 — 비용 · 보안 · 텍스트 3건

당일 관문
세션/IP 제한과 비용 상한이 동작하고, 엔딩 4종 텍스트가 팀 리뷰를 통과한다

BE-32 P0 세션/IP 루프 제한 구현
완료 기준 · 익명 반복 접속이 차단되고 429 반환, 정상 유저는 영향 없음
BE-33 P0 부하 스모크 · 커넥션 풀
완료 기준 · 동시 50 세션에서 커넥션 고갈 없음, 아침 화면 p95 < 500ms
BE-34 P1 백업 · 복구 리허설
완료 기준 · 백업 파일로 별도 DB 복구 후 API 기동 성공

D-2 2026-09-14 (월) RC · 최종 검증 3건

당일 관문
RC1 태깅, 릴리스 체크리스트 전 항목 통과, 방어선 5개 실동작 확인

BE-35 P0 RC 백엔드 검증
완료 기준 · RC1 이미지로 스테이징 회귀 전건 통과
BE-36 P0 프로덕션 마이그레이션 스크립트 확정
완료 기준 · 추가만 하는 마이그레이션으로 구성, 소요시간·롤백 방법 명시
BE-37 P1 헬스체크 · 레디니스
완료 기준 · DB·LLM 연결 실패가 각각 구분되어 응답

D-1 2026-09-15 (화) Code Freeze · 리허설 2건

당일 관문
배포 리허설 1회 + 롤백 리허설 1회 성공

BE-38 P0 Code Freeze 대응 · 핫픽스 대기
완료 기준 · 승인된 핫픽스만 처리
BE-39 P0 배포·롤백 리허설 백엔드 파트
완료 기준 · 마이그레이션 적용과 downgrade 가 리허설에서 무오류

D-0 2026-09-16 (수) 프로덕션 배포 · 공개 3건

당일 관문
공개 오픈 + 30분 관측 정상 + 첫 실사용 로그 수집 확인

BE-40 P0 프로덕션 배포 백엔드 검증
완료 기준 · 마이그레이션 후 1루프 완주 + 인스펙터 개봉 정상
BE-41 P0 오픈 온콜 — API·DB
완료 기준 · 에러 로그 실시간 확인, 이상 시 즉시 보고
BE-42 P2 데브로그 — 포트 3개 설계 회고
완료 기준 · 도메인 어댑터 교체가 실제로 짧은 작업이었는지 기록