[도시환경회복력 연구 노트] 가중치를 고정한 거리 사진 판독기의 반복적 프롬프트 개선: 불확실성 표집과 회귀 평가

여섯 칸 개요 그림. 걸은 경로, 겹친 사진, 판독 상자와 출력, 점수 막대와 고른 8장, 결과 메일과 답장, 지시문 판과 지표 꺾은선. 아래로 6번에서 3번으로 돌아가는 주황 화살표 — 개요 그림. 사진 한 장(x₉₃)이 걷기 촬영, 가림, 판독, 확인 점수, 사람 확인, 지시문 갱신을 차례로 지나는 과정. 각 칸에는 해당 단계의 실제 산출물을 제시하였고, 아래 주황 고리가 사람 확인이 다음 판 지시문으로 피드백되는 경로다.

도시환경회복력 연구 노트 | 방법론 | 2026년 10월 14일

초록

이타시티 거리 기록기는 참여자가 걷는 동안 3초 간격으로 사진과 위치를 남긴다. 본 노트는 이 사진을 가중치를 고정한 대형 언어 모델(Claude)로 판독하고, 판독 오류에서 도출한 규칙을 지시문에 누적해 판독기를 개선하는 방법을 기술한다.

사람의 확인은 불확실성 점수 상위 8장으로 한정하고, 지시문의 각 판은 고정 평가 세트(사진 62장)에서 회귀 시험한다. 세 차례 개선(v2.1→v2.3)으로 유형 일치율은 0.32에서 0.58로, 장소 이탈 적치(B)의 재현율은 0.00에서 0.89로 올랐다. 평가 기준이 사람 정답이 아니라 같은 모델의 정밀 판독이라는 점이 현재의 주된 한계다.

용어 | 가중치 고정(frozen weights): 모델 매개변수 θ 를 갱신하지 않는다. 출력이 바뀌는 원인은 입력(지시문, 예시, 사진)뿐이다. 평가 세트(evaluation set): 지시문을 바꿀 때마다 동일한 기준으로 평가하기 위해 고정한 정답 표본. 재현율(recall): 기준 판독이 특정 유형으로 분류한 사진에서 판독기가 같은 유형으로 맞힌 비율.

1. 서론

거리 쓰레기 기록은 위치와 시각을 갖지만, 사진이 나타내는 내용은 누군가 판독해야 한다. 하루 기록이 수십에서 수백 장이므로 사람이 전수 판독하기 어렵고, 범용 객체 탐지 모델은 꽁초나 문 앞 무더기처럼 맥락 파악이 필요한 판정을 수행하지 못한다(이타서울 내부 시험).

본 작업은 모델을 재학습하지 않는 접근을 택한다. 판독기는 지시문과 예시만으로 동작하고(문맥 내 학습 [1]), 개선은 지시문의 수정으로 이루어진다. 기여는 세 가지다.

용어 | 문맥 내 학습(in-context learning): 모델이 입력에 함께 주어진 지시와 예시를 해당 호출 안에서만 참조하는 성질. 호출이 끝나면 상태가 유지되지 않으므로, 개선 사항은 지시문 파일의 판(version)으로 기록된다.

판독 형식: 사진마다 (요소, 상태, 품목, 유형, 확신도) 한 줄을 출력하는 구조화 판독과, 지시문의 각 판에 누적되는 규칙.
확인 표본 선택: 확신도와 오류 빈발 유형으로 계산한 점수 s(t)의 상위 k 장만 사람의 확인에 할당하는 불확실성 표집 [3][4].
회귀 평가: 고정 평가 세트에서 판마다 다시 판독해 일치율과 유형별 재현율을 비교하는 절차 [7][8].

2. 관련 연구

프롬프트와 문맥 내 학습. Brown 등 [1]은 GPT-3 를 「기울기 갱신이나 미세조정 없이, 과제와 몇 개의 시연을 글로만 주어」 적용했다. Anthropic 의 프롬프트 지침 [2]은 잘 고른 예시 몇 개(few-shot)가 정확도와 일관성을 높인다고 설명한다. 본 판독기의 기준 사진 4장이 이 예시에 해당한다.

용어 | 프롬프트 엔지니어링(prompt engineering): 가중치 대신 입력 지시문을 설계하고 고쳐 출력을 바꾸는 방법. 퓨샷 예시(few-shot exemplars): 정답이 포함된 소수의 예시를 지시문에 함께 제공하는 기법. 본 작업의 E(기준 사진 4장).

능동 학습과 불확실성 표집. 능동 학습은 학습자가 정답을 받을 자료를 스스로 고를 수 있으면 더 적은 정답으로 더 높은 정확도에 이른다는 관점이다 [3][5]. 불확실성 표집 [4]은 그중 가장 단순한 질의 전략으로, 모델이 가장 확신하지 못하는 사례에 먼저 정답을 받는다. 본 작업은 이 전략을 학습 데이터 수집이 아니라 사람의 확인 예산 배분에 적용한다.

용어 | 능동 학습(active learning): 학습자가 정답을 획득할 사례를 스스로 선택하는 학습 틀. 오라클(oracle): 질의에 정답을 주는 주체, 대개 사람 주석자. 풀 기반(pool-based): 정답이 없는 표본 집합(풀)에서 질의할 사례를 선택하는 방식. 불확실성 표집(uncertainty sampling): 모델이 가장 확신하지 못하는 사례부터 질의하는 전략.

사람 참여와 평가. 사용자가 결과를 검토하고 수정하는 상호작용 구조는 사람 참여 기계학습 [6]으로 정리되었다. Anthropic 문서 [7]는 성공 기준을 정하고 이를 측정하는 평가를 설계하는 순환이 프롬프트 엔지니어링의 중심이라고 하며, 같은 회사의 에이전트 설계 글은 생성과 평가를 반복하는 evaluator-optimizer 흐름을 설명한다 [9]. 수정이 의도하지 않은 영향을 초래하지 않았는지 다시 확인하는 절차는 소프트웨어 공학의 회귀 시험 [8]이다.

용어 | 사람 참여(human-in-the-loop): 자동 처리의 중간에 사람이 결과를 검토하고 수정하며, 그 수정 사항이 다음 처리에 피드백되는 구조. evaluator-optimizer: 생성 호출과 평가 호출이 피드백을 주고받으며 반복하는 흐름. 회귀 시험(regression test): 수정 뒤 기존 기능이 여전히 정상 동작하는지 확인하는 재시험.

가중치를 바꾸는 방법과의 구분. RLHF [10]와 미세조정은 사람 판단으로 가중치를 갱신한다. 자동 프롬프트 최적화(APE [11], OPRO [12])는 지시문 후보 생성과 선택을 모델에 맡긴다. 본 작업은 가중치를 고정하고, 지시문 수정은 오류 분석을 거쳐 사람(세션)이 작성한다.

용어 | RLHF(reinforcement learning from human feedback): 사람의 선호 순위로 보상 모형을 학습하고, 그 보상으로 언어 모델을 강화학습한다. 미세조정(fine-tuning): 정답 자료로 사전학습 모델의 가중치를 추가 학습한다. 자동 프롬프트 최적화: 지시문 후보를 모델이 생성하고 평가 점수로 고른다.

그림 0 은 두 원문의 표준 도식을 다시 그려 본 작업의 절차와 비교한 것이다. 능동 학습 순환에서 정답은 모델을 다시 학습시키는 데 쓰이지만, 본 작업에서는 지시문 수정의 근거가 된다. evaluator-optimizer 흐름에서 평가자는 또 하나의 모델 호출이지만, 본 작업에서는 고정 평가 세트와 사람이 평가자다.

네 개의 순환 도식. 왼쪽 위 labeled training set, machine learning model, unlabeled pool, oracle. 오른쪽 위 D_eval, 지시문 갱신, 오늘 기록, 확인자. 왼쪽 아래 In, Generator, Evaluator, Out. 오른쪽 아래 기록, 판독, 회귀 평가, 채택 — 그림 0. 원문의 표준 도식(왼쪽, 다시 그림)과 본 작업의 대응(오른쪽). 위는 Settles(2010) Figure 1 의 풀 기반 능동 학습 순환, 아래는 Anthropic(2024)의 evaluator-optimizer 흐름이다. 주황이 원문과 달라지는 자리다.

3. 방법

그림 1 은 일일 판독의 데이터 흐름을 저장된 산출물과 처리로 구분하여 나타낸 것이며, 그 아래 입체판은 같은 흐름에서 누적되는 요소(사진 묶음, 지시문 판)를 높이로 시각화한 것이다. 이하 3.1~3.4 의 기호는 그림 1 의 표기를 따른다.

track.json과 photos.tar에서 가림, 판독, S_k.json, 집계로 이어지고, 선택 top-k, 메일, 사람 확인, D_eval, 오류 분석을 거쳐 지시문으로 돌아가는 데이터 흐름도 — 그림 1. 일일 판독 파이프라인의 데이터 흐름. 접힌 귀 직사각형은 저장된 산출물, 둥근 상자는 처리이며, 주황 경로가 지시문이 바뀌는 곳이다.

바닥 판 위 여섯 타일. 경로, 쌓인 사진 넉 장, 눕힌 판독 사진과 세운 출력 카드, 세운 점수 막대, 메일 카드와 답장 말풍선, 세 층으로 쌓인 지시문 판. 앞쪽으로 6에서 3으로 도는 주황 고리 — 그림 1(입체판). 같은 흐름을 아이소메트릭으로 나타내었다. 2 의 사진 더미와 6 의 지시문 층은 실제 누적되는 요소를 높이로 시각화한 것이며, 모델(θ)은 변경되지 않고 6 의 최상단 층만 갱신된다.

3.1 문제 정의. 기록 S 는 사진 열 X = (x₁, …, x_N)과 위치 열로 이루어진다(촬영 간격 Δt = 3초). 각 사진 x_t 에 대해 판독기는 ŷ_t = (e_t, c_t, i_t, τ_t, κ_t)를 출력한다. e 는 요소(보도, 화단, 건물 문 앞, 배출 거점 등), c 는 상태(흩어짐, 적치, 막힘, 방치), i 는 품목, τ 는 아홉 유형(A~J) 또는 「없음」, κ 는 확신도(확실, 추정)이다.

용어 | 구조화 출력(structured output): 자유 서술 대신 정해진 필드(e, c, i, τ, κ)를 가진 기록을 생성하게 하는 것. 사진마다 JSON 한 줄이며, 집계와 비교를 기계가 할 수 있게 한다.

3.2 판독기와 지시문. 판독기는 ŷ = f_θ(P_v ⊕ E, X_b)로 정의한다. θ 는 고정이고, P_v 는 v 번째 판 지시문, E 는 기준 사진 4장, X_b 는 크기 40 이하의 묶음이다.

지시문은 기본 지시문 P₀ 에 판마다 규칙 ΔP 를 덧붙여 P_v = P₀ ⊕ ΔP₁ ⊕ … ⊕ ΔP_v 로 누적한다. 판독은 구독 계정의 Claude 를 읽기와 쓰기 도구만 허용한 상태로 호출하며, 과금 API 는 쓰지 않는다.

용어 | ⊕(연결, concatenation): 지시문 조각을 순서대로 이어 붙인다는 뜻. 묶음(batch): 한 번의 모델 호출에 함께 넣는 사진 집합. 본 작업은 B ≤ 40.

열 줄짜리 의사 코드 — 알고리즘 1. 일일 판독과 확인 표본 선택. 1~7행은 매일 21:00 자동으로, 8~10행은 사람과 세션이 수행한다.

3.3 확인 표본 선택. 사진마다 점수 s(t) = 2·𝟙[κ_t = 추정] + 2·𝟙[τ_t ∈ U] + 𝟙[꽁초 ∈ more_t]를 계산한다. U = {B, D, I, J, F}는 이전 판들의 오류 분석에서 불일치가 잦았던 유형이다.

「없음」이 아닌 사진에서 점수 상위 k − 1 장을 고르고, 「없음」 판정 사진 하나를 더한다(k = 8). 마지막 한 장은 모델이 놓친 쓰레기를 확인하기 위한 것이다.

용어 | 지시 함수(indicator function) 𝟙[·]: 조건이 참이면 1, 거짓이면 0. top-k: 점수 상위 k 개를 고르는 선택. 동점이면 촬영 순서로 순위를 정한다.

점수 내림차순 막대 그래프. 상위 7개와 쓰레기 없음 1개가 주황, 아래에 불일치 표시 점 — 그림 2. 2026-10-12 기록(N = 62)의 사진별 확인 점수 s(t). 주황 막대가 선택된 8장, 검은 점이 기준 판독과 유형이 다른 사진이다.

3.4 평가. 평가 세트 D_eval = {(x_t, y_t)}에 대해 유형 일치율 Acc = (1/N) Σ 𝟙[τ̂_t = τ_t]와 유형 c 의 재현율 Recall_c = |{t : τ_t = c, τ̂_t = c}| / |{t : τ_t = c}|를 쓴다. 지시문의 새 판은 D_eval 에서 Acc 가 이전 판보다 낮지 않을 때 채택한다(알고리즘 1, 10행).

용어 | 일치율(accuracy): 전체 사진 가운데 유형이 같은 비율. 혼동 행렬(confusion matrix): 행에 기준 유형, 열에 예측 유형을 두고 사진 수를 센 표. 대각선이 일치, 그 밖은 어떤 유형이 어떤 유형으로 오분류되었는지를 나타낸다.

4. 실험 설정

자료: 2026-10-12(월) 08:07 서울 서대문구 기록, 사진 62장. 판독 전 얼굴과 번호판을 가렸다.
기준 판독 y: 같은 사진을 Claude 가 대화 세션에서 장소 맥락까지 참고하며 한 장씩 판독한 결과. 사람 정답이 아니다.
비교 대상: 지시문 v2.1(같은 무리는 한 줄, 기준 사진), v2.2(문 앞, 셔터 앞, 건물 앞마당 무더기는 B, 꽁초 따로), v2.3(꽁초 줄 필수, 가구와 자재는 D, 시설물 위 컵은 I, 화단 속 조각은 J).

구현 | 실행: 판마다 같은 62장을 묶음 두 개(40장, 22장)로 다시 판독했다. 판마다 약 15분이 소요되었다. 도구: auto/daily_walk_job.js(판독), auto/sample_pick.js(선택), auto/compare_reads.js(비교).

5. 결과

5.1 지표. 유형 일치율은 v2.1, v2.2, v2.3 에서 0.32, 0.53, 0.58 이었다. 기준 B 19장에 대한 재현율은 0.00, 0.79, 0.89 로, v2.2 의 규칙 한 줄(문 앞 무더기는 B)이 가장 큰 변화를 가져왔다.

꽁초 줄 수는 기준 23줄 대비 13, 13, 20 줄로, 「꽁초가 보이면 반드시 따로 적는다」는 v2.3 규칙을 적용한 뒤 증가하였다.

세 개의 꺾은선. Acc 0.32, 0.53, 0.58. Recall_B 0.00, 0.79, 0.89. 꽁초 줄 비율 0.57, 0.57, 0.87 — 그림 6. 지시문 판별 지표. 같은 D_eval 을 판마다 다시 판독해 계산했다.

5.2 오류 구조. 혼동 행렬(그림 5)에서 v2.1 의 기준 B 행은 F 열 6장과 H 열 13장으로 분산되어 있었다. 문 앞에 모인 무더기를 판정 보류(F)나 보도 위 작은 쓰레기(H)로 판독한 것이다.

v2.3 에서는 같은 행의 17장이 대각선에 집중되었다. 반면 시설물 위 일회용품(I)과 화단 속 작은 쓰레기(J) 행은 v2.3 에서도 대각선이 비어 있어, 해당 규칙(ΔP_v2.3 의 14번)이 아직 효과를 나타내지 못하였다.

두 개의 10×10 혼동 행렬. v2.1 은 B 행이 F와 H 열에 흩어져 있고, v2.3 은 B 대각선에 17 — 그림 5. 혼동 행렬(행 = 기준 판독, 열 = 자동 판독, N = 62). 왼쪽 v2.1, 오른쪽 v2.3.

5.3 선택 효율. v2.3 결과에서 기준 판독과 유형이 다른 사진은 26장이다. 무작위로 8장을 뽑으면 불일치 사진의 기댓값은 8 × 26/62 = 3.4장이다. 점수 s(t)로 고른 8장에는 불일치 사진이 6장 포함되었다(그림 2). 같은 확인 예산으로 확인자가 보는 오류가 약 1.8배 많아진다.

용어 | 무작위 기준선(random baseline): 같은 수를 무작위로 뽑았을 때의 기댓값. 선택 전략의 효과는 이 기댓값과 비교하여 평가한다.

5.4 정성 사례. 그림 3 은 일치, 불일치, 「없음」 표본 하나씩이다. 불일치 사례 (b)는 객체 하나(쓰러진 관)와 그 둘레의 작은 쓰레기 중 무엇을 주 판정으로 삼는지에 따라 갈렸다. 이런 주 객체 선택의 모호함이 남은 불일치의 상당 부분을 차지한다.

그림 7 은 불일치 사례 (b)의 사진 한 장을 파이프라인 끝까지 따라간 것이다. 판독기는 쓰러진 관을 주 객체로 보아 D 로 판정하고, 화단 속 조각과 꽁초를 more 에 적었다. 확인 점수는 5 로 이 기록의 최고점이어서 메일 3번으로 선택되었다. 기준 판독은 같은 물건들을 보았으나 관 둘레의 컵과 병을 주 판정으로 삼아 J 로 두었다. 오류는 무엇이 있는가가 아니라 무엇을 주 판정으로 삼는지에서 비롯되었고, 이를 규칙 후보로 적었다(미적용).

왼쪽에 풀 자란 화단 속 쓰러진 관 사진과 점선 상자 세 개, 오른쪽에 번호 붙은 여섯 단계 상자. 판독 τ=D 추정, 점수 5, 기준 τ=J, 불일치, 규칙 후보, 답장 예 — 그림 7. 사진 한 장(x₉₃)이 판독, 확인 점수, 기준 비교, 오류 해석, 규칙 후보, 사람 확인을 지나는 과정. 값은 모두 실제 출력이다.

석재 볼라드 옆에 상자와 가방이 쌓인 사진과 두 판독 결과 — 그림 3(a). 일치 사례. 석재 볼라드 옆 무더기를 자동 판독과 기준 판독 모두 장소 이탈 적치(B)로 판정했다.

화단 속 쓰러진 회색 관 사진과 갈린 두 판독 결과 — 그림 3(b). 불일치 사례. 자동 판독은 쓰러진 관을 주 객체로 보아 D, 기준 판독은 관 둘레의 컵과 병을 보아 J 로 판정했다. 확인 점수 4로 선택되었다.

보도 블록 바닥 사진과 갈린 두 판독 결과 — 그림 3(c). 「쓰레기 없음」 표본. 자동 판독은 없음, 기준 판독은 흰 점 하나를 판독 미확정(F)으로 두었다. 놓침 확인용으로 매 기록 1장을 넣는 이유다.

영상 분석 결과 메일 화면. 안내 상자와 번호 붙은 사진, 사진마다 판정 한 줄 — 그림 4. 확인 표본이 붙은 결과 메일(cto@ 수신). 사진마다 자동 판정 한 줄이 붙고, 확인자는 틀린 항목만 답장한다.

5.5 운영. 2026-10-14 부터 매일 21:00 판독 결과 메일에 확인 표본 8장이 첨부된다(그림 4). 확인자는 틀린 항목만 답장하며, 답장은 사람 정답으로 D_eval 에 더해진다. 기록 다섯 건이 연속으로 고칠 항목 한 장 이하이면 확인 표본 첨부를 중단한다.

6. 한계

기준이 사람 정답이 아니다. 위 지표는 자동 판독이 같은 모델의 정밀 판독에 얼마나 근접한가를 측정한다. 사람 정답이 쌓이면 D_eval 을 바꾸고 다시 잰다.
평가 세트가 작고 단일 지역에서 수집되었다. 한 동네, 한 번의 걷기, 사진 62장이다. 다른 동네와 시간대로 일반화되는지는 측정하지 않았다.
판독은 확률적이다. 같은 지시문으로도 반복 판독 간 차이가 있다. v2.1 시험에서 같은 사진 20장을 세 번 판독하자 문제로 판정한 줄이 41, 14, 18 이었다. 판 사이 한두 장의 차이는 개선으로 해석하지 않는다.
선택 점수는 수동으로 설정한 규칙이다. U 와 가중치(2, 2, 1)는 오류 분석으로 정했으며 최적화하지 않았다.
판독 결과는 해당 일시와 장소에서 관측된 것에 한정되며, 그 동네 쓰레기의 총량이 아니다.

용어 | 확률적 생성(stochastic decoding): 언어 모델은 다음 낱말을 확률 분포에서 뽑으므로, 같은 입력에도 출력이 조금씩 달라진다. 판 사이 비교에서는 이러한 무작위 변동보다 큰 차이만 의미 있는 차이로 본다.

7. 다음 단계

확인자의 답장으로 D_eval 을 사람 정답으로 대체하고, 기록마다 지표를 다시 계산한다.
다른 동네 기록을 평가 세트에 더해 v2.4 를 만든다.
사람 정답이 충분히 쌓이면 자동 프롬프트 최적화 [11][12]를 같은 회귀 평가 위에서 비교한다.

참고문헌

[1] Brown, T. B., Mann, B., Ryder, N., et al. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165. https://arxiv.org/abs/2005.14165

[2] Anthropic. Prompting best practices: Use examples effectively. Claude Docs. https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/claude-prompting-best-practices

[3] Settles, B. (2010). Active Learning Literature Survey. Computer Sciences Technical Report 1648 (updated January 26, 2010), University of Wisconsin–Madison. https://burrsettles.com/pub/settles.activelearning.pdf

[4] Lewis, D. D., & Gale, W. A. (1994). A Sequential Algorithm for Training Text Classifiers. Proceedings of SIGIR '94, 3–12. https://arxiv.org/abs/cmp-lg/9407020

[5] Cohn, D., Atlas, L., & Ladner, R. (1994). Improving Generalization with Active Learning. Machine Learning, 15, 201–221. https://doi.org/10.1007/BF00993277

[6] Amershi, S., Cakmak, M., Knox, W. B., & Kulesza, T. (2014). Power to the People: The Role of Humans in Interactive Machine Learning. AI Magazine, 35(4), 105–120. https://doi.org/10.1609/aimag.v35i4.2513

[7] Anthropic. Define success criteria and build evaluations. Claude Docs. https://platform.claude.com/docs/en/test-and-evaluate/develop-tests

[8] IEEE (1990). IEEE Std 610.12-1990, IEEE Standard Glossary of Software Engineering Terminology (ISO/IEC/IEEE 24765 로 대체). regression testing 항목.

[9] Schluntz, E., & Zhang, B. (2024-12-19). Building effective agents. Anthropic Engineering. https://www.anthropic.com/engineering/building-effective-agents

[10] Ouyang, L., Wu, J., Jiang, X., et al. (2022). Training language models to follow instructions with human feedback. arXiv:2203.02155. https://arxiv.org/abs/2203.02155

[11] Zhou, Y., Muresanu, A. I., Han, Z., et al. (2022). Large Language Models Are Human-Level Prompt Engineers. arXiv:2211.01910. https://arxiv.org/abs/2211.01910

[12] Yang, C., Wang, X., Lu, Y., Liu, H., Le, Q. V., Zhou, D., & Chen, X. (2023). Large Language Models as Optimizers. ICLR 2024. arXiv:2309.03409. https://arxiv.org/abs/2309.03409

정리: 사단법인 이타서울

#도시환경회복력 #거리기록 #프롬프트엔지니어링 #능동학습 #불확실성표집 #회귀평가

- 현장 기록: 이타시티 거리 기록기, 2026-10-12(월) 08:07, 서울 서대문구, 사진 62장
- 판독 모델: Anthropic Claude(구독 계정, 과금 API 미사용)
- 사진: 얼굴과 번호판을 가린 판
- 분석: 사단법인 이타서울