In [1]평가 실행
.\.venv\Scripts\python.exe analysis\single_model_comparison\zse_sbir\eval_zse_sbir.pyViT 기반 제로샷 스케치 검색 계열
ZSE-SBIR (best_checkpoint.pth, Sketchy Ext)
ZSE-SBIR 손그림 → 상품 사진 검색 (공식 pretrained, 소규모 비교)
- 모델
- 처음 보는 카테고리에도 쓸 수 있는 제로샷 스케치 기반 이미지 검색 모델 (CVPR 2023, Lin et al.)
- 사용 목적
- 손그림 검색 후보 모델로, 재학습 없이 DINOv3·S3BIR-DINOv2와 같은 조건에서 비교
- 가중치
view390MB · Drive
Top-133.3%
Top-355.6%
Top-566.7%
학습 시간없음
추론 CPU / GPU측정 안 함
데이터
- 작은 갤러리 21장 · 손그림 18장
- 직접 수집 · 오늘의집 조명
- 전체 갤러리는 측정 안 함
학습
- 학습 없음 · 공식 체크포인트 390MB
- Sketchy Ext 학습본
- GPU · self-attention cls-token 모드
결과
- Top-1 33.3% · Top-5 66.7%
- 평균 순위 5.9 (3모델 중 최하)
- rembg + 외곽선 Top-1 66.7%
배운 점
- 원본 사진에서는 3모델 중 가장 낮음
- 배경 제거 + 외곽선으로 Top-1 +33.3%p
- 크롭을 더하면 오히려 44.4%
개요용도 의도한 용도: 제로샷 스케치 검색 모델이 손그림·상품 사진에 쓸 만한지 다른 후보와 같은 조건에서 확인 대상 사용자: 프…
용도
- 의도한 용도: 제로샷 스케치 검색 모델이 손그림·상품 사진에 쓸 만한지 다른 후보와 같은 조건에서 확인
- 대상 사용자: 프로젝트 팀 내부 의사결정용
- 의도하지 않은 용도: 서비스 성능 근거. 갤러리 21장 · 쿼리 18장 규모라 일반화 불가. 전체 갤러리(6,074장) 측정은 안 함
모델 정보
| 항목 | 값 |
|---|---|
| 베이스 모델 | 논문 "Zero-Shot Everything Sketch-Based Image Retrieval, and in Explainable Style" (Lin et al., CVPR 2023)의 공식 repo buptLinfy/ZSE-SBIR 체크포인트 (Sketchy Ext) |
| 크기 · 변형 | 체크포인트 390MB. 백본 구조·파라미터 수 [미확인] |
| 리비전 | 체크포인트 버전 [미확인] |
| 아키텍처 | 공식 Model로 스케치·이미지를 임베딩. 검색 모드는 sa(self-attention cls-token)를 사용해 다른 모델과 같은 코사인 유사도로 비교 (rn 모드는 쓰지 않음) |
| 학습 방식 | 학습하지 않음. 공식 체크포인트로 임베딩만 추출 |
| 프롬프트 · 에이전트 구성 | 해당 없음 |
데이터확보 방식 직접 수집 (상품 사진) + 직접 그린 손그림 출처 오늘의집 조명 상품 사진 data/ohou_lighting_im…
| 항목 | 값 |
|---|---|
| 확보 방식 | 직접 수집 (상품 사진) + 직접 그린 손그림 |
| 출처 | 오늘의집 조명 상품 사진 data/ohou_lighting_images/(갤러리), 손그림 data/hand_sketch_targets/(쿼리) |
| 직접 수집 내용 | 오늘의집 공식 API가 없어 브라우저 콘솔 스크립트(analysis/ohou_browser_collect/)로 상품 정보를 JSON으로 모으고, Claude 스킬(ohou-collect)이 그 JSON을 CSV·이미지로 만듦. 수집 기간·손그림을 그린 사람·방법은 [미확인] |
| 이용 조건 확인 | [미확인] (오늘의집 이용약관·robots.txt 확인 여부를 확인하지 않음) |
| 규모 | 갤러리 상품 사진 21장 (손그림이 있는 상품만, 작은 갤러리), 쿼리 손그림 18장 |
| 분할 | 학습 없음(zero-shot). 쿼리 손그림 한 장당 정답 상품 사진 하나. 같은 상품을 여러 장 그린 경우 각각 독립 쿼리 |
| 레이블·클래스 분포 | 클래스 없음. 쿼리별 정답 상품 1개 (조명 전체, 장/단스탠드 라벨은 이 비교에서 쓰지 않음) |
| 전처리 | 갤러리에만 선택 적용: rembg_outline, rembg_crop_outline. 쿼리는 전처리 없음. 이 모델은 model-result-2.ipynb(전체 갤러리 비교)에서 제외되어 CSV 결과 파일이 없고 수치는 model-result-1.ipynb 출력에서 옮김 |
| 개인정보·민감정보 처리 | 해당 없음 |
학습학습을 하지 않았으므로 하이퍼파라미터·에폭·학습 시간은 해당 없음 입니다. 하이퍼파라미터 해당 없음 에폭 / 스텝 해당 없음 …
학습을 하지 않았으므로 하이퍼파라미터·에폭·학습 시간은 해당 없음입니다.
| 항목 | 값 |
|---|---|
| 하이퍼파라미터 | 해당 없음 |
| 에폭 / 스텝 | 해당 없음 |
| 학습 시간 | 해당 없음 |
| 하드웨어 | GPU 사용 (device: cuda, .venv Windows). GPU 이름은 [미확인] |
| 프레임워크 | PyTorch, torchvision (버전 [미확인]) |
| 시드 · 재현 방법 | zse_sbir/eval_zse_sbir.py 실행. 체크포인트는 gdown으로 자동 다운로드를 시도하고, 실패하면 Drive에서 받아 zse_sbir/checkpoints/best_checkpoint.pth에 둠 (링크는 상단 weights) |
결과작은 갤러리 모델 비교 (21장 · 18장) 갤러리 전처리 적용 전후 작은 갤러리 21장 · 쿼리 18장 ( model-res…
작은 갤러리 21장 · 쿼리 18장 (model-result-1.ipynb 출력)
| 갤러리 | Top-1 | Top-3 | Top-5 | 평균 순위 |
|---|---|---|---|---|
| 원본 | 33.3% | 55.6% | 66.7% | 5.9 |
| rembg + 외곽선 | 66.7% | 66.7% | 66.7% | 3.9 |
| rembg + 크롭 + 외곽선 | 44.4% | 61.1% | 72.2% | 3.8 |
같은 조건의 다른 모델 (원본 갤러리): DINOv3 55.6% / 77.8% / 94.4% (평균 순위 2.3), S3BIR-DINOv2 44.4% / 72.2% / 83.3% (3.1)
- 전체 갤러리(6,074장) 결과: [미확인] (측정 안 함)
추론 성능 (CPU / GPU)
측정 안 함. 지연 시간·처리량·메모리를 재지 않았습니다. infer_ms에는 넣지 않았습니다.
| 장비 | 장비 이름 | 배치 크기 | 지연 시간 (샘플당, p50 / p95) | 처리량 (샘플/초) | 메모리 사용 |
|---|---|---|---|---|---|
| CPU | - | - | 측정 안 함 | 측정 안 함 | 측정 안 함 |
| GPU | [미확인] | 1 | 측정 안 함 | 측정 안 함 | 측정 안 함 |
- 측정 방법: 해당 없음
한계 · 배운 점한계 최악 사례 알려진 실패 유형: 원본 사진 갤러리에서 3개 모델 중 가장 낮음. 아래 최악 사례 참고 편향 / 공정성 이슈…
한계
- 알려진 실패 유형: 원본 사진 갤러리에서 3개 모델 중 가장 낮음. 아래 최악 사례 참고
- 편향 / 공정성 이슈: [미확인]
- 성능이 떨어지는 입력 조건: 배경이 있는 사진 (배경 제거 + 외곽선 후 Top-1이 33.3% → 66.7%). 단, 크롭까지 더하면 44.4%로 다시 낮아져 전처리 효과가 일정하지 않음
배운 점
- 같은 갤러리에서 DINOv3 → S3BIR-DINOv2 → ZSE-SBIR 순으로 Top-1이 높았다 (55.6% → 44.4% → 33.3%)
- 갤러리를 손그림과 같은 도메인(검은 선/흰 배경)으로 바꾸면 ZSE-SBIR가 가장 크게 올랐다 (+33.3%p). 다만 18장 쿼리라 한 장이 5.6%p라 우연일 수 있다
- 다음에 해 볼 것: 전체 갤러리에서 측정해 다른 모델과 비교
사용 방법코드 셀 1개
같은 과제·데이터셋 비교
같은 과제·데이터셋으로 학습한 모델이 생기면 여기에서 비교됩니다.