In [1]전체 갤러리(6,074장) 평가
.\.venv\Scripts\python.exe analysis\single_model_comparison\s3bir_dinov2\eval_s3bir_dinov2.py --full-catalogDINOv2 기반 스케치 검색 계열 (ViT-B/14 + 모달리티 프롬프트)
S3BIR-DINOv2 (s3bir_dinov2_flickr.ckpt)
S3BIR-DINOv2 손그림 → 상품 사진 검색 (공식 pretrained, zero-shot 비교)
- 모델
- 짝지어진 스케치 데이터 없이 자기지도로 학습한 스케치 기반 이미지 검색 모델 (DINOv2 ViT-B/14 + 이미지/스케치 모달리티 프롬프트)
- 사용 목적
- 손그림 검색 전용으로 학습된 공개 모델이 범용 모델(DINOv3)보다 나은지 재학습 없이 비교
- 가중치
s3bir_dinov2_flickr.ckpt355MB · 로컬 보관s3bir_dinov2/checkpoints/s3bir_dinov2_flickr.ckpt(노트북 폴더 기준)
Top-19.7%
Top-316.7%
Top-522.2%
학습 시간없음
추론 CPU / GPU측정 안 함
데이터
- 갤러리 6,074장 · 손그림 72장
- 직접 수집 · 오늘의집 조명
- 작은 갤러리 비교: 21장 · 18장
학습
- 학습 없음 · 공식 체크포인트 355MB
- GPU · 임베딩만 추출
- Flickr 사전학습 체크포인트
결과
- 전체 갤러리 Top-1 9.7% · Top-5 22.2%
- 평균 순위 333.8 (중앙값 37.5)
- 작은 갤러리(21) Top-1 44.4% → 전처리 61.1%
배운 점
- 전체 갤러리 Top-1은 DINOv3(8.3%)보다 약간 높음
- Top-3·5·평균 순위는 DINOv3가 우세
- 전처리로 Top-1은 올랐지만 Top-5는 그대로
개요용도 의도한 용도: 스케치 검색 전용 공개 모델이 범용 모델(DINOv3)보다 우리 손그림·상품 사진에 잘 맞는지 비교 대상 …
용도
- 의도한 용도: 스케치 검색 전용 공개 모델이 범용 모델(DINOv3)보다 우리 손그림·상품 사진에 잘 맞는지 비교
- 대상 사용자: 프로젝트 팀 내부 의사결정용
- 의도하지 않은 용도: 서비스 성능 근거. 쿼리 72장(작은 갤러리 비교는 18장)이라 일반화 불가
모델 정보
| 항목 | 값 |
|---|---|
| 베이스 모델 | 논문 "A study on self-supervised sketch-based image retrieval on unpaired data (S3BIR)"의 공식 체크포인트 s3bir_dinov2_flickr.ckpt (mpizarrot/S3BIR-DINO, 스크립트가 자동 다운로드) |
| 크기 · 변형 | 백본 DINOv2 ViT-B/14 (vit_base, patch 14), 체크포인트 355MB. 파라미터 수 [미확인] |
| 리비전 | 체크포인트 버전 [미확인] |
| 아키텍처 | DINOv2 ViT-B/14 + 이미지/스케치 모달리티 프롬프트. 이미지와 스케치를 각자의 모달리티로 임베딩해 코사인 유사도로 순위 |
| 학습 방식 | 학습하지 않음. 공식 체크포인트로 임베딩만 추출 (원 모델은 Flickr + 합성 스케치로 자기지도 학습) |
| 프롬프트 · 에이전트 구성 | 해당 없음 |
데이터확보 방식 직접 수집 (상품 사진) + 직접 그린 손그림 출처 오늘의집 조명 상품 사진 data/ohou_lighting_im…
| 항목 | 값 |
|---|---|
| 확보 방식 | 직접 수집 (상품 사진) + 직접 그린 손그림 |
| 출처 | 오늘의집 조명 상품 사진 data/ohou_lighting_images/(갤러리), 손그림 data/hand_sketch_targets/(쿼리) |
| 직접 수집 내용 | 오늘의집 공식 API가 없어 브라우저 콘솔 스크립트(analysis/ohou_browser_collect/)로 상품 정보를 JSON으로 모으고, Claude 스킬(ohou-collect)이 그 JSON을 CSV·이미지로 만듦. 수집 기간·손그림을 그린 사람·방법은 [미확인] |
| 이용 조건 확인 | [미확인] (오늘의집 이용약관·robots.txt 확인 여부를 확인하지 않음) |
| 규모 | 갤러리 전체 카탈로그 6,074장 (--full-catalog). 초기 비교는 손그림이 있는 상품 21장만, 쿼리 손그림 72장 (초기 비교는 18장) |
| 분할 | 학습 없음(zero-shot). 쿼리 손그림 한 장당 정답 상품 사진 하나. 같은 상품을 여러 장 그린 경우 각각 독립 쿼리 |
| 레이블·클래스 분포 | 클래스 없음. 쿼리별 정답 상품 1개 (조명 전체, 장/단스탠드 라벨은 이 비교에서 쓰지 않음) |
| 전처리 | 갤러리에만 선택 적용: rembg_outline, rembg_crop_outline (DINOv3 카드와 동일). 쿼리는 전처리 없음 |
| 개인정보·민감정보 처리 | 해당 없음 |
학습학습을 하지 않았으므로 하이퍼파라미터·에폭·학습 시간은 해당 없음 입니다. 하이퍼파라미터 해당 없음 에폭 / 스텝 해당 없음 …
학습을 하지 않았으므로 하이퍼파라미터·에폭·학습 시간은 해당 없음입니다.
| 항목 | 값 |
|---|---|
| 하이퍼파라미터 | 해당 없음 |
| 에폭 / 스텝 | 해당 없음 |
| 학습 시간 | 해당 없음 (임베딩 추출 시간은 [미확인]) |
| 하드웨어 | GPU 사용 (device: cuda, .venv Windows). GPU 이름은 [미확인] |
| 프레임워크 | PyTorch, torchvision (버전 [미확인]) |
| 시드 · 재현 방법 | s3bir_dinov2/eval_s3bir_dinov2.py 실행. --full-catalog, --preprocess rembg_outline / rembg_crop_outline 옵션은 DINOv3와 같음 |
결과전체 카탈로그 비교: DINOv3 vs S3BIR-DINOv2 전체 갤러리 6,074장 · 쿼리 72장 ( results/ev…
전체 갤러리 6,074장 · 쿼리 72장 (results/eval_s3bir_dinov2_full_catalog.csv)
| 지표 | 값 | 테스트셋 | 비교 대상 |
|---|---|---|---|
| Top-1 / Top-3 / Top-5 / Top-10 | 9.7% / 16.7% / 22.2% / 29.2% | 6,074장 갤러리, 쿼리 72장 | DINOv3 8.3% / 20.8% / 25.0% / 34.7% |
| 평균 순위 (중앙값) | 333.8 (37.5) | 〃 | DINOv3 293.3 (30.5) |
작은 갤러리 21장 · 쿼리 18장, 갤러리 전처리 비교 (model-result-1.ipynb 출력)
| 갤러리 | Top-1 | Top-3 | Top-5 | 평균 순위 |
|---|---|---|---|---|
| 원본 | 44.4% | 72.2% | 83.3% | 3.1 |
| rembg + 외곽선 | 61.1% | 77.8% | 83.3% | 2.7 |
| rembg + 크롭 + 외곽선 | 61.1% | 77.8% | 83.3% | 2.7 |
- 전처리는 6,074장 규모에서는 실행하지 않음
추론 성능 (CPU / GPU)
측정 안 함. 지연 시간·처리량·메모리를 재지 않았습니다. infer_ms에는 넣지 않았습니다.
| 장비 | 장비 이름 | 배치 크기 | 지연 시간 (샘플당, p50 / p95) | 처리량 (샘플/초) | 메모리 사용 |
|---|---|---|---|---|---|
| CPU | - | - | 측정 안 함 | 측정 안 함 | 측정 안 함 |
| GPU | [미확인] | 1 | 측정 안 함 | 측정 안 함 | 측정 안 함 |
- 측정 방법: 해당 없음
한계 · 배운 점한계 최악 사례 (21장 갤러리 · 18장 쿼리) 알려진 실패 유형: 정답 사진이 인테리어 배경이 큰 사진이거나 형태가 닮은 …
한계
- 알려진 실패 유형: 정답 사진이 인테리어 배경이 큰 사진이거나 형태가 닮은 다른 조명이 있으면 순위가 낮음 (아래 최악 사례)
- 편향 / 공정성 이슈: [미확인]
- 성능이 떨어지는 입력 조건: 갤러리가 커질수록 급락 (작은 갤러리 Top-1 44.4% → 전체 9.7%). 쿼리 72장뿐
배운 점
- 스케치 검색 전용 모델이어도 6,074장 갤러리에서는 Top-1 9.7%로, 범용 DINOv3(8.3%)와 큰 차이가 없다. Top-3·Top-5·평균 순위는 DINOv3가 더 낫다
- 작은 갤러리(21장) 결과만 보고 모델을 고르면 판단이 흔들릴 수 있다 (작은 갤러리에서는 DINOv3가 확실히 앞섰음)
- 다음에 해 볼 것: 쿼리를 늘려 두 모델 차이가 유의한지 확인
사용 방법코드 셀 1개
같은 과제·데이터셋 비교 sketch-based-image-retrieval · 직접 수집: 오늘의집 조명 상품 사진 6,074장 + 손그림 72장 · 3개
굵은 이름이 이 모델입니다. 주황 테두리가 그룹 안 최고값입니다.
Top-1 높을수록 좋음 · 축 일부 생략