PiDiNet + CLIP ViT-B/32 + facebook/dinov3-vitl16-pretrain-lvd1689m

용도

• 의도한 용도: 손그림으로 스탠드 조명을 찾는 검색에서, 정확히 그 상품을 맞히는 비율(정답률)은 낮으므로 엉뚱한 결과(오답)를 최소화하는 방향을 정하려고 최종 모델에 두 가지 변경을 각각 더해 오답률을 비교
• 대상 사용자: 팀 내 발표·의사결정용 분석
• 의도하지 않은 용도: 정답률 개선의 근거 (정답률은 참고용으로만 기록). 224장 규모의 결과를 서비스 전체 성능으로 일반화하는 것

모델 정보

비교한 세 구성 (②, ③은 누적이 아니라 각각 ①에 하나씩만 더함):

학습을 하지 않았으므로 하이퍼파라미터·에폭·학습 시간은 해당 없음입니다.

오답은 Top-10 결과(정답 자신 제외) 하나하나가 ⓐ 장↔단 혼동(라벨이 손그림과 다름) 또는 ⓑ 같은 라벨이지만 정답 상품과의 유사도가 카탈로그 하위 50%(모양 무관)에 해당하는 경우입니다. 오답률 = Top-10 중 오답 비율(낮을수록 좋음)이고, 정답률은 참고용입니다.

괄호는 부트스트랩 95% CI입니다. 최종 모델과 같은 손그림끼리 짝지은 차이:

• 검색 후보를 장+단 전체 1,598개로 늘린 조건(cat799_mixall_q112_seed0)에서도 방향은 같음: 오답률 최종 모델 29.0% / + 배경 제거 33.5% / + 카테고리 분리 15.2% (summary.md)

추론 성능 (CPU / GPU)

측정 안 함. 이 분석은 오답률 비교이며 지연 시간·처리량·메모리는 재지 않았습니다. infer_ms에는 넣지 않았습니다.

• 측정 방법: 해당 없음

같은 모델을 설정·분류기를 바꿔 3번 측정한 기록입니다. ★ r3이(가) 대표 결과(맨 위 수치)입니다.

본문에 넣지 않은 그림 2장입니다. 누르면 크게 보입니다.

한계

• 알려진 실패 유형: 배경 제거가 엉뚱한 사물을 피사체로 잡는 경우가 있고(프로젝트 README), 단스탠드에서 장↔단 혼동이 42.0%까지 늘어남
• 편향 / 공정성 이슈: [미확인]
• 성능이 떨어지는 입력 조건: 카테고리 분리는 사용자가 장/단을 고른다는 가정이라, 서비스에 카테고리 선택 단계가 있어야 이 조건이 됨. 카테고리 분리로 ⓐ가 0이 되는 것은 설계상 당연하고, 빠진 자리를 같은 라벨 상품이 채워 ⓑ가 +5.0%p 늘고 정답률 Top-10도 −4.9%p 줄어듦
• 측정 한계: 라벨당 112장이라 신뢰구간이 넓음. ⓑ의 유사도는 검색 모델과 같은 계열 임베딩(DINOv3 0.5 + CLIP 0.5)으로 재서 완전히 독립적인 척도가 아님. 카탈로그 샘플이 seed에 따라 바뀌는데 seed 0 한 번만 기록함 (seed 1, 2 결과는 [미확인])

배운 점

• 배경 제거는 정답률(+8.0%p)은 올리지만 장↔단 혼동(+7.2%p)과 장/단 편차(1.5%p → 21.5%p)를 키워 오답률이 늘었다. 특히 단스탠드 오답률이 27.4% → 45.1%가 됐다
• 카테고리 분리만으로 오답률이 28.2% → 15.2%로 줄었고, 줄어든 만큼은 최종 모델에서 장↔단 혼동이 차지하던 17.9%와 일치한다
• 다음에 해 볼 것: seed 1·2로 반복, 장스탠드에서 카테고리 분리 후에도 높은 ⓑ(21.5%) 줄이기, 장/단을 자동으로 분류하는 단계 검토