지각 해싱이 이름 변경 후에도 중복 만화를 찾는 방법
2026년 6월 1일
지각 해싱이 이름 변경 후에도 중복 만화를 찾는 방법
파일 이름을 바꿨다. 아카이브를 재압축했다. 다른 소스에서 동일한 권을 다운로드했다. 일반적인 기준으로 보면 이제 이것들은 "다른" 파일이다 — 다른 이름, 다른 체크섬, 다른 파일 크기.
그러나 안에 있는 만화는 같다. 모든 페이지가 같다. 그리고 디지털 라이브러리를 정리하려고 한다면, 이러한 거의 동일한 중복 파일들이 바로 표준 중복 탐지기를 빠져나가는 것들이다.
이것이 지각 해싱이 해결하는 문제이며, Comic Duplicate Scanner의 핵심 기술이다.
표준 파일 비교가 부족한 이유
대부분의 "중복 파일 찾기" 도구는 각 파일의 체크섬을 계산하고 같은 체크섬을 공유하는 파일에 플래그를 표시한다. 이것은 정확한 복사본에는 완벽하게 작동한다.
그러나 만화 아카이브의 경우, 이 접근법은 실제 세계에서 가장 흔한 중복을 놓친다:
| 시나리오 | 체크섬 동일? | 실제로 중복? |
|---|---|---|
| 다른 파일명의 복사본 | 아니오 | 예 |
| 다른 품질로 재압축됨 | 아니오 | 예 |
| 다른 구조로 재패키지됨 | 아니오 | 아마도 예 |
| 두 다른 소스에서 다운로드됨 | 아니오 | 종종 예 |
| 정확한 바이트 대 바이트 복사본 | 예 | 예 |
지각 해싱이 대신 하는 것
지각 해시는 파일 바이트가 아닌 이미지의 시각적 내용에서 계산된 짧은 지문이다. 가장 널리 사용되는 알고리즘 pHash는 대략 다음과 같이 작동한다:
- 이미지를 작은 고정 크기(예: 32×32 픽셀)로 크기 조정
- 그레이스케일로 변환
- 주파수 성분을 추출하기 위해 이산 코사인 변환(DCT) 적용
- 저주파 부분 유지 — 이것이 전체적인 구조를 포착
- 각 값을 중앙값과 비교하여 비트 문자열 생성
시각적으로 유사한 내용의 두 이미지는 낮은 해밍 거리의 해시를 생성한다.
이 단계들로부터 두 가지 중요한 특성이 직접 도출됩니다:
- 해상도는 관계없습니다. 1단계는 계산 전에 모든 이미지를 동일한 고정 그리드로 크기를 조정합니다. 같은 페이지의 1200px 스캔과 3000px 스캔은 모두 동일한 32×32 썸네일이 되어 같은 해시 값을 생성합니다.
- 색상 모드는 관계없습니다. 2단계는 비교 전에 그레이스케일로 변환합니다. 같은 페이지의 풀컬러 스캔과 그레이스케일 스캔은 알고리즘이 색상 값이 아닌 밝기 구조만 분석하므로 거의 동일한 해시 값을 생성합니다.
Comic Duplicate Scanner가 이것을 적용하는 방법
Comic Duplicate Scanner는 아카이브 수준에서 지각 해싱을 적용한다:
- 추출 — 각 CBZ 또는 CBR을 열고 내부 이미지를 읽음
- 각 페이지 해싱 — 모든 페이지가 지각 해시를 얻음
- 비교 — 유사성 인덱스를 구축하고 높은 비율의 일치 페이지를 공유하는 아카이브 발견
- 점수 부여 — 일치 신뢰도 할당
두 아카이브의 90%의 페이지가 일치하면 거짓 양성의 확률은 거의 0으로 떨어진다.
실제 사례
사례 1: HxH_v12_en.cbz를 한 사이트에서, Hunter_X_Hunter_Volume_12.cbz를 다른 사이트에서 다운로드했다. 지각 해싱: 모든 챕터에 걸쳐 거의 동일한 페이지 → 중복으로 플래그 표시.
사례 2: CBZ를 압축 도구로 처리하여 각 JPEG를 80% 품질로 줄였다. 체크섬이 변경됐다. 지각 해싱: 시각적으로 동일 → 감지됨.
사례 3: 한 아카이브는 001.jpg, 다른 것은 page_001.jpg로 페이지가 내부적으로 명명됨. 지각 해싱은 내부 파일명을 보지 않음 → 여전히 감지됨.
사례 5: 컬러 스캔 대 흑백 스캔 같은 만화 권의 두 복사본이 있습니다: 하나는 초기 디지털 버전의 컬러 스캔이고, 다른 하나는 나중 재판본의 그레이스케일 스캔입니다. 파일 크기가 다르고, 색상 깊이가 다르며, 시각적 외관도 다릅니다. 하지만 dHash는 해싱 전에 그레이스케일로 변환하기 때문에, 두 복사본 모두 동일한 밝기 지문으로 축소되어 중복으로 표시됩니다. 이것은 거의 모든 다른 중복 검출 도구가 완전히 놓치는 경우입니다.
지각 해싱의 한계
상당한 시각적 편집은 일치를 깨뜨린다. 가벼운 워터마크나 약간의 자르기는 보통 감지에 영향을 미치지 않는다.
매우 낮은 해상도 이미지는 신뢰할 수 없다.
여러 권에 걸쳐 유사한 예술 스타일의 만화. 가끔 거짓 양성이 가능하다 — 검토 인터페이스에서 삭제 전에 썸네일을 확인할 수 있다.
Comic Duplicate Scanner 사용하기
Comic Duplicate Scanner는 선택한 중복을 휴지통으로 이동하는(영구 삭제 아님) 네이티브 Mac 앱이다.
라이브러리 정리 후, iPhone의 BiblioFuse와 결합하여 단일 큐레이션된 독서 소스를 활용하라.