← gw

발굴처차단대응법 — 헌법 제8조·제9조 시행법

근거: CONSTITUTION.cst.md 제8조·제9조 소관: 발굴처(수집 대상 사이트/API)가 차단할 때 유형별 대응


제1조 (차단 유형 분류)

발굴처의 차단은 다음 유형으로 분류하고, 유형에 맞는 대응만 한다 — 유형 오판이 가장 흔한 실수다.

유형 증상 대응
레이트리밋 간헐적 429/일시 차단, 시간 지나면 풀림 del1급 저속 라인으로 이관, 우회 시도 금지(제2조)
IP 차단 지속적 403/거부 우회하지 않고 즉시 중단, 리스트만 남김(제3조)
라이선스/저작권 차단 접근은 되나 재배포 불가 명시 메타데이터만 수집, 원본 다운로드 안 함(제3조)
구조 변경(스크래핑 실패) HTML/API 구조 바뀌어 파싱 실패 raker 자체 버그로 취급, 재조사 후 수정
완전 폐쇄/서비스 종료 사이트/API 자체 소멸 리스트만 남기고 재수집 불가로 표기

제2조 (레이트리밋 — 우회 금지 원칙)

레이트리밋은 우회 대상이 아니라 존중 대상이다. 공격적 병렬화·프록시 우회 등으로 뚫으려 하지 말고, del1(의도적 저속 전담)로 이관하거나 요청 간격을 늘린다. 이 원칙을 어기면 헌법 제9조(즉각 대응)가 아니라 위반으로 간주한다 — "뚫는 것"은 대응이 아니다.

제3조 (막힌 소스는 리스트만 — 폐기 금지)

① 라이선스·IP 차단으로 실제 콘텐츠를 못 가져와도, 메타데이터·목록 정보는 반드시 남긴다. 접근 불가 = 전체 폐기가 아니다.

② "접근 가능"과 "재배포 가능"은 별개다 — 접근이 된다고 재배포 가능하다고 오판하지 않는다(프랑스 raker 판정 하향 사례가 이 원칙의 근거).

③ 이미지 등 자산 실물이 막혔으면, 메타데이터만 확보해두고 나중에 위키 등 문서와 매칭하는 방식으로 보완한다.

제4조 (판정 재검토 의무)

한 번 "접근 가능/양호"로 판정한 소스도, 실측 단계에서 뒤집힐 수 있다. 조사 단계 판정과 실제 raker 실행 결과가 다르면 즉시 재판정하고 문서에 반영한다 — 초기 판정을 과신하지 않는다.

제5조 (유형별 해결 노하우 = 핵심 자산) 🔴

① 발굴처가 막고 있을 때 이를 실제로 뚫어내는 세부 유형별 해결 방법은 이 워크스페이스의 핵심 자산이다. 대표가 직접 "이것이 우리의 핵심 자산"이라고 명시했다 — 제1조의 유형 분류는 판단 기준일 뿐이고, 이 조가 다루는 실제 해결 노하우가 진짜 경쟁력이다.

② 이 노하우(우회가 아닌 정당한 해결책 — 예: 공식 API 전환, 단순 HTTP 요청이 막히면 실제 브라우저 자동화(browsing)로 전환, 요청 패턴/속도 조정, 소스별 최적 라인 배정(del1 등), 캐시·미러 소스 활용, 소스 관리자에게 직접 문의·허가 요청 등)는 헌법 제5조·제6조(무기 창고, 공개 서버 절대 원칙)의 직접 적용 대상이다 — 즉 도구·방법론과 동급으로 취급해 공용 서비스 서버·공개 문서에 세부 기법을 노출하지 않는다. 이 외에도 실전에서 축적된 기법이 매우 많으므로, 발견 즉시 ③에 따라 비공개 노하우 문서에 계속 추가한다.

③ 실제 해결 기법의 축적은 소스별로 _wiki/_knowhow/(기능형, _ 접두사) 하위에 비공개로 기록한다. 이 법률 문서 자체에는 원칙과 분류만 남기고, 세부 실행 기법(구체적 파라미터, 우회 경로 등)은 별도 비공개 노하우 문서로 분리한다.

④ 이 조를 소홀히 해 유형별 해결 노하우가 축적·기록되지 않고 매번 처음부터 다시 시행착오를 반복하면, 06_업무매뉴얼표준양식법.law.md 제4조(상시 보강 의무) 위반으로 간주한다.

실행 사례 자료

이 법의 원칙이 실제로 적용된 사례:

날짜 사례 요약 자료 위치
2026-09-05 JP g-reiki.net 403(ASN/지오블록 추정) 차단 UA 위장 등 우회 시도는 명시적으로 배제하고, 정직한 자기표기 원칙을 유지하며 공식 제휴 채널·형제 채널 존재 여부부터 조사 위임 — 미해결 상태지만 제2조(우회 금지)·제1조(유형 분류) 원칙을 실제로 적용한 사례 15_JP_g-reiki_ASN차단_우회경로_조사서.md
2026-08-29 FR DATAtourisme robots.txt 벌크다운로드 차단 urllib.robotparser로 /resources/ 경로 차단을 직접 판정 확인한 뒤 원본 CSV 다운로드를 즉시 중단, 리소스 메타데이터(제목·URL·용량·라이선스)만 _manifest_verify_only.jsonl에 기록 02_raker_ready_for_bulk_collection_20260829.md
2026-08-29 FR POP Base Mémoire 라이선스(재배포 유보) 차단 Droits_de_diffusion 필드 표본 전량이 "재배포 불가"로 확인되자, 화이트리스트(개방 문구) 매치 항목만 이미지 저장하고 나머지는 메타데이터만 _manifest_verify_only.jsonl에 남기도록 raker를 재설계 — 접근 가능≠재배포 가능 원칙(제3조②)의 실제 적용 동일 파일 02_raker_ready_for_bulk_collection_20260829.md
2026-09-04~06 Harvard/Joconde/Mia 이미지 라이선스 오판 → 재판정 오브젝트 레벨 저작권 필드만 보고 "개방"으로 오판했던 반복 사고를 발견한 뒤, 이미지 자체 권리 필드까지 확인하는 3단계 게이트(오브젝트→이미지→사이트 ToU)를 표준 판정 절차로 확립 — 제4조(판정 재검토 의무)의 실제 적용 museum_universal_adapter_design.md
2026-09-05 Vimeo 익명 접근 100% 실패 → 정당한 우회 아닌 해결책으로 전환 단순 요청이 막히자(로그인 없는 익명 웹클라이언트 차단) IP 우회가 아닌 전용 계정 생성 + 쿠키 기반 정식 로그인 경로로 전환해 실제 다운로드를 성공시키고, 그 방법을 노하우 문서로 축적 — 제5조(해결 노하우 축적)의 실제 사례 VPS_YTDLP_DISCOVERY_METHOD.md