← 그룹웨어 메인

raker 수집기 실행법

작성일: 2026-10-19 · 대상: raker_g_*.py 수집기를 돌리는 전 세션 · 근거: 2026-09-24 ~ 10-16 DE/Tier B 재가동 기록

1. 실행 전 확인

1. 저장 경로(RULEMAP_RAW)를 명시한다. 기본값에 기대지 않는다. 기본 경로가 사라진 적이 있다(맥미니 개명 후 macmini → m1).

   ssh [email protected] 'ls /l1s1/stage/'   # linux1 직접 확인 (macOS NFS 마운트만으로 판단 금지)

2. 마운트 가드: 수집기는 assert_raw_mount_alive(RAW)로 저장소 마운트를 확인한다. 가드를 우회하는 수정은 하지 않는다.
3. 인수검증(신규·수정 스크립트): raker/_raker_verify1.py로 정적 검사를 먼저 돌린다. A등급만 투입한다.
4. robots.txt: 수집 대상 호스트마다 별도 호출로 확인한다(내장 브라우저 사용법 5항 참고).

2. 실행

cd /Users/blue/dev/a/raker
mkdir -p ~/raker_logs/de
TS=$(date +%Y%m%d_%H%M%S)
RULEMAP_RAW=/Volumes/l1s1_stage/m1/bm/a/raw \
  nohup python3 -u raker_g_de_rule_oparl3.py >> ~/raker_logs/de/oparl3_$TS.log 2>&1 &

• 항상 nohup ... &로 띄우고 로그를 파일에 남긴다.
• 대량 대상은 --limit으로 나눠 실행하면 중간 정지가 안전하다.
• 여러 수집기를 동시에 띄울 때는 저장 위치가 같은 샤드 번호가 겹치지 않는지(기기별 하위 디렉토리) 확인한다.

3. 실가동 확인 (필수)

"실행했다"와 "돌고 있다"는 다르다. 실행 후 반드시 확인한다.

ps aux | grep raker_g_ | grep -v grep           # 프로세스 존재
tail -5 ~/raker_logs/de/oparl3_$TS.log            # 최근 타임스탬프 활동
ps aux | awk '$8 ~ /^D/'                          # D 상태(디스크 대기) 개수

• 로그 마지막 줄이 몇 분 이상 변하지 않으면 정지로 본다. 프로세스를 바로 죽이지 않는다.
• D 상태가 0이면 고장이 아니라 저장소 경합일 수 있다. 자연 해소를 기다리거나 순차 재개를 검토한다.
• 하위 세션의 "정상 진행 중" 보고만으로 확정하지 않는다. 실측 결과를 본다.

4. 완료 판정 (로그 말고 실물)

find /경로/raw/g/국가/도메인 -type f ! -name '._*' | wc -l
du -sh /경로/raw/g/국가/도메인

• 로그의 "완료"·"신규 N건"은 기록일 뿐이다. 실물 파일 수와 용량을 함께 대조한다.
• 매니페스트 줄 수 대비 용량이 비정상적으로 작으면 쓰기 유실을 의심한다(사이드카 ._*만 남은 경우 포함).

5. 금지 사항

• kill -KILL·kill -TERM으로 쓰는 중인 샤드를 끊지 않는다. 정상 종료(자연완료·--limit)를 우선한다.
• "일부라도 새 레코드가 있으면 성공"으로 처리하지 않는다. 할당량 대비 실측 진행률을 본다.
• robots.txt가 막은 경로는 우회하지 않는다. 승인이 필요한 곳은 사용자에게 먼저 묻는다.
• 기본 저장 경로에 기대지 않는다. 정확한 RULEMAP_RAW를 매번 지정한다.

6. 연결 불가 시

linux1(172.30.1.151)이 응답하지 않으면 맥미니 로컬 임시저장소로 저장하고, 복구 후 스테이징 회수법대로 정본에 옮긴다. 로컬 여유가 100GB 미만이면 폴백도 거부한다.