-
전제조건
-
신규 Site 추가 불가
- 자유크롤러에서 해야함
-
Generator가 자동으로 추출한 rule수정 불가
- 필요시 새로 입려해야함(gen_id='Human')
-
Results 테이블의 데이타 변경 불가
- 필요시 자유크롤러를 통해 재수집 요청
-
현재 시점의 최신 gen_id는 이미 알고 있음
- 무조건 최신 버젼의 rule이 존재함
-
What Rule?
-
특정 사이트의 룰?
- 사이트는 이미 정해져있음
-
특정 단일 URL의 룰?
- URL에서 site_url_sha1을 구해야함
-
Viewer 종류
-
Generator 뷰어
- 자동 생성 gen_id (only 조회)
- Human gen_id에 대해서만 (추가, 조회, 수정, 삭제X)
-
Rule 뷰어
- 파싱 룰과 패턴데이타의 join (only 조회)
- 모든 버젼의 gen_id 조회 가능(default: 최신)
-
Rule 편집기
- Human 룰 입력 편집 (조회, 수정, 삭제는 valid=0)
-
Result 뷰어
- HTML 파싱 결과 (only 조회)
- 과거 이력의 html 조회 가능(default: 최신)
-
개발 환경
- flask, jquery, bootstrap
- gunicorn, nginx