Skip to content

HyOsori/Osori-WebCrawler

Repository files navigation

Osori-WebCrawler

한양대학교 오픈소스동아리에서 만든 크롤러

Cralwer List

번호 크롤링 내용 Code Link Github ID
1 한양대학교 컴퓨터전공 공지사항 Code kanak87
2 네이버 실시간 검색어 순위 Code kanak87
3 남도학숙 주간 식단표 Code CameliaOvO
4 디시인사이드 힛갤러리 목록 Code jhwon0415
5 해외축구 일정 결과 Code bees1114
6 Zangsisi 최신화 Code GunjuKo
7 LOL 패치노트 Code seubseub
8 Steam 세일 Code doomsheart
9 디시인사이드 연극뮤지컬 갤러리 개념글모음 Code CameliaOvO

Contributing

  • 크롤러는 python으로 작성해주세요.
  • 표준출력을 형식에 맞춰주시면 자동으로 Push가 발송됩니다.
고유번호[SEPERATOR]제목[SEPERATOR]링크
  • 고유번호는 점점 증가해야합니다.
  • 크롤러와 settings.json 함께 수정해서 풀리퀘를 날려주세요.
{
...
"dcinside_hit_gallery" : {
    "file_name": "dcinside_hit_gallery.py",
    "crawl_id": "3",
    "crawl_cycle": "60",
    "title": "디시인사이드 힛 갤",
    "desc": "힛갤에 뭐 올라옵니까?",
    "thumbnail": "URL",
    "num_extra_data": "0",
    "separator": "~!@123~!@"
  },
...
}
설명
dcinside_hit_gallery Crawler Object 키는 크롤러의 아이디
file_name Crawler 파일 이름 크롤러 코드
crawl_id 숫자 settings.json을 보고, 추가되는 오브젝트의 인덱스 값으로 설정
crawl_cycle 크롤러가 실행되는 주기, 단위는 분
title 타이틀 앱에 확인할 수 있는 크롤러 이름
desc 설명 앱에 확인할 수 있는 크롤러 설명
thumbnail URL 크롤러 아이콘
num_extra_data 0-2 0 Reserved, 현재 사용되지 않음
seperator seperator 문자열 출력형식에서 고유번호, 제목, 링크를 split하기 위해 사용

License

MIT Licensed. Copyright (c) Osori 2016.

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages