조용한 담장

웹 크롤러 개발에 많이 사용하는 파이썬 라이브러리(python library) BeautifulSoup 의 공식 문서의 예제 코드들을 모았다. https://www.crummy.com/software/BeautifulSoup/bs4/doc/

웹 클롤링에 많이 쓰이는 파이썬 라이브러리 BeautifulSoup 공식 문서의 예제 코드들을 모았다. https://www.crummy.com/software/BeautifulSoup/bs4/doc/

Scrapy 파이썬으로 구현된 웹 클롤러 이다. 기본 구조와 동작을 이해하면 다양하게 활용하기 좋은 오픈소스 소프트웨어다. Scrapy Github 구조 간단히 보기 Architecture 사이트 주소를 가지고 (1)Request 하면 (4)Downloader 가 다운받아 (5)Response 를 생성해주고, (6)Response 에서 필요한 (7)Items 을 뽑아 (8)Item PIpelines 을 통해 결과를 얻어내면 된다. Scheduler와 Engine이 있다. 자세한건 공식문서를 보자. command line tool 로 테스트 해보기 Command line tool Scrapy shell ㅃㅃ 커뮤니티 사이트의 게시판 목록을 읽어보자. $ scrapy shell http://www.ppomp..