본문으로 바로가기

파이썬 크롤러 만들기

category Language/Python 2017.05.14 00:05

파이썬 크롤러 만들기


크롤러는 크롤링을 하는 프로그램이다.

크롤링이란 데이터를 수집 하는 것이고, 웹 크롤링이란 웹 데이터를 수집하는걸 말한다.

비슷한 말로는 파싱, 스크래핑 등이 있다.


관련 포스트는 아래 포스트 참고

2017/03/30 - [강의/Node.js] - 크롤링(Crawling)이란? 또는 파싱(Parsing)이란? 스크래핑이란?



크롤러는 여러가지 언어로 만들 수 있다. 자바, 노드JS, 파이썬 등 대부분의 언어로 만들 수 있는데 이번엔 파이썬으로 만들어보겠다.

사용한 도구는 PyCharm이다. 


파이참을 켜고 빈(Empty) 프로젝트를 하나 생성한다.


프로젝트에서 New -> Python file 을 선택한다.



이렇게 파일명 입력하는 창이 뜨면 적절히 입력 해준다. 나는 'httpRequest'라고 했다.



그러면 아래와 같이 하얗게 하나 생성된다.



코딩을 해보자. 3줄이면 끝난다.


소스코드는 아래와 같다.

1
2
3
from urllib.request import urlopen
html = urlopen("http://www.google.com/")
print(html.read())
cs



ctrl + shift + f10으로 실행을 해보자.


위와 같이 나오면 완성!


참 쉽죠잉?


end.



저작자 표시 비영리
신고

댓글을 달아 주세요

티스토리 툴바