본문으로 바로가기

python3 pycharm에서 scrapy(스크래파이) 설치하기

1.스크래파이 설치

import scrapy


위 화면처럼 import scrapy 라고 입력하면 scrapy가 설치가 안되어 있다면 scrapy에 빨간색 밀줄이 쳐진다.

그때 Alt + enter를 누르면 설치된다.


설치 하다가 VisualBasic 2014 에러가 난다면 아래 링크에서 VB를 설치 해준다.

http://landinghub.visualstudio.com/visual-cpp-build-tools


2.스크래파이 커맨드 실행하기

그리고 윈도우 커맨드라인으로 안나가고 pycharm에서 ctrl + shift + f10 으로 실행시키고 싶다면 아래 처럼 하면 된다.

from scrapy.cmdline import execute

execute()

https://stackoverflow.com/questions/21788939/how-to-use-pycharm-to-debug-scrapy-projects



3.프로젝트 inti하기

1
2
3
4
import scrapy
from scrapy import cmdline
 
cmdline.execute("scrapy startproject wikiSpider".split())
cs


wikiSpider라는 project를 만들려면 아래 명령어를 입력해야 한다.


scrapy startproject wikiSpider 


그런데 이게 pycharm terminal에서는 실행이 안되는 경우가 있다. 그래서 위 방법으로 실행을 할 수 있다.



4.ModuleNotFoundError: No module named 'win32api'

ModuleNotFoundError: No module named 'win32api'

위 에러가 난다면

import pypiwin32 를 해서 pypiwin32를 설치 해준다.



5.크롤러 실행하기


main.py

1
2
3
4
from scrapy import cmdline
 
cmdline.execute("scrapy crawl quotes".split())
 

cs

main.py를 만들고 main에서 실행 시킨다.

spider의 name으로 지정한 이름으로 crawl을 실행한다.

이 프로젝트에서는 name = "quotes"로 지정 해서 scrapy crawl quotes 이 명령어로 실행 하였다.



end.





저작자 표시 비영리
신고

댓글을 달아 주세요