python3 windows pycharm에서 scrapy(스크래파이) 설치 및 실행하기

python3 pycharm에서 scrapy(스크래파이) 설치하기

1.스크래파이 설치

import scrapy

위 화면처럼 import scrapy 라고 입력하면 scrapy가 설치가 안되어 있다면 scrapy에 빨간색 밀줄이 쳐진다.

그때 Alt + enter를 누르면 설치된다.

설치 하다가 VisualBasic 2014 에러가 난다면 아래 링크에서 VB를 설치 해준다.

http://landinghub.visualstudio.com/visual-cpp-build-tools

2.스크래파이 커맨드 실행하기

그리고 윈도우 커맨드라인으로 안나가고 pycharm에서 ctrl + shift + f10 으로 실행시키고 싶다면 아래 처럼 하면 된다.

from scrapy.cmdline import execute

execute()

https://stackoverflow.com/questions/21788939/how-to-use-pycharm-to-debug-scrapy-projects

3.프로젝트 inti하기

import scrapy
from scrapy import cmdline
 
cmdline.execute("scrapy startproject wikiSpider".split())

wikiSpider라는 project를 만들려면 아래 명령어를 입력해야 한다.

scrapy startproject wikiSpider 

그런데 이게 pycharm terminal에서는 실행이 안되는 경우가 있다. 그래서 위 방법으로 실행을 할 수 있다.

4.ModuleNotFoundError: No module named 'win32api'

ModuleNotFoundError: No module named 'win32api'

위 에러가 난다면

import pypiwin32 를 해서 pypiwin32를 설치 해준다.

5.크롤러 실행하기

main.py

1 2 3 4

from scrapy import cmdline   cmdline.execute("scrapy crawl quotes".split())   Colored by Color Scripter

cs

main.py를 만들고 main에서 실행 시킨다.

spider의 name으로 지정한 이름으로 crawl을 실행한다.

이 프로젝트에서는 name = "quotes"로 지정 해서 scrapy crawl quotes 이 명령어로 실행 하였다.

end.