본문 바로가기

2019/04

(13)
파이썬 셀레늄(selenium) 기다리기 셀레늄을 왜 쓰냐면 그냥 http request를 보내면 데이터가 오기전에 크롤이 끝나버린다. 그래서 내가 원하는 데이터는 오지 않고 껍데기만 오는 경우가 많다. 원하는 데이터가 로딩될때까지 기다렸다가 크롤링 하기 위해서 셀레늄을 쓴다. 다음 코드는 인스타그램에 '발레'라는 해쉬태그를 검색한 페이지를 크롤하는 코드이다. import os from selenium import webdriver from bs4 import BeautifulSoup from selenium.webdriver.chrome.options import Options from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.suppo..
카카오 로그인 react에 붙이기 import React, { Component } from 'react'; import Kakao from 'kakaojs'; class KakaoLogin extends Component{ componentDidMount(){ console.log("hello-------"); Kakao.init('e9c4b1d97b8bac697985d17eb59516b3'); console.log(Kakao); Kakao.Auth.createLoginButton({ container: '#kakao-login-btn', success: function(authObj) { alert(JSON.stringify(authObj)); }, fail: function(err) { alert(JSON.stringify(err)..
t3.nano, t3.mircro, t3.small 비용 그리고 npm, flask돌리기 ap-northeast-2 서울 리전 월 5천 300원 정도 나옵니다. 그런데 이건 create-react-app으로 만든 리액트 앱이 빌드가 안됩니다. 메모리가 부족하다고 합니다. memory가 500메가인데 npm이 메모리를 엄청나게 잡아먹네요. flask앱 올리고 nginx까지 올린 다음에 react-app을 배포하려고 했는데 메모리 부족으로 빌드가 안됩니다. npm이 빌드할때 메모리를 많이 먹는 것 같네요. zsh, fasd등도 깔긴 했어요. 그래서 t3.small로 바로 갈려다가 t3.micro를 해보고 올려보려고 합니다. t3.micro, t3.small 비용 한단계 올라갈때마다 가격이 두배씩 올라갑니다 ㅎㅎ t3.micro는 월 만원정도 나오고 t3.small은 월 2만원 정도 나오네요. e..
안정적인 controller를 만들기 위해 필요한 것들 controller를 만들 때 object mapping한 이후에 여러 경우가 있을 수 있다. 1. 해당 field가 null인 경우 2. parent는 있는데 child가 없는 경우 { condition:{ "httpMethod":[] } } 3. parent부터 없는 경우 condition.getHttpMethod()를 해야 하는데 condition부터 null인 경우가 있다. 이 경우에는 Optional condition = Optional.ofNullable(conditon); 이렇게 optional로 감싸줘서 처리 할 수 있다.
pid로 내렸다 올리는 스크립트 BEFORE_PID=$(cat sh.pid) echo "before PID: $BEFORE_PID" kill -9 $BEFORE_PID git pull nohup python setup.py runserver --host=0.0.0.0 & echo $! > sh.pid NEW_PID=$(cat sh.pid) echo "NEW PID: $NEW_PID" ps -ef | grep runserver
제자 훈련을 해보자 제10편 - 과제를 빨리 하기 위해 성경 찾기 프로그램 만들기 link https://docs.google.com/spreadsheets/d/1NkfE4j1oM0drkM7TC1zwAfPBBC5IPr4Wk4RPZeTft7o/edit#gid=777334579 지금 파이썬으로 짜고 있다. 찾기("마", 3, 1, 6) 이렇게하면 마태복음 3장 1장에서 6절까지 찾아준다. 찾기("마", 3, 1, 6) 찾기("막", 4, 1, 1) 이렇게 여러줄을 쳐놓고 엔터 치믄 이런식으로 뽑아주면 출력해서 쓰거나 오려 붙이면 된다. 너무 성경책 찾는데 시간이 걸리는 것 같아서 성경책 찾는 스킬을 익히는 시간에 프로그램을 짜기로 했다. 토탈 쓴 시간은 한 10시간 정도 쓴거 같다. 홀리넷을 크롤 할려고 했더니 잘 안돼서 인터넷에 찾으니까 txt파일이 있는거다. 이거 파싱해서 json으로..
교회를 다녀보자 - 제20편 하나님은 돈주시는 분이 아니다 .with 기도하는법 기도에 대해서 이야기 하기 전에 '교회는 왜 다닐까?' 이 질문에서 시작을 해볼 필요가 있어요. 교회를 다닌다는 것은 단순히 교회에 출석만 하는 것을 말하지는 않아요. 교회의 컨텐츠인 예배와 나눔 그리고 일종의 동아리 활동인 사역이 있어요. 교회에 다닌다고 하면 교회의 컨텐츠인 '예배'를 드리러 간다고 생각하는게 일반적이에요. 이게 가장 중요한 것이지요. 횟집에 가면 회를 시켜서 먹듯이 교회에 간다는 것은 예배에 참석한다는 것을 말해요. 그런데 교회의 속성은 예수님의 제자가 되고 십자가를 지는것 이기 때문에 절대 편한곳이 아니에요. 직장과 마찬가지로 직장은 돈을 주기 때문에 내가 매일 가서 많은 시간을 노동을 하는데 사용을 합니다. 그리고 월급이나 시급으로 돈을 받지요. 예배드리는 것 자체도 편한 것은 ..
python selinium 크롤 할 때 랜덤 https://github.com/jihyunjeongme/instagram-auto-like-with-Python/blob/master/instagram_auto_like.py jihyunjeongme/instagram-auto-like-with-Python instagram auto like with Python3.6(Mac OS). Contribute to jihyunjeongme/instagram-auto-like-with-Python development by creating an account on GitHub. github.com 안그러믄 몇건 이상은 블록됨