뷰티풀 프로그래밍

Pycharm Community Edition은 무료지만 편의 기능들이 많이 빠져있습니다. 그 중에 하나가 Flask를 지원하는 탬플릿입니다. 저처럼 Ultimit을 사기는 아깝고 Pycharm은 꼭 쓰고 싶은 경우 flask연동 탬플릿을 만들어서 쓸 수 있습니다. 먼저 일반 파이썬 프로젝트를 하나 빌드 합니다. community버전은 선택지가 별로 없기 때문에 맨 위에 있는 Pure Python으로 빌드 하면 됩니다. 그리고 Virtualenv로 해줍니다. 이 옵션으로 해주면 pip install로 flask를 설치 해주어야 flask를 쓸 수 있겠지요? 그 다음 우측 상단 Edit Configurations... 로 갑니다. 이 화면에서 Windows같은 경우는 Script path로 되어있는데 누르..

개요 SQL은 알고 있지만 Elastic Search에서 쿼리를 하려면 엘라스틱서치만의 문법으로 쿼리를 해주어야 합니다. 이 포스트는 SQL을 엘라스틱쿼리로 바꿔서 질의하는 내용에 대해 다룹니다. 엘라스틱서치는 이하 es라고 하겠습니다. krksap.tistory.com/1634 Elastic Search(엘라스틱서치) 설치(win), 명령어 설치.windows10 www.elastic.co/downloads/elasticsearch?latest [ Download Elasticsearch Free | Get Started Now | Elastic | Elastic Want it hosted? Deploy on Elastic Cloud. Get Started » www.elastic.c.. krksap...

Python hashlib로 sha256인코딩한 hex값 만들기 Hash는 암호화된 값입니다. 0 1 2 3 4 5 위와 같이 값을 배열에 저장 하려면 arr[0] = 'hello' 이렇게 저장을 하면 되지만 0 1 2 3 4 5 hello 저장된 값에 접근을 하려면 반드시 index를 알아야 합니다. index를 모른다면 배열을 0번부터 원하는 값이 나올때까지 모두 검색을 해야 합니다. 그래서 배열 번호로 접근 하는 것이 아니라 key로 데이터에 접근을 하기 위해 Hash를 사용하는데 Hash를 사용하는 맵은 HashMap이라고 합니다. Hash는 Hash를 만들어주는 함수가 있고 그 함수가 return하는 값은 배열의 번호 입니다. 예를들어 'aa'라는 key를 make_hash(char) 라는 함수..

krksap.tistory.com/1468 내용이 길어져서 위 글에서 분리 했습니다. 'Python Pandas 사용 방법' www.youtube.com/watch?v=xNkLIimJlKA 이 내용은 데이터베이스 정규화, Join에 대해 알고 써야 해서 위 링크를 첨부합니다. 데이터를 다루다 보면 데이터를 합치고 싶을 때가 있습니다. 물론 pandas에서도 합칠 수 있습니다. 이 기능을 join이라고 하는데 pandas에서는 .merge()함수로 join을 구현 할 수 있습니다. Merge(join) inner join import pandas as pd from pandas import DataFrame as df 과자목록1 = ['초코-파이','몽-쉘','빼빼로','호두파이','별-사탕'] 과자목록2..

개요 트리(Tree)는 자료구조라는 컴퓨터 과학의 분야가 생기기 전부터 사용하였습니다. 스무고개 게임의 경우가 트리 자료구조라고 할 수 있습니다. '사과' 를 맞춘다고 했을 때 질문이 '동물입니까?'라고 물어보면 '아닙니다'라고 할 것이고 '과일 입니까?' 라고 물어보면 맞다고 할 것입니다. '과일'이라고 했을 때 과일이 아닌 모든 것은 제외하고 생각 할 수 있습니다. 동물쪽으로 가서 코끼리나 고양이를 확인 하지 않아도 됩니다. 이 경우 자료구조로 Tree를 쓰면 전체를 확인 하는 것에 비해 속도가 빠를 것입니다. Tree를 쓰면 내가 이미 타고온 반대쪽은 탐색을 하지 않아도 되기 때문에 속도가 O(log n)이 되는 것입니다. 여기에서 이진트리라면 O(log 2)가 될 것이고 삼진트리라면 O(log 3..

개요 데이터를 핸들링 하다보면 file한개가 사이즈가 큰 경우가 있습니다. 크다는 것은 기준이 다르겠지만 파이썬 pandas dataframe을 쓰려고 할때 파일 크기가 1기가만 되도 노트북 기준으로는 30초씩 걸릴때도 있습니다. 한번 실행 할 때마다 30초씩 걸리면 기다리다 시간이 다 가는 경우가 많습니다. 그래서 파일을 필요한 부분 만큼만 불러오고 싶은데 그냥 파일로 되어 있으면 검색이 잘 안되기 때문에 sqllite3를 사용하는 방법을 생각 해보았습니다. 아래 road_name.json은 931Mb짜리 도로명 주소 전체 데이터(전국) 중에 4개 field만 뽑아놓은 데이터입니다. 그래도 1기가 정도 됩니다. 이 파일을 매번 불러와서 df로 만들어 연산을 하려니 너무 느렸습니다. Create DB, ..

딥러닝 신경망에서 행렬의 곱으로 신경망 연산을 할 때 np.dot()을 쓸때가 있습니다. [1, 2]와 [[1, 3, 5], [2, 4, 6]] 을 곱할 때 np.dot()으로 연산을 할 수 있습니다. 그러면 다음과 같은 연산이 이루어 지고 (1 * 1) + (2 * 2), (1 * 3) + (2 * 4), (1 * 5) + (2 * 6) 결과는 [5, 11, 17]이 됩니다. 위 연산을 코드로 표현 하면 import numpy as np x = np.array([1, 2]) w = np.array([[1, 3, 5], [2, 4, 6]]) y = np.dot(x, w) print(y) 결과 [ 5 11 17 ] 2x2 * 2x2는 아래와 같습니다. import numpy as np x = np.arra..

수집한 데이터에서 키워드를 추출하기 위해 konlpy를 이용했습니다. 위 csv파일은 아래와 같이 생겼습니다. from konlpy.utils import pprint from konlpy.tag import Kkma, Okt import pandas as pd import json okt = Okt() df = pd.read_csv('total_mafra_in_datagokr_v2.csv', dtype={'id':'str'}) df = df[['id', 'name', 'title1', 'title2', 'title3']] result = [] cnt = 0 for row in df.iterrows(): row1 = row[1] print(cnt, row1['name'], row1['title1'], r..

개요 한 학생, 고객, 승객을 고유 값으로 구분하는 ID를 부여 할 때 예를들어 A반에 10번이라고 하면 ID를 A10으로 부여 함으로써 A반에 10번이라는 것을 ID로 표현을 합니다. A반의 10번 뿐만 아니라 A객실에 10번 고객 이런식으로 흔하게 쓰이는 형태 입니다. 여기에서 ID A10, A6, B4 등의 ID를 가지고 해당 학생이 어떤 반에 속하는지만 추출하고 싶은 경우 아래 함수를 통하면 A6 => A, A10 => A 이렇게 알파벳만 나옵니다. import re def get_class(room_code): match = re.match(r"([A-Z]+)([0-9]+)", room_code, re.I) if match: items = match.groups() return items[0] ..

python multi threading crawl 멀티스레딩은 아래와 같이 여러 페이지를 크롤 해야 하는 경우 http request의 response가 순차적으로 실행되야 한다면 1000개 page를 크롤 한다고 하면 시간이 오래 걸릴 수 있습니다. 그래서 병렬처리를 하는데 병렬처리를 할 때는 Thread를 씁니다. import time from threading import Thread import requests total_page = 1000 def run(idx, results): url = 'http:///app/test/hpa' print(idx, url) res = requests.get(url) print(res, res.content) results = [None] * total_pa..