뷰티풀 프로그래밍

krksap.tistory.com/1468 내용이 길어져서 위 글에서 분리 했습니다. 'Python Pandas 사용 방법' www.youtube.com/watch?v=xNkLIimJlKA 이 내용은 데이터베이스 정규화, Join에 대해 알고 써야 해서 위 링크를 첨부합니다. 데이터를 다루다 보면 데이터를 합치고 싶을 때가 있습니다. 물론 pandas에서도 합칠 수 있습니다. 이 기능을 join이라고 하는데 pandas에서는 .merge()함수로 join을 구현 할 수 있습니다. Merge(join) inner join import pandas as pd from pandas import DataFrame as df 과자목록1 = ['초코-파이','몽-쉘','빼빼로','호두파이','별-사탕'] 과자목록2..

개요 트리(Tree)는 자료구조라는 컴퓨터 과학의 분야가 생기기 전부터 사용하였습니다. 스무고개 게임의 경우가 트리 자료구조라고 할 수 있습니다. '사과' 를 맞춘다고 했을 때 질문이 '동물입니까?'라고 물어보면 '아닙니다'라고 할 것이고 '과일 입니까?' 라고 물어보면 맞다고 할 것입니다. '과일'이라고 했을 때 과일이 아닌 모든 것은 제외하고 생각 할 수 있습니다. 동물쪽으로 가서 코끼리나 고양이를 확인 하지 않아도 됩니다. 이 경우 자료구조로 Tree를 쓰면 전체를 확인 하는 것에 비해 속도가 빠를 것입니다. Tree를 쓰면 내가 이미 타고온 반대쪽은 탐색을 하지 않아도 되기 때문에 속도가 O(log n)이 되는 것입니다. 여기에서 이진트리라면 O(log 2)가 될 것이고 삼진트리라면 O(log 3..

개요 데이터를 핸들링 하다보면 file한개가 사이즈가 큰 경우가 있습니다. 크다는 것은 기준이 다르겠지만 파이썬 pandas dataframe을 쓰려고 할때 파일 크기가 1기가만 되도 노트북 기준으로는 30초씩 걸릴때도 있습니다. 한번 실행 할 때마다 30초씩 걸리면 기다리다 시간이 다 가는 경우가 많습니다. 그래서 파일을 필요한 부분 만큼만 불러오고 싶은데 그냥 파일로 되어 있으면 검색이 잘 안되기 때문에 sqllite3를 사용하는 방법을 생각 해보았습니다. 아래 road_name.json은 931Mb짜리 도로명 주소 전체 데이터(전국) 중에 4개 field만 뽑아놓은 데이터입니다. 그래도 1기가 정도 됩니다. 이 파일을 매번 불러와서 df로 만들어 연산을 하려니 너무 느렸습니다. Create DB, ..

딥러닝 신경망에서 행렬의 곱으로 신경망 연산을 할 때 np.dot()을 쓸때가 있습니다. [1, 2]와 [[1, 3, 5], [2, 4, 6]] 을 곱할 때 np.dot()으로 연산을 할 수 있습니다. 그러면 다음과 같은 연산이 이루어 지고 (1 * 1) + (2 * 2), (1 * 3) + (2 * 4), (1 * 5) + (2 * 6) 결과는 [5, 11, 17]이 됩니다. 위 연산을 코드로 표현 하면 import numpy as np x = np.array([1, 2]) w = np.array([[1, 3, 5], [2, 4, 6]]) y = np.dot(x, w) print(y) 결과 [ 5 11 17 ] 2x2 * 2x2는 아래와 같습니다. import numpy as np x = np.arra..

10가지 핵심 1.msgbox msgbox("hello") 2.range range("a1").value = "hello" msgbox( range("a1").value ) 3.concatenate(&) msgbox( range("a" & 1).value ) 4.variable var_01 = range("a" & 1).value msgbox(var_01) 5.loop(for) for i = 1 to 100 range("a" & i).value="hello" next 6.if if range("a" & 1).value = 1 then range("b" & 1).value = "true" else range("b" & 1).value = "false" end if 7.call method sub print..

정규식 이용하기 https://krksap.tistory.com/989 Selenium(셀레늄) krksap.tistory.com/1580 Multi Threading krksap.tistory.com/1714 bs4에서 .text했을 때 \n을 넣어서 뽑고 싶은 경우 아래 div에서 .text를 하면 '많은 것을 생각케 하는미국교포가 올린 재미 있는 만화' 이렇게 한줄로 붙어서 나옵니다. 많은 것을 생각케 하는 미국교포가 올린 재미 있는 만화 그런데 실제로는 아래와 같이 \n가 들어있습니다. 많은 것을 생각케 하는 미국교포가 올린 재미 있는 만화 그래서 엘리먼트를 한줄씩 돌면서 뽑아서 파싱을 해주어야 하는데 이 때 .descendants를 씁니다. def get_content(txtBody): prin..

와이즐리 면도기 과연 싸고 좋은가요? 했을때 제 기준으로는 아닌 것 같습니다. 저는 결국 도루코 면도기를 다시 주문 했습니다. 도루코 7중날 페이스 7으로 주문 했습니다. 면도날 총 8개에 배송비 무료로 2만 900(21,860 2021에 1000원 올랐음)원 주고 샀습니다. 2만 1천원에서 100원 빠진 가격입니다. 결론부터 말하자면 와이즐리는 그분들이 주장하는 것 처럼 싸지도 않고 다른 면도기보다 잘 깎이지도 않는것 같습니다. 면도날도 최근에 구입 했는데 교체해서 써보니 개선이 되었다고는 하지만 그렇게 성능이 좋지는 않은 것 같습니다. 저는 올해 34살 유부남입니다. 결혼한지는 2달 정도 되었습니다. 와이즐리가 거창하게 저렴한 가격에 아주 좋은 면도기를 공급한다고 해서 나도 몇번 사서 써보았습다. 제..

수집한 데이터에서 키워드를 추출하기 위해 konlpy를 이용했습니다. 위 csv파일은 아래와 같이 생겼습니다. from konlpy.utils import pprint from konlpy.tag import Kkma, Okt import pandas as pd import json okt = Okt() df = pd.read_csv('total_mafra_in_datagokr_v2.csv', dtype={'id':'str'}) df = df[['id', 'name', 'title1', 'title2', 'title3']] result = [] cnt = 0 for row in df.iterrows(): row1 = row[1] print(cnt, row1['name'], row1['title1'], r..

Selenium을 이용하면 열려있던 크롬을 컨트롤 할 수 있습니다. 네이버처럼 로그인 할 때 캡챠를 뚫어야 하는 경우 로그인만 한번 해놓고 selenium으로 컨트롤 하는 방법이 있습니다. Win + r 로 실행창을 열고 아래 경로를 붙여넣기 하고 엔터 칩니다. 아래 명령어 입니다. C:\Program Files (x86)\Google\Chrome\Application\chrome.exe --remote-debugging-port=9222 --user-data-dir="C:/ChromeTEMP" 안되시면 아래 명령어로 열어봅니다. C:\Program Files\Google\Chrome\Application\chrome.exe --remote-debugging-port=9222 --user-data-dir..

Java 1.interface란 무엇인지? 왜 쓰는지? 2.spring은 무엇인지, 왜 쓰는지? 3.spring di란 무엇인지? 4.spring aop란 무엇인지? 5.spring boot는 왜 쓰는지? 스프링 프로젝트를 간편하게 셋업하기 위해서 사용. 주로 내장 컨테이너를 함께 사용하기 위해서 쓴다. application.yml 파일 등으로 설정을 쉽게 바꿀 수 있다. msa를 구성하기가 비교적 수월하다. 6.pojo를 만들고 list에 3개 넣어주세요, java8 .stream()을 이용해 가격을 오름차순으로 정렬하는 코드를 손코딩 해보세요. 7.jpa란 왜 쓰는지? 8.영속성 context란? - 엔티티를 저장하는 공간 조회할 데이터가 영속성 컨텍스트에 존재하는지 확인 데이터가 없으면 쿼리를 생성..