뷰티풀 프로그래밍

python multi threading crawl 멀티스레딩은 아래와 같이 여러 페이지를 크롤 해야 하는 경우 http request의 response가 순차적으로 실행되야 한다면 1000개 page를 크롤 한다고 하면 시간이 오래 걸릴 수 있습니다. 그래서 병렬처리를 하는데 병렬처리를 할 때는 Thread를 씁니다. import time from threading import Thread import requests total_page = 1000 def run(idx, results): url = 'http:///app/test/hpa' print(idx, url) res = requests.get(url) print(res, res.content) results = [None] * total_pa..

데이터 불러올 때 특정 컬럼 string type으로 불러오기 df

Python으로 db작업을 하려면 일단 connection을 맺고 query를 날려야 합니다. 일단 db는 생성해서 위 4개의 row를 넣은 상태입니다. 아래 코드는 그 코드이다. db이름은 hello_db입니다. 라이브러리는 mysql-connector를 설치해주면 됩니다. import mysql.connector mydb = mysql.connector.connect( host="localhost", user="root", password="12345678", database='hello_db' ) cursor = mydb.cursor() query = ("select * from users") cursor.execute(query) for ddd in cursor: print(ddd) python에..

r을 실행 한다. 자주 사용하는 단축키 설명 단축키 새탭 command + shift + N 커서 있는 라인만 실행 command + Enter 전체 실행 command + shift + S 주석 command + shift + c hello 출력 하기 print('hello') 결과 프로그램 번호 없이 출력하기 message('world') 결과 벡터(Vector) 만들기 Vector는 일종의 list다. c('hello', 'world') 결과 [1] "hello" "world" 벡터 만들고 출력하기 vector1 message(vector1) helloworld > print(vector1) [1] "hello" "world" 벡터의 연산 v1

XX(회사이름) 파이썬 판다스 테스트 (30 mins) In this task, you'll be analysing listings data from our Shopee Platform. You may use the Pycharm IDE installed, Sublime or other windows native text editors. Please save your python source code on the desktop. You may use the internet for help. The dataset is stored in the Test_Pandas.xlsx file. It contains listing information posted on Shopee. One single listing ..

면접을 1년째 보러다니고 있는 것 같습니다. 제가 떨어진 이유를 분석을 해보면 일단 첫인상이 안좋은것 같습니다. 이건 당장 고치긴 힘들겠지 싶습니다. 그리고 두번째는 자료구조에서 자꾸 막히는 것 같습니다. 제가 7년간 실무에서 썼던 자료구조는 List, Map, array였는데 자료구조에는 이렇게 3가지만 있는 것이 아니고 이 3가지를 응용해서 Heap(힙), Stack(스택), Queue(큐), Tree(트리), Graph(그래프) 등 여러가지 응용 자료구조도 있습니다. 하지만 지금까지는 가져다 쓰기 급급 했는데 면접에서는 이것들을 정확히 이해를 하고 있는지를 꼭 물어보기 때문에 다시 정신 차리고 공부해야 겠다는 생각이 들었습니다. 그런데 자료구조 공부를 하려면 책들이 죄다 C로 되어 있거나 C의 코드..

1. 알고 있는 자료구조의 종류에 대해 이야기 해보세요. List(리스트), Linked List(링드 리스트), Array(배열), Stack(스택), Queue(큐), Dequeue(디큐), Tree(트리), Heap(힙), Graph(그래프) 2.Linked List에 대해 설명 해보세요 Linked List는 데이터와 다음 데이터를 가리키는 정보를 저장하고 있는 자료구조 입니다. 데이터를 추가 하기에 좋지만 데이터를 찾을(탐색) 때 순차적으로 찾아야 하기 때문에 검색 하는 것은 느립니다. 그래서 데이터의 입출력이 많을 때 Linked List를 사용 하는 것이 좋습니다. 3.Linked List를 구현 해보세요. Linked List Class(클래스)를 구현 해보겠습니다. 기능은 add(), l..

생활비와 학자금 등은 비과세 대상 생활비와 학자금 같이 일상적인 용도의 경제적 지원받는 경우 증여세 과세대상에서 제외된다. 여기서도 주의할 점은 해당용도로 직접 지출(생활비는 생활비로, 학원비는 학원비로)했을 경우에만 비과세될 뿐 만약 생활비를 모아서 예금·주식·부동산 등 재산 취득에 사용했다면 증여로 인식돼 증여세가 부과될 수 있다. 부모와 자식 사이에 10년간 5000만원까지 세금 없이 증여할 수 있다 부모와 자식 사이에는 10년간 5000만원까지 세금 없이 증여할 수 있는데요. 한 달에 100만원씩 4년간 생활비를 지원받는 경우 증여총액이 4800만원이므로 증여세를 내지 않아도 됩니다. 월 40만원씩 10년간 생활비를 지원받더라도 마찬가지죠. 세무서에 차용증 공증 받아야 함 https://news...

교회 장로교 교단은 '성경은 하나님의 말씀을 기록한 책이고 여기에는 틀린것이 없다.'라고 가르칩니다. 성경 무오설입니다. 성경 무오설에서 조금 다른 입장을 낸 것이 성경 무류설 이라고 가르침을 이해할 수 있게 썼다는 주장이 있습니다. 저는 장로교단이지만 후자의 입장입니다. 교회를 계속 다니다 보면 이런 의심이 생길 때가 있습니다. '과연 틀린게 단 한군데도 없는가?'라고요. 예를들면 과학적으로 봤을 때 물이 변해서 포도주가 되는 일이 있을 수 있는 것인지에 대해 저는 의문이 매번 듭니다. 열역학 제1법칙 즉 '에너지보존의 법칙'에 맞지 않는다는것이죠. 그리고 죽은 사람이 어떻게 다시 살아날 수 있는지(부활) 등 과학의 시대를 살아가는 우리들에게는 단순히 '믿음'으로 넘어가기에는 어려운 부분들이 많습니다...

강의 두줄 요약 - 판다스를 이용해 실전에서 많이 나오는 데이터 처리 패턴을 배워 보고 처리한 데이터를 분석 해봅니다. Section0.개발 환경 설정 python3, pycharm설치하기, git설치하기 - project 생성하기 - hello출력하기 - pycharm 글자 크기 수정하기 - pycharm으로 git clone하기 - pycharm사용 방법 Section1.데이터 불러오기 CSV파일을 pd.DataFrame()으로 불러오기 - Pycharm에서 pandas설치 - 제대로 불러왔는지 확인하기(개수 세기) - .head(5)로 데이터의 형태 확인 하기 두가지 데이터 합치기 .merge() - 조건 두가지로 필터링 할 때 각각의 조건이 다른 데이터에 있는 경우 - key란? - 데이터 합치고..