본문 바로가기

Language

(227)
Python 행렬 연산 np.dot() 딥러닝 신경망에서 행렬의 곱으로 신경망 연산을 할 때 np.dot()을 쓸때가 있습니다. [1, 2]와 [[1, 3, 5], [2, 4, 6]] 을 곱할 때 np.dot()으로 연산을 할 수 있습니다. 그러면 다음과 같은 연산이 이루어 지고 (1 * 1) + (2 * 2), (1 * 3) + (2 * 4), (1 * 5) + (2 * 6) 결과는 [5, 11, 17]이 됩니다. 위 연산을 코드로 표현 하면 import numpy as np x = np.array([1, 2]) w = np.array([[1, 3, 5], [2, 4, 6]]) y = np.dot(x, w) print(y) 결과 [ 5 11 17 ] 2x2 * 2x2는 아래와 같습니다. import numpy as np x = np.arra..
Python 자연어 처리 with konlpy 수집한 데이터에서 키워드를 추출하기 위해 konlpy를 이용했습니다. 위 csv파일은 아래와 같이 생겼습니다. from konlpy.utils import pprint from konlpy.tag import Kkma, Okt import pandas as pd import json okt = Okt() df = pd.read_csv('total_mafra_in_datagokr_v2.csv', dtype={'id':'str'}) df = df[['id', 'name', 'title1', 'title2', 'title3']] result = [] cnt = 0 for row in df.iterrows(): row1 = row[1] print(cnt, row1['name'], row1['title1'], r..
R에서 나는 에러들(invalid multibyte character, Error in Select, 한글깨짐) R자주쓰는 기능 krksap.tistory.com/1713 invalid multibyte character in parser at line 날때 r을 쓰다보면 한글이 깨지는 문제가 있습니다. 윈도우 같은 경우는 Sys.getlocale() 을 해보면 [1] "LC_COLLATE=Korean_Korea.949;LC_CTYPE=Korean_Korea.949;LC_MONETARY=Korean_Korea.949;LC_NUMERIC=C;LC_TIME=Korean_Korea.949" 로 나옵니다. 한글이 포함되어 있는 파일을 불러오면 Error in (function (file = "", n = NULL, text = NULL, prompt = "?", : invalid multibyte character in ..
영문 대문자와 숫자를 분리해주는 Python함수 개요 한 학생, 고객, 승객을 고유 값으로 구분하는 ID를 부여 할 때 예를들어 A반에 10번이라고 하면 ID를 A10으로 부여 함으로써 A반에 10번이라는 것을 ID로 표현을 합니다. A반의 10번 뿐만 아니라 A객실에 10번 고객 이런식으로 흔하게 쓰이는 형태 입니다. 여기에서 ID A10, A6, B4 등의 ID를 가지고 해당 학생이 어떤 반에 속하는지만 추출하고 싶은 경우 아래 함수를 통하면 A6 => A, A10 => A 이렇게 알파벳만 나옵니다. import re def get_class(room_code): match = re.match(r"([A-Z]+)([0-9]+)", room_code, re.I) if match: items = match.groups() return items[0] ..
Python Multi Threading crawl python multi threading crawl 멀티스레딩은 아래와 같이 여러 페이지를 크롤 해야 하는 경우 http request의 response가 순차적으로 실행되야 한다면 1000개 page를 크롤 한다고 하면 시간이 오래 걸릴 수 있습니다. 그래서 병렬처리를 하는데 병렬처리를 할 때는 Thread를 씁니다. import time from threading import Thread import requests total_page = 1000 def run(idx, results): url = 'http:///app/test/hpa' print(idx, url) res = requests.get(url) print(res, res.content) results = [None] * total_pa..
02 R 자주 쓰는 기능(read.csv, merge, distinct, function import, factor, group by) 데이터 불러올 때 특정 컬럼 string type으로 불러오기 df
Python에서 Mysql에 연결하고 select한 결과 출력하기, pandas로 insert하기 Python으로 db작업을 하려면 일단 connection을 맺고 query를 날려야 합니다. 일단 db는 생성해서 위 4개의 row를 넣은 상태입니다. 아래 코드는 그 코드이다. db이름은 hello_db입니다. 라이브러리는 mysql-connector를 설치해주면 됩니다. import mysql.connector mydb = mysql.connector.connect( host="localhost", user="root", password="12345678", database='hello_db' ) cursor = mydb.cursor() query = ("select * from users") cursor.execute(query) for ddd in cursor: print(ddd) python에..
01 R Hello World 출력하기(Vector, DataFrame, filter()) r을 실행 한다. 자주 사용하는 단축키 설명 단축키 새탭 command + shift + N 커서 있는 라인만 실행 command + Enter 전체 실행 command + shift + S 주석 command + shift + c hello 출력 하기 print('hello') 결과 프로그램 번호 없이 출력하기 message('world') 결과 벡터(Vector) 만들기 Vector는 일종의 list다. c('hello', 'world') 결과 [1] "hello" "world" 벡터 만들고 출력하기 vector1 message(vector1) helloworld > print(vector1) [1] "hello" "world" 벡터의 연산 v1