sep 27 - GCP Pubsub, Dataflow 이슈 해결 한 2주동안 pub/sub에 subscribe해서 dataflow로 데이터 받아서 bigquery table에 저장하는 이슈에 대해 해결을 못하고 있어서 미쳐버릴 지경이었는데 추석에 쉬고나니까 오늘 한나절만에 해결했다.credentials문제는 python으로 해결했다.export GOOGLE_APPLICATION_CREDENTIALS=.jsonmac에서는 이걸 해도 java안으로 credential이 들어오지 않는다. python도 마찬가지인데 python은 하드코딩으로 넣어줄 수 있어서 pub/sub에서 message로 데이터 오는지 확인 했다. end.
sep 25 - 30대에 뜻을 세우고 40대에 밀고 나간다 요즘 부쩍 시간이 빨리 간다고 생각한다.올해가 벌써 지나가고 있다니. 그리고 33살은 내가 생각 했을 때는 나이가 넘나 많아보인다.인생의 책임감을 느낀다. 뭔가 갑갑증이... 요즘 많이 느낀다. 요즘이 30세인데 뜻을 잘 세워서 40대에도 계속 그 생각을 실천을 할 수 있는 사람이 되어야겠다.마냥 공부만 하면 안될 것 같아.뭔가 목표를 정하고 해야댐.돈이 다가 아닌것 같다. end.
# PCollection(피콜렉션) 피콜렉션(PCollection) 추상화 클래스는 근본적으로 분산, 멀티 엘리먼트 데이터 셋을 표현한 것이다. 피콜렉션은 근본적으로 파이프라인 데이터라고 생각하면 된다. Beam에서 트렌스폼(Transforms)은 피콜렉션 오브젝트를 입력과 출력에 사용한다. 파이프라인을 이용해 데이터를 처리 하고 싶다면 데이터는 피콜렉션 형태여야 한다. 3.1 피콜렉션(PCollection) 만들기빔 소스 API(Beam Source API)를 이용해 외부 소스에서 데이터를 읽어 올 때나 직접 만든 드라이버 프로그램의 메모리에 저장된 데이터를 불러 올 때 피콜렉션을 만들어서 사용합니다. 외부 소스에서 데이터를 읽어오는 경우가 파이프라인이 주로 사용되는 경우이다. 빔의 소스 API는 대용..
Apache Beam사용하기 - Pipeline만들기https://beam.apache.org/documentation/programming-guide/위 문서를 번역함 파이프라인 추상화 클래스는 데이터와 데이터 처리 작업을 캡슐화 시킵니다. 빔 드라이버 프로그램은 주로 Pipeline 오브젝트를 만들면서 시작을 하고 PCollection으로 파이프라인의 데이타 셋을 만드는데 Pipeline오브젝트를 사용합니다. Beam을 사용 하려면 드라이버 프로그램은 Beam SDK에 있는 Pipeline클래스의 인스턴스를 만들어 주어야 합니다. Pipeline 오브젝트를 만들때 몇가지 설정 값들이 필요합니다. 설정 값들은 프로그램 안에서 설정 해줄 수 있지만 미리 지정 해놓고 Pipeline 오브젝트를 만들 때 사..
병이 나은 한센병 환자를 깨끗하게 하는 의식 레위기 14장 1~9절1.주께서 모세에게 말씀하셨다.2.나병(leper) 환자를 깨끗하게 할 때 이렇게 하는게 좋을 것 같다고. 일단 환자를 제사장(priest)에게 데리고 간다.3.제사장는 캠프 밖으로 나가서 환자의 상태를 살펴 봐라. 살펴본 결과 나병 환자의 병이 나았다면4.제사장은 명령하여 살아있는 새 두마리와, 백향목(cedar)과 진홍색 실과 우슬초와 질그릇을 가져오게 하고5.제사장은 또 명령하여 그 새들 중 한 마리를 흐르는 물 위에서 질그릇 안에서 잡아라.6.살아있는 새는 그가 살아있는 새와 백향목과 주홍색 실과 우슬초를 가져다가 흐르는 물 위에서 잡은 새의 피에 담가7.병에서 나은 자에게 일곱번 뿌려 그에게 병이 나았다고 선언하고 살아있는 새는 ..
jq란? 리눅스에서 .json파일의 내용을 검색할 때 사용하는 툴 입니다. jq설치 ubuntu라면 아래 명령어로 설치 하시면 됩니다. sudo apt-get install jq 다른 os라면 Download jq (stedolan.github.io) 를 참고 하시기 바랍니다. hello.json파일은 [ {}, {}, {} ] 이런 형태로 되어 있는 파일이다. 각 {}는 {"EnvironmentName":"hello"} 이렇게 EnvironmentName이 들어있다. 그래서 EnvironmentName만 보려면 아래 명령어를 사용한다. cat hello.json | jq .[].EnvironmentName aws cli와 함께 쓰는 법 aws elasticbeanstalk describe-environ..
1.maven으로 빌드해서 2.s3에 업로드 하고 3.eb로 배포하는 스크립트 #mvn build mvn clean package -Dmaven.test.skip=true ## upload to s3 aws s3 cp ./target/$FILE_NAME $S3_URL ## deploy to AWS EB aws elasticbeanstalk create-application-version \ --application-name $project_name \ --version-label $VERSION \ --source-bundle S3Bucket=$S3_BUCKET_NAME,S3Key=$project_name.war aws elasticbeanstalk update-environment \ --environ..
- Total
- Today
- Yesterday
- 싱가폴
- 2017 티스토리 결산
- 도커컨테이너
- docker container whale
- 개발자
- 이직
- 도커티슈케이스
- docker container
- vim
- docker container tissue
- 도커각티슈케이스
- docker container case
- Linux
- shellscript
- 도커티슈박스
- docker container tissue box
- 도커각티슈박스
- Sh
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 |