# PCollection(피콜렉션) 피콜렉션(PCollection) 추상화 클래스는 근본적으로 분산, 멀티 엘리먼트 데이터 셋을 표현한 것이다. 피콜렉션은 근본적으로 파이프라인 데이터라고 생각하면 된다. Beam에서 트렌스폼(Transforms)은 피콜렉션 오브젝트를 입력과 출력에 사용한다. 파이프라인을 이용해 데이터를 처리 하고 싶다면 데이터는 피콜렉션 형태여야 한다. 3.1 피콜렉션(PCollection) 만들기빔 소스 API(Beam Source API)를 이용해 외부 소스에서 데이터를 읽어 올 때나 직접 만든 드라이버 프로그램의 메모리에 저장된 데이터를 불러 올 때 피콜렉션을 만들어서 사용합니다. 외부 소스에서 데이터를 읽어오는 경우가 파이프라인이 주로 사용되는 경우이다. 빔의 소스 API는 대용..
Apache Beam사용하기 - Pipeline만들기https://beam.apache.org/documentation/programming-guide/위 문서를 번역함 파이프라인 추상화 클래스는 데이터와 데이터 처리 작업을 캡슐화 시킵니다. 빔 드라이버 프로그램은 주로 Pipeline 오브젝트를 만들면서 시작을 하고 PCollection으로 파이프라인의 데이타 셋을 만드는데 Pipeline오브젝트를 사용합니다. Beam을 사용 하려면 드라이버 프로그램은 Beam SDK에 있는 Pipeline클래스의 인스턴스를 만들어 주어야 합니다. Pipeline 오브젝트를 만들때 몇가지 설정 값들이 필요합니다. 설정 값들은 프로그램 안에서 설정 해줄 수 있지만 미리 지정 해놓고 Pipeline 오브젝트를 만들 때 사..
병이 나은 한센병 환자를 깨끗하게 하는 의식 레위기 14장 1~9절1.주께서 모세에게 말씀하셨다.2.나병(leper) 환자를 깨끗하게 할 때 이렇게 하는게 좋을 것 같다고. 일단 환자를 제사장(priest)에게 데리고 간다.3.제사장는 캠프 밖으로 나가서 환자의 상태를 살펴 봐라. 살펴본 결과 나병 환자의 병이 나았다면4.제사장은 명령하여 살아있는 새 두마리와, 백향목(cedar)과 진홍색 실과 우슬초와 질그릇을 가져오게 하고5.제사장은 또 명령하여 그 새들 중 한 마리를 흐르는 물 위에서 질그릇 안에서 잡아라.6.살아있는 새는 그가 살아있는 새와 백향목과 주홍색 실과 우슬초를 가져다가 흐르는 물 위에서 잡은 새의 피에 담가7.병에서 나은 자에게 일곱번 뿌려 그에게 병이 나았다고 선언하고 살아있는 새는 ..
jq란? 리눅스에서 .json파일의 내용을 검색할 때 사용하는 툴 입니다. jq설치 ubuntu라면 아래 명령어로 설치 하시면 됩니다. sudo apt-get install jq 다른 os라면 Download jq (stedolan.github.io) 를 참고 하시기 바랍니다. hello.json파일은 [ {}, {}, {} ] 이런 형태로 되어 있는 파일이다. 각 {}는 {"EnvironmentName":"hello"} 이렇게 EnvironmentName이 들어있다. 그래서 EnvironmentName만 보려면 아래 명령어를 사용한다. cat hello.json | jq .[].EnvironmentName aws cli와 함께 쓰는 법 aws elasticbeanstalk describe-environ..
1.maven으로 빌드해서 2.s3에 업로드 하고 3.eb로 배포하는 스크립트 #mvn build mvn clean package -Dmaven.test.skip=true ## upload to s3 aws s3 cp ./target/$FILE_NAME $S3_URL ## deploy to AWS EB aws elasticbeanstalk create-application-version \ --application-name $project_name \ --version-label $VERSION \ --source-bundle S3Bucket=$S3_BUCKET_NAME,S3Key=$project_name.war aws elasticbeanstalk update-environment \ --environ..
iterm2에서 복사 하고 싶은데 마우스를 쓰지 않고 하고 싶을 때 아래 방법을 쓴다. 1.shift + command + c2.커서로 이동3.space누름4.범위 지정5.command + cll했을 때 목록을 복사 하고 싶을 때shift + command + c를 누르면 커서 모양이 바뀐다. 약간 Y자 모양 같다.방향키를 위치로 옮긴다. space를 누른다. 커서 모양이 두껍게 바뀐 것을 볼 수 있다.이때 커서를 이동하면 구역 설정이 된다.취소 하려면 esc를 누르면 된다.end.
- Total
- Today
- Yesterday
- 도커각티슈박스
- Sh
- docker container case
- 개발자
- 도커티슈케이스
- 도커컨테이너
- 싱가폴
- 도커티슈박스
- docker container whale
- 도커각티슈케이스
- 이직
- docker container tissue
- shellscript
- 2017 티스토리 결산
- vim
- Linux
- docker container
- docker container tissue box
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
31 |