sep 27 - GCP Pubsub, Dataflow 이슈 해결

sep 27 - GCP Pubsub, Dataflow 이슈 해결

한 2주동안 pub/sub에 subscribe해서 dataflow로 데이터 받아서 bigquery table에 저장하는 이슈에 대해 해결을 못하고 있어서 미쳐버릴 지경이었는데 추석에 쉬고나니까 오늘 한나절만에 해결했다.

credentials문제는 python으로 해결했다.

export GOOGLE_APPLICATION_CREDENTIALS=<path>.json

mac에서는 이걸 해도 java안으로 credential이 들어오지 않는다. python도 마찬가지인데 python은 하드코딩으로 넣어줄 수 있어서 pub/sub에서 message로 데이터 오는지 확인 했다.

end.