AWS DMS로 mysql to redshift 마이그레이션하기

AWS DMS로 mysql to redshift 마이그레이션하기

aws에 db를 띄우고 redshift로 data warehouse를 구축 하려고 할 때 redshift로 데이터를 계속 보내주어야 하는 이슈가 있다. 데이터를 계속 동기화 해줘야 하는데 스트림으로 하면 관리 하기도 어렵고 한데 마침 AWS DMS라는게 있어서 이걸로 하면 된다.

그런데 DMS로 작업을 만들어서 mysql에서 redshift로 할려고 하니 잘 안되는데 클라우드와치를 켜고 로그를 보면 아래와 같은 로그들이 나오는데 이 문제들을 해결하면 된다.

핵심은 이진로그(bin_log)를 on해주어야 하는데 이게 메뉴얼이 잘 없어서 찾기가 힘들었다.

2018-08-14T01:45:37 [SOURCE_CAPTURE ]E: Binary logging is disabled for MySQL server [1020418] (mysql_endpoint_capture.c:339)

위와 같은 에러가 나는데 

https://aws.amazon.com/ko/premiumsupport/knowledge-center/enable-binary-logging-aurora/

이 메뉴얼을 보고 

1.파라메터 그룹을 새로 만들고, 클러스터 파라메터 그룹을 새로 만들고 (총 2개)

2.binlog_format을 바꿔주고

3.클러스터와 인스턴스에 각각 새로운 파라메터 그룹을 어사인 해준다.

4.그리고 클러스터와 인스턴스를 재부팅 한다.

내가 만든 파라메터 그룹과 클러스터 파라메터 그룹은 각각 hello, hello-cluster 이렇게 두개인데 각각 이렇게 '동기화'가 떠줘야 한다.

그담에 AWS DMS로 하면 된다.

end.