해당 포스트는 아직 serverless redshift와 Provisoned Cluster Redshift의 변환점에서 작성하여 Provisioned Cluster Redshift를 기준으로 작성하였습니다. 이번에 잠시 계정 정리를 위해 redshift를 다른 계정으로 옮길 일이 있었습니다. 뭐 혼자 끼적끼적 테스트용 데이터 집어넣는 곳이라서 큰 양은 없지만 테스트케이스별로 다시 만들기는 귀찮으니까요 ㅋㅋㅋ redshift cluster에서 Maintenance 를 보면 Backup Details 항목에 Snapshots 들이 있습니다. 여거시는 Automated가 아니라 Manual이 필요합니다. 원하는 시점의 Manual 백업을 선택 또는 Create snapshot을 통해 Manual Snapshot을 만들어줍니다. ...
도대체 뭘 하는데 맨날 데이터, 데이터베이스 AWS와 씨름을 하는지 설명을 안했던 것 같네요 인턴 일이 프론트 담당 분이 들어오면서 저는 영업자료용 프론트 껍데기 개발에서 백엔드로 넘어갔습니다 통합 데이터 카탈로그 제작을 위해서는 기업의 다양한 DB 서비스에 연결해서 각 데이터들의 메타데이터를 확보할 필요가 있습니다. 그 중 Redshift에 접속하여 해당 데이터를 직접 가져오지 않으면서도 종합적인 데이터는 가져와야하는 Redshift Connector제작을 담당하고 있습니다. 이번에는 데이터의 왜도와 첨도 (Skewness and Kurtosis)를 계산하는데 문제가 생겼습니다. 간단하게 말하자면 왜도는 비대칭도로 데이터가 얼마나 치우쳐졌는지를 계산하며 첨도는 그 정점이 주위에비해 얼마나 튀어나와있는지 ( 주위에서 외곽으로의 경사) 를 나타내는 수치입니다. ...
Golang으로 Redshift 접속 후 쿼리실행까지 생각해보니 저번에 글을 쓰고 생성만 보여주고 정작 중요한 보낸Query의 Return값을 받는 방법을 안 썼다는 것이 생각났다 지금은 저번 Quick Start코드와는 완전 다른 무언가가 되어있지만 Quick Start 의 코드로도 충분하니 Quick Start 에 적힌 코드를 참고해보자 주목해야 할 곳은 104번째 줄 116번째 줄 그리고 130번째 줄에 적혀있는 redshiftclient.ExecuteStatement redshiftclient.DescribeStatement redshiftclient.GetStatementResult 이 3종류의 함수이다. 우선 ExecuteStatement는 Redshift에 Query 의 실행을 요청한다. 이 쿼리에는 Redshift가 Id를 부여하여 관리한다. 다만 Query는 처리 시간이 필요하다. 이 처리 상태와 처리 이후 결과의 상태를 확인할 수 있는 것이 DescribeStatement이다. ...
이 포스트는 AWS로는 잘못된 사용으로 사고를 치고 Go라고는 써본 적도 없는 제가 인턴으로 구르면서 던져진 과제를 해결하는 과정을 담은 포스트입니다. 포스트의 내용이 부적절 할 수 있음을 미리 말씀드립니다. 왜 Go? 회의중 : 아무튼 C++이나 자바는 쓰기에 문법이 그렇고 Python은 느리다 -> Go를 쓰기로 했습니다 솔직한 감상으로는 어차피 쿼리를 보낸 후에 처리하는 작업은 redshift에서 해주는데 쿼리를 구성해서 보내줄 뿐인 프로그램의 처리속도가 과연 redshift의 처리속도에 비해 어느정도의 bottleneck이 되는가에 대해서는 회의적이네요 절대 Python이 편해서 투덜거리는게 아니에요 아무튼 그래요 ...