몇 달 전에, 다른 AWS Reseller를 이용하는 고객사에서 OpsNow 사용 문의가 왔습니다. 기존 Reseller를 유지하면서 OpsNow를 사용할 때, 약간의 어려움이 있습니다. 아시는 바와 같이 OpsNow를 사용하려면, Cloud Service Provider에서 제공하는 사용 비용과 사용 자원 정보를 수집해야 합니다. 자원 정보는 IAM 정보만으로 수집이 가능한데, 비용 정보는 대부분의 경우 Reseller가 보유한 지급인 계정 (Payer Account)에 고객사의 계정이…
AWS에서는 여러 계정을 사용하면서 발생한 비용을 하나의 계정에서 통합 결제할 수 있는 기능을 제공하고 있습니다. 이 때, 통합 결제를 이용하여 비용을 지불하는 계정이 바로 지급인 계정 (Payer Account) 입니다. 지금은 AWS Organization이 도입되면서 마스터 계정 (Master Account) 또는 관리 계정 (Management Account) 이라고 부르기도 합니다. 이처럼 지급인 계정을 이용하게 되면 연결된 계정 (Linked Account) 들에서…
AWS에서는 특이하게도 매일 수집되는 빌링 데이터가 과거 데이터의 정합성을 보장하지 않습니다. 그래서 항상 한 달치 빌링 데이터 전체를 제공합니다. 매일 수집되는 데이터가 다르다는 가정 하에, OpsNow에서도 데이터를 누적하여 업데이트 하는 것이 아니라, 매번 수집된 데이터를 별도로 저장하고 있습니다. 수집된 OpsNow의 빌링 데이터는 EMR을 이용한 스파크 클러스터를 거쳐서 S3에 저장됩니다. 단순히 저장만 해놓게 되면 데이터를 분석/이용하기가…
OpsNow에서는 초기에 고객의 S3 버킷에서 빌링 데이터를 수집/처리하기 위해서 하나의 배치 프로그램을 구동했었습니다. 그 이후에 많은 AWS 서비스를 접하게 되면서 과연 어떻게 하면 비용도 줄이고, 성능도 최적화 할 수 있는지 많은 시도를 하게 되었습니다. 최종적으로 빌링 데이터의 수집 부분을 분리하고 이 부분에 대해서는 서버리스 (Serverless) 플랫폼을 이용하였고, 앞서 소개했던 AWS SAM으로 개발하기 글을 따라서 개발을…
제가 처음 OpsNow에 합류하고 받은 업무 중에 하나는 데이터 레이크 구축이었습니다. 모든 데이터를 한 곳에 모아놓고 분석할 수 있는 시스템과 그 데이터들을 종합하여 다양한 서비스를 제공하고자 하는 원대한 포부가 있었습니다. 물론 해당 프로젝트는 여전히 진행중이지만, 순차적으로 내부 시스템 개편을 위해 진행했던 세부 프로젝트중에 하나가 바로 AWS의 빌링 데이터 처리 시스템 개편이었습니다. 머나먼 과거에는… 모든 프로젝트는…
