AWS Resource Alert 출시

리소스를 분석하여 해킹이나 사용자 실수로 인해 생성된 리소스 정보를 5분 안에 사용자에게 알려드립니다. 5분 단위의 EC2 Usage를 분석하여, 기존 EC2 대비 고가의 리소스 생성이나, 사용하지 않던 리전에 리소스가 발생 시 알람을 제공합니다. Resource Alert을 통해 이상 리소스 정보를 놓치지 않게 되어 리소스를 더 면밀하게 관리할 수 있습니다. 사용자도 모르는 사이에 해킹이나 실수로 인해 생성되는 리소스도…

Continue reading AWS Resource Alert 출시

Serverless 플랫폼을 이용한 AWS 빌링 데이터 수집

OpsNow에서는 초기에 고객의 S3 버킷에서 빌링 데이터를 수집/처리하기 위해서 하나의 배치 프로그램을 구동했었습니다. 그 이후에 많은 AWS 서비스를 접하게 되면서 과연 어떻게 하면 비용도 줄이고, 성능도 최적화 할 수 있는지 많은 시도를 하게 되었습니다. 최종적으로 빌링 데이터의 수집 부분을 분리하고 이 부분에 대해서는 서버리스 (Serverless) 플랫폼을 이용하였고, 앞서 소개했던 AWS SAM으로 개발하기 글을 따라서 개발을…

Continue reading Serverless 플랫폼을 이용한 AWS 빌링 데이터 수집

스파크 작업의 병렬 처리

세상에 너무나 많은 데이터가 생성됨으로 인해서 빅데이터 시대가 열렸고, 이 시대에 스파크 (Spark)와 하둡 (Hadoop)은 각각 분산 처리와 분산 파일 시스템의 대명사 격으로 자리잡았습니다. 이들이 있었기에 대용량의 데이터를 수평적인 확장을 통해서 다룰 수 있게 되었습니다. OpsNow에서도 내부적으로 AWS 등의 빌링 데이터를 일괄 처리하기 위해서 스파크를 사용하고 있었습니다. 하지만 스파크를 전문적으로 다룰 수 있는 개발자가 없어서…

Continue reading 스파크 작업의 병렬 처리

OpsNow의 AWS 빌링 데이터 처리 시스템 개발기

제가 처음 OpsNow에 합류하고 받은 업무 중에 하나는 데이터 레이크 구축이었습니다. 모든 데이터를 한 곳에 모아놓고 분석할 수 있는 시스템과 그 데이터들을 종합하여 다양한 서비스를 제공하고자 하는 원대한 포부가 있었습니다. 물론 해당 프로젝트는 여전히 진행중이지만, 순차적으로 내부 시스템 개편을 위해 진행했던 세부 프로젝트중에 하나가 바로 AWS의 빌링 데이터 처리 시스템 개편이었습니다. 머나먼 과거에는… 모든 프로젝트는…

Continue reading OpsNow의 AWS 빌링 데이터 처리 시스템 개발기

CFRC 계약으로 AWS 데이터 전송 비용 절감하기

많은 사용자들을 대상으로 하는 서비스를 클라우드 환경에서 운영하는 경우에, 서비스 비용의 많은 비중을 차지하는 것이 바로 데이터 전송 비용입니다. 수 많은 요청과, 사진이나 동영상 등의 데이터를 많이 주고받는 서비스일 수록 요금이 증가하게 되는데, 온디맨드 비용으로 과금하게 될 경우에 엄청난 요금이 발생됩니다. AWS에서는 데이터 전송량이 많은 경우에 대해서 별도의 과금 체계를 제공하고 있습니다. 크게 두 가지…

Continue reading CFRC 계약으로 AWS 데이터 전송 비용 절감하기

아직도 엑셀로 비용 배분 하시나요?

부서나 프로젝트 단위의 클라우드 자원과 비용 관리 클라우드를 공급하는 AWS, Azure, GCP, Aliyun 등의 CSP의 콘솔에서는 계정 (Account) 혹은 구독 (Subscription) 단위로 클라우드 자원과 비용을 관리할 수 있습니다. 기업에 따라서는 몇 개의 계정을 여러 부서나 프로젝트에서 공유하는 경우도 있고, 하나의 부서나 프로젝트에서 몇 개의 계정을 사용하는 경우들도 있습니다. 즉, 기업에서 예산과 비용을 관리하는 단위인 부서…

Continue reading 아직도 엑셀로 비용 배분 하시나요?