최근에 Jenkins 서버의 용량이 가득 차면서 함께 올라가있던 다른 서비스들도 멈춰버리는 문제점이 발견되었습니다. 그래서 그 중 하나인 Nexus를 분리하고 Blob Store를 Local Storage가 아닌 S3로 설정하여 비용 절감을 꾀하기로 합니다. 기왕 이렇게 하기로 결정하였으니, ECS에 서비스 형태로 올려보고자 합니다. EFS 설정하기 ECS의 Fargate는 EBS를 지원하지 않습니다. 대신에 조금 더 비싼 요금을 자랑하는 EFS를 볼륨으로 제공합니다.…
AWS에서 데이터 레이크를 구축하기 위해서는 3가지 서비스가 필요합니다. 데이터를 저장하는 S3 테이블에 대한 메타 데이터를 저장하는 Glue Data Catalog 데이터를 쿼리할 수 있는 Athena 이렇게 3가지 서비스를 이용하여 데이터 레이크를 구축하고 나면, 그 다음에 고민해야 하는 문제는 바로 사용자별 권한 관리입니다. 사용자에 따라서 접근 가능한 데이터와 그렇지 않은 데이터를 구분하고 테이블에서 데이터 삭제를 방지하는 등의…
AWS에서는 특이하게도 매일 수집되는 빌링 데이터가 과거 데이터의 정합성을 보장하지 않습니다. 그래서 항상 한 달치 빌링 데이터 전체를 제공합니다. 매일 수집되는 데이터가 다르다는 가정 하에, OpsNow에서도 데이터를 누적하여 업데이트 하는 것이 아니라, 매번 수집된 데이터를 별도로 저장하고 있습니다. 수집된 OpsNow의 빌링 데이터는 EMR을 이용한 스파크 클러스터를 거쳐서 S3에 저장됩니다. 단순히 저장만 해놓게 되면 데이터를 분석/이용하기가…
앞에서 이미 워드프레스 블로그를 구축하였는데, 굳이 S3와 CloudFront를 이용해야 하는 이유가 무엇일까요? S3를 사용하는 이유는 블로그에 업로드하는 모든 컨텐츠를 분리 보관하여 추후 재해 복구 상황을 대비하기 위함과 동시에 정적 콘텐츠를 제공하는 것에 대한 리소스 부담을 덜어내기 위함입니다. CloudFront를 사용하는 이유는 이러한 정적 콘텐츠를 CDN으로 서비스하여 보다 빠르게 콘텐츠를 전달하고 CFRC (CloudFront Reserved Capacity)를 이용하여 비용을…
