Elasticsearch를 둘러싼 AWS와 Elastic의 대립

올해 Elastic에서는 Elasticsearch 7.11 버전부터 새로운 라이센스인 SSPL 또는 Elastic 라이센스 중에서 하나를 골라 사용할 수 있는 Dual 라이센스를 발표하면서 기존의 Apache 2.0 라이센스를 더는 제공하지 않는다고 발표하였습니다. [링크] 이에 따라서 AWS에서는 7.10 이후 버전에 대해서 7.10 버전의 Fork를 통해 독자적으로 Apache 2.0 라이센스를 가지는 오픈 소스 생태계를 유지할 것이라고 발표했습니다. [링크] SSPL은 MongoDB에서 처음…

Continue reading Elasticsearch를 둘러싼 AWS와 Elastic의 대립

데이터의 권한 관리를 단순화하는 AWS Lake Formation 사용하기

AWS에서 데이터 레이크를 구축하기 위해서는 3가지 서비스가 필요합니다. 데이터를 저장하는 S3 테이블에 대한 메타 데이터를 저장하는 Glue Data Catalog 데이터를 쿼리할 수 있는 Athena 이렇게 3가지 서비스를 이용하여 데이터 레이크를 구축하고 나면, 그 다음에 고민해야 하는 문제는 바로 사용자별 권한 관리입니다. 사용자에 따라서 접근 가능한 데이터와 그렇지 않은 데이터를 구분하고 테이블에서 데이터 삭제를 방지하는 등의…

Continue reading 데이터의 권한 관리를 단순화하는 AWS Lake Formation 사용하기

AWS 장애와 이상 비용

2020년 12월 19일, AWS의 서울 리전에서 ELB 관련 이슈로 일부 서비스가 일시적으로 장애를 겪었습니다. 장애에 대한 영향을 확인해보려면 계정별로 Personal Health Dashboard 에서 확인할 수 있습니다. 저희는 19일 당일에는 특별힌 이슈가 없었는데, 이후에 장애 관련 영향을 파악하는 도중에 재미있는 사실을 발견하여 공유할까 합니다. 알려지지 않은 장애 AWS에 따르면 장애는 19일에 일시적으로 NLB에 대해서 발생하였고, 얼마…

Continue reading AWS 장애와 이상 비용

OpsNow Resource Details – 활동 이력, 태그, 서비스그룹 메뉴 오픈

AWS CloudTrail을 이용한 활동 이력, 태그 및 서비스 그룹 메뉴 추가 활동 이력 (Activity History)은 AWS CloudTrail의 이벤트 기록 (Event History) 데이터를 이용합니다. AWS 콘솔보다 많은 검색을 지원하여 대량의 이벤트 기록 데이터에서 원하는 데이터를 확인 할 수 있게 도와줍니다. 이벤트 기록의 데이터 조회는 로컬 타임으로 조회합니다. 이벤트 이름으로 필터링 할 수 있습니다. AWS의 이벤트 기록이…

Continue reading OpsNow Resource Details – 활동 이력, 태그, 서비스그룹 메뉴 오픈

신규 발표된 EBS gp3로의 전환

2020년 AWS re:Invent에서 발표된 새로운 소식들 중에 하나가 바로 EBS (Elastic Block Store)의 신규 볼륨 타입인 gp3 (General Purpose SSD v3)에 대한 발표 입니다. 그리고 이 소식을 접하자마자 OpsNow에서는 기존 EBS를 gp2에서 gp3로 전환하기 위한 여정을 시작했습니다. 이는 gp3가 가격과 성능 모든 면에서 유리하기 때문이기도 하고, 용량과 IOPS, 처리량 (Throughput)을 분리하여 조절할 수 있기 때문입니다.…

Continue reading 신규 발표된 EBS gp3로의 전환

AWS Resource Details 출시

전에 없던 기능, AWS보다 편한데?    특정 EC2의 비용과 성능 정보를 한 곳에서! EC2 목록, Account 비용 등 전체를 조회할 수 있는 곳은 많지만 개별 자원에 대한 정보를 한 곳에 보여주는 곳은 없습니다. Resource Details에서는 리소스 아이디를 이용하여 특정 리소스의 정보로 바로 진입할 수 있습니다. 하나의 인터넷 창에서 일반 정보, 비용 정보, 성능 정보를 조회할 수 있으며, 내가 조회하고 있는 정보를 링크 공유만으로 다른 사용자에게 그대로 전달할 수 있습니다. 또한 원하는 대로 비용을…

Continue reading AWS Resource Details 출시

OpsNow SP Management for AWS 기능 출시

이제는 AWS Savings Plans를 OpsNow 에서 편하게 관리하실 수 있습니다. RI 처럼 On-demand 대비 72% 까지 비용을 절약할 수 있으면서, 같은 패밀리타입 안에서 자유롭게 변경이 가능한 Savings Plans ! (이하 SP) SP를 사용하는 고객의 질문은 “우리가 지금 SP를 얼마나 쓰고 있으며, 얼마를 더 사면 되는가?” 입니다. OpsNow에서는 이 질문에 명쾌하고 보기 쉽게 답을 드립니다. 계약내용, 사용률,…

Continue reading OpsNow SP Management for AWS 기능 출시

코드에서 암호를 안전하게 사용할 방법을 찾아서…

개발을 하다가 보면 필연적으로 마주치는 문제가 있습니다. 바로 데이터베이스의 암호와 같은 민감한 데이터를 어떻게 저장할 것인가 하는 문제입니다. 코드에 하드코딩을 할 수는 없고, 다른 곳에 암호화를 해서 저장을 해도 결국 복호화를 할 또 다른 암호는 또 다른 어딘가에 있어야 하고… 그렇다고 이 과정을 무한히 반복할 수도 없겠지요. 옛날이나 지금도 가장 널리 사용되는, 안전하지 않은 방법은…

Continue reading 코드에서 암호를 안전하게 사용할 방법을 찾아서…

AWS Athena의 권한 관리와 클라이언트 접속

AWS에서는 특이하게도 매일 수집되는 빌링 데이터가 과거 데이터의 정합성을 보장하지 않습니다. 그래서 항상 한 달치 빌링 데이터 전체를 제공합니다. 매일 수집되는 데이터가 다르다는 가정 하에, OpsNow에서도 데이터를 누적하여 업데이트 하는 것이 아니라, 매번 수집된 데이터를 별도로 저장하고 있습니다. 수집된 OpsNow의 빌링 데이터는 EMR을 이용한 스파크 클러스터를 거쳐서 S3에 저장됩니다. 단순히 저장만 해놓게 되면 데이터를 분석/이용하기가…

Continue reading AWS Athena의 권한 관리와 클라이언트 접속

OpsNow의 AWS 빌링 데이터 처리 시스템 개발기

제가 처음 OpsNow에 합류하고 받은 업무 중에 하나는 데이터 레이크 구축이었습니다. 모든 데이터를 한 곳에 모아놓고 분석할 수 있는 시스템과 그 데이터들을 종합하여 다양한 서비스를 제공하고자 하는 원대한 포부가 있었습니다. 물론 해당 프로젝트는 여전히 진행중이지만, 순차적으로 내부 시스템 개편을 위해 진행했던 세부 프로젝트중에 하나가 바로 AWS의 빌링 데이터 처리 시스템 개편이었습니다. 머나먼 과거에는… 모든 프로젝트는…

Continue reading OpsNow의 AWS 빌링 데이터 처리 시스템 개발기