project/SIEMple

으악 OpenSearch 비용이 왜이래

downfa11 2024. 11. 17. 16:52

솔루션의 이름은 심플(SIEMple)로 정해졌다.

 

클라우드 상에서 배포되는 서비스들에 대하여 더 쉽고 편리하게 이용할 수 있는 클라우드 SIEM 솔루션이라는 의미

 

 

 

3일에 11만 4천원..ㅋㅋㅋㅋㅋ 생각해둔 예산의 1/3을 날려먹었다.

OpenSearch 도메인에 들어가서 비용 부분을 아예 제했다. 클러스터 구성 편집에 들어가서, HA는 옆집 강아지 뽀삐 영양간식으로 줘버리고 대기 없는 도메인을 선택했다.

가용 영역 1-AZ를 선택하고, 인스턴스 유형도 프리티어로 제공되는 t3.small.searh로 구성했다.

아, 참고로 전용 프라이머리 노드 활성화에 따로 비용이 든다. EBS는 노드당 10GiB로 해두자.

결코 더이상의 비용을 용납하지 않겠다

https://aws.amazon.com/ko/opensearch-service/pricing/

 

t2.small.search 또는 t3.small.search 인스턴스의 무료 사용량을 월별 최대 750시간, 선택 사항으로 Amazon Elastic Block Store(EBS) 스토리지를 월별 10GB 제공

프리 티어 사용량 한도를 초과하는 경우, 추가로 사용한 리소스에 대해 OpenSearch Service 요금이 부과

 

인스턴스 유형
vCPU
메모리(GiB)
인스턴스 스토리지(GB)
시간당 요금
t3.small.search
2
2
EBS 전용
USD 0.056

 

CloudWatch - Logs Insights 에서 확인한 내용

S3 aws-cloudtrail-logs에 관한 버킷이 24.5.31 생성되어 쌓이고 있다.

얜 최대 90일 유지됨

OpenSearch Index 자동 삭제정책 구성

Dashboard > Index Management > State Management Policies > Create Policy

https://opensearch.org/docs/latest/im-plugin/ism/policies/

여기에 추가적으로 CloudTrail-logs 를 수집하는 Lambda식을 수정해서 불필요한 Field를 제거해서 데이터의 크기를 줄여서 비용 절감의 효과를 볼 수 있다.

 

 

더불어, 비즈니스 구현이 마무리되기 전까지는 로컬에 ElasticSearch를 켜서 S3의 로그 데이터를 받아와서 작업하기로 했다.

데이터 수집에도 어느 부분이 비용이 생길지 몰라서 로컬에 구현하고 있다