데이터 쌓기 전 기본은 용량 산정

ES에 로그를 쌓는다

DB에 새로운 테이블을 만들어 데이터를 적재한다.

 

이 모든 것의 기본은 용량산정이라는 것을 느꼈다.

회피한 나는 무책임한 개발자였다.

 

오늘 ES 클러스터에서 403 에러가 우수수 떨어지기 시작했다.

403? Unathorized? 

잘 돌아가던 ES에서 갑자기 403 에러라니. 의아했다.

 

마이클이 구글링해보니 ES는 데이터 스토리지가 부족할 때 403 에러를 뱉을 수 있다고한다.

왜 403? 503이 아니라?

의아했다.

그때 한가지 스쳐가는 생각.

 

약 5일전에 새로운 서비스를 오픈했는데, 로그 기록겸 장애가 발생한 ES에 로그를 적재하기 시작했다.

그런데 용량 산정을 했던가?

안 했다.

불안은 확신이 되었다.

 

4개의 서버로 구성된 클러스터의 모든 서버가 디스크 부족에 허덕이고 있었다.

다행히 로그 적재 실패는 실서비스에 영향이 없도록 코드를 짜두었지만 로그는 계속 유실되는 상황이었다.

시스템 엔지니어 분 께서 오래된 로그 3개월치를 삭제하니 그제서야 로그가 다시 쌓이기 시작했다.

정말 데이터부족이 맞구나.

 

정말로 무기력함을 느꼈다.

내가 장애에 한 몫했지만 앞장서서 해결하지 못한 점이 너무나 무기력함을 안겨주었다.

 

잘하고 싶다.