PROMETHEUS3 메트릭 (metric) 이란 메트릭이란 하드웨어나 소프트웨어에 대한 성능 측정을 위한 측정 수치 값입니다. 때문에 꼭 필요한 요소로서 타임스탬프(이벤트 발생 시간)와 수치(숫자) 가 있습니다. 예를 들어 어떤 서버의 메트릭이라고 하면 2023-06-18 18:00:00, CPU사용률 85% 과 같이 대상의 해당 시간 또는 기간의 성능 측정을 위해 필요한 수치를 말합니다. 메트릭은 주기적으로 발생하여 모니터링 할 수 있으며 하드웨어, 소프트웨어 등의 성능 모니터링에 광범위하게 사용하게 됩니다. 대표적인 수집 모니터링 어플리케이션으로는 elasticsearch 를 사용하는 metricbeat prometheus 이 있습니다. 2023. 6. 19. prometheus operator 간단 설치 (NodePort 사용) 1. prometheus operator 를 git clone git clone https://github.com/prometheus-community/helm-charts.git 2. 설치를 위한 namespace 생성 shell> kubectl create namespace monitor 3. prometheus 의 tsdb 데이터가 저장 될 pv 생성 kube-pv.yaml apiVersion: v1 kind: PersistentVolume metadata: name: kube-pv spec: capacity: storage: 1Gi # 스토리지 용량 1GB volumeMode: Filesystem # 파일 시스템 형식 accessModes: # 읽기/쓰기 옵션 - ReadWriteOnce stor.. 2023. 6. 2. prometheus 에서 no space left on device 에러 발생시 prometheus 에서 err="write to WAL: log samples: write /prometheus/wal/123456: no space left on device" 와 같은 오류가 발생 할 수 있다. 해당 에러 메시지는 말 그대로 데이터 저장 공간이 부족하다는 메시지 이다. 해당 오류가 발생 했을 때의 전략을 아래와 같이 살펴 본다. 1. 기존 prometheus 데이터를 backup 할 NAS 를 mount 한다. (control plain 에) 2. prometheus sts 의 replica 를 0으로 만든다. 3. prometheus db 데이터 snapshot 을 뜬다. 4. pod 의 container 내부의 데이터를 backup NAS 로 복사 한다. 5. prometheus.. 2023. 5. 29. 이전 1 다음
