ELK5 [Elasticsearch] Circuit breaker 원인과 해결 방법 1. Circuit breaker 란 ElasticSearch 에서 OutOfMemory 발생을 방지하기 위해 사용하는 기능 좀 더 상세히 설명하면 elasticsearch 에서는 jvm의 OutOfMemory 가 발생하여 node 가 다운되어 서비스가 아예 안되는 상황을 막기 위해 memory 사용량이 특정 임계치이상 올라가면 request 를 아예 안받아 버리는(prevent) 안전장치 기능이 존재 합니다. 2. Circuit breaker 의 종류 2-1. parent circuit breaker 서로 다른 유형의 circuit breaker에서 사용되는 모든 메모리의 합계로 인해 발생 2-2. request circuit breaker 검색을 통해 요청별 데이터 구조(예: 요청 중 집계 계산에 사.. 2023. 5. 3. [ Elasticsearch ] index state UNASSIGNED elasticsearch 의 cluster status 가 RED 여서 조치했던 방법을 정리 한다. kibana의 dev tools 에서 GET _cat/shards?v=true&h=index,shard,prirep,state,node,unassigned.reason&s=state 을 했더니 .kibana_task_manager_1 이란 index 의 상태가 state : UNASSIGNED unassigned.reason : NODE_LEFT_ALLOCATION_FAILED 였다. 조치 방법은 kibana 의 dev tools 에서 POST /_cluster/reroute?retry_failed=true 실행 해서 shard 할당을 재시도 했더니 green 상태로 정상화 되었다. 2023. 2. 9. [ Elasticsearch ] Index has exceeded [1000000] - maximum allowed to be analyzed for highlighting index has exceeded [1000000] - maximum allowed to be analyzed for highlighting. This maximum can be set by changing the [index.highlight.max_analyzed_offset] index level setting. For large texts, indexing with offsets or term vectors is recommended! 와 같은 오류가 발생 하였을 때 https://www.elastic.co/guide/en/elasticsearch/reference/current/index-modules.html#index-max-analyzed-offset 의 공식 문서에 따르면 highligh.. 2023. 2. 6. [ Logstash ] Logstash 설치 (install) 및 plug in 확인 법 Logstash 는 데이터를 수집하여 저장해 주는 해주는 오픈소스 프로그램 입니다. ELK 에서 중요한 부분을 차지 하며 시중에 알려진 데이터 형태를 대부분 지원 하고 있어 유용하게 사용 할 수 있습니다. 1. Logstash 사이트에서 logstash 를 다운로드 받습니다. 사이트 : https://www.elastic.co/kr/downloads/logstash 윈도우에서 사용할 경우 주의 사항 : https://shonm.tistory.com/624 2. Logstash 파일 압축 해제 tar.gz 나 zip 파일의 압축을 풀면 설치가 끝납니다. 3. Plug-in 리스트 확인 Logstash 의 강점은 데이터를 수집(input)하거나 저장(output)하는데 여러가지 방법을 제공한다는 것에 있습니.. 2020. 3. 16. 이전 1 2 다음
