ELK vs Prometheus

https://www.metricfire.com/blog/prometheus-vs-elk/

Prometheus vs. ELK | MetricFire Blog

 

결론 : 가장 큰 차이점은 ELK는 로그를 전문으로 하고 Prometheus는 메트릭을 전문으로 한다는 것입니다

 

 

소개

수백 개의 구성 요소에 연료를 공급하는 많은 마이크로서비스가 있는 오늘날의 세계에서는 한 부분의 오류가 전체 시스템에 충돌을 일으킬 수 있습니다. 

                     

예를 들어, 한 구성 요소에 메모리가 부족하면 데이터베이스 오류가 발생할 수 있습니다. 이 데이터베이스 오류는 특정 사용자에 대한 인증 문제의 원인이 될 수 있으며 해당 사용자는 로그인할 수 없습니다. 물론 핵심 문제를 수동으로 찾는 것은 복잡하고 시간이 많이 소요될 수 있습니다. 

            

해결책은 RAM 사용량, 요청 수, 예외 수 및 저장 공간과 같은 주요 특성을 지속적으로 모니터링하는 것입니다. 시스템의 중요한 특성을 기반으로 경고 시스템을 설정해야 합니다. 예를 들어, 네트워크 관리자가 전체 시스템이 충돌하기 전에 문제를 해결할 수 있도록 스토리지 공간 사용량이 60%에 도달하면 경고가 트리거되어야 합니다.

           

이러한 목적을 위해 Prometheus 및 ELK(Elasticsearch, Logstash, Kibana) 스택과 같은 오픈 소스 모니터링 시스템 및 도구가 있습니다. 이 기사에서는 기능, 장점, 단점, 차이점/유사성, 선택 항목, Hosted Prometheus  를 Hosted Graphite 와   번들로 묶는 것이 이 두 오픈 소스 도구보다 더 나은 대안이 될 수 있는 이유에  대해 이 두 가지 인기 있는 모니터링 시스템을 검토합니다. . 

       

모니터링 시스템을 실행할 때 고려해야 할 또 다른 사항은 사내 또는 호스팅을 선택할지 여부 입니다. 사내 작업은 특히 모니터링 시스템이 바쁜 하루 중 바로 넘어지기로 결정한 경우 시간이 많이 소요될 수 있습니다. 

                    

이러한 이유로 MetricFire가 있습니다. MetricFire  는  장기 저장, 업데이트, 모니터링 전략 등을 처리 하는  호스팅된 Prometheus 서비스입니다. Kubernetes 모니터링을 위한 효과적인 호스팅 도구인 MetricFire의 Hosted Graphite 와 함께 스택할 수 있습니다  . (Hosted Prometheus 제품은 여전히 ​​고객이 Kubernetes 클러스터 내에서 로컬로 프로비저닝된 Prometheus를 실행하고 메트릭을 장기 스토리지로 Hosted Prometheus에 보내야 하기 때문에 Hosted Prometheus는 Kubernetes용 Hosted Graphite만큼 효과적이지 않습니다.

                      

MetricFire의 무료 평가판을 확인  하거나  데모  를 예약하여 자세히 알아보십시오. 

                                                

프로메테우스 모니터링 시스템

  

     

Prometheus는 애플리케이션 서비스, 서버 및 기타 대상 소스에서 메트릭을 가져오는 오픈 소스 모니터링 및 경고 시스템입니다. MetricFire의 기사 Prometheus Monitoring 101 에서 Prometheus에 대한 자세한 정보를 읽을 수 있습니다 .

   

프로메테우스의 장점

1. Kubernetes와 크게 통합된 서비스 검색을 제공하여 모든 서비스를 찾고 Prometheus 끝점에서 메트릭을 가져옵니다. 
2. Prometheus는 인프라의 다른 부분이 손상된 경우에도 항상 작동합니다. 에이전트를 설치할 필요가 없습니다. Prometheus 설치에서 이미 메트릭을 가져올 수 있습니다.
3. 광범위한 설정이 필요하지 않습니다. 
4. 빠른 중단 발견을 허용합니다. 시스템이 알려진 모니터링 소스로부터 요청을 받지 못하는 경우 중단을 매우 빠르게 발견할 수 있습니다.
5. 시계열 데이터를 실시간으로 선택하고 집계할 수 있는 기능적 쿼리 언어인 PromQL을 제공합니다 . 하위 쿼리, 함수 및 연산자를 적용할 수 있습니다. 레이블별로 필터링 및 그룹화할 수 있으며 향상된 일치 및 필터링을 위해 정규식을 사용할 수 있습니다.
6. 간단한 재구성을 보장합니다. 구성은 명령줄을 통해 변경할 수 있습니다. 예를 들어 저장 위치 또는 디스크와 메모리에 보관할 데이터의 양과 같은 변경할 수 없는 시스템 매개변수와 작업, 인스턴스 또는 로드할 규칙 파일과 같은 구성 파일이 있습니다. 구성을 변경하면 모든 모니터링 서비스에 자동으로 적용됩니다.
7. Prometheus가 모니터링되는 서비스에 가하는 부하 및 네트워크는 메트릭이 생성될 때 메모리에 저장되고 읽을 수 있는 형식으로 변환되며 Prometheus는 이벤트 수에 관계없이 요청에 의해(기본적으로 15초마다) 수신하기 때문에 낮습니다. 생성.
8. 프로 메테우스 아키텍처 설계 시스템 운영 단순성을 제공합니다. 단일 노드로 제한되는 Prometheus는 클러스터링을 방지합니다. 클러스터링은 운영 복잡성을 가져옵니다. 

   

프로메테우스의 단점 

1. 모니터링 제한(서버 스토리지 용량을 늘리거나 메트릭 수를 제한하는 데 필요). 회사에서 데이터 저장 서비스를 제공하기 때문에 MetricFire의 Hosted Prometheus 를 선택하면 문제가 되지 않습니다 .
2. 안정적인 장기 데이터 저장, 이상 감지, 수평적 확장 및 사용자 관리를 제공하지 않습니다. 기본적으로 이러한 요구 사항은 대부분 대규모 엔터프라이즈 환경에 필수적입니다. 이러한 단점은 MetricFire가 스토리지 호스팅, 사용자 관리 등을 제공하므로 해결됩니다. 
3. 단기 작업에 대한 메트릭을 수집하기 위한 푸시 기반 솔루션의 경우 약간의 해결 방법이 필요합니다 . 또한 이러한 메트릭은 짧은 기간 동안만 사용할 수 있으므로 Pushgateway 를 통해 일부 해결 방법을 만들 수 있습니다 .
4. Prometheus는 대시보드 솔루션이 아닙니다. 프로 메테우스 식 브라우저 간단한 시각화를 제공하지만 사용 Grafana을 모니터링 프로 메테우스를 사용할 때 대시를 위해 필요합니다.
5. Prometheus는 오픈 소스이므로 직접 설치하고 유지 관리해야 합니다.   MetricFire 에서 호스팅된 Prometheus에 투자  하면 삶이 더 쉬워집니다. 또는  중복 스토리지, 태그가 지정된 메트릭 및 API에 의한 제어와 같은 추가 기능으로 Kubernetes 를 모니터링 하기 위해 오픈 소스 Graphite보다 더 많은 가치를 제공하는 MetricFire의  Hosted Graphite를 선호할 수도 있습니다  . 가장 효과적인 결과를 얻으려면 두 호스팅 솔루션에 모두 투자하십시오.

                             

지금 MetricFire를 사용해 보세요!

MetricFire를 14일 동안 무료로 받으세요. 신용 카드가 필요하지 않습니다.

데모 요청

           

직접 사용해보고 싶다면 Hosted Prometheus  무료 평가판에 등록하십시오 . 당신은 또한 수 있습니다  데모에 가입  하고 우리는 당신을위한 최고의 프로 메테우스 모니터링 솔루션에 대해 이야기 할 수 있습니다.

                                                                                       

ELK(Elasticsearch 스택: Elasticsearch, Logstash, Kibana)

ELK 스택은 서로 다른 시스템에서 생성된 로그 검색, 분석 및 시각화를 전문으로 하는 로그 관리 플랫폼을 구성하는 세 가지 오픈 소스 도구의 조합입니다.

      

로그스태시 기능

Logstash는 하나 이상의 소스에서 로그 및 이벤트를 수신한 다음 처리하고 하나 이상의 은닉으로 변환합니다. 동일한 Logstash 인스턴스 내에서 여러 파이프라인을 실행할 수 있습니다. 이는 Logstash가 수평으로 확장 가능함을 의미합니다.

                                

Logstash는 또한 다음을 수행할 수 있습니다.

1. 사용자가 단일 UI로 배포를 제어할 수 있는 파이프라인 관리 UI(사용자 인터페이스)가 있는 데이터 파이프라인 도구를 제공합니다.
2. 데이터 처리를 중앙 집중화합니다.
3. 다양한 정형 및 비정형 데이터와 이벤트를 수집, 구문 분석 및 분석합니다.
4. 다양한 유형의 입력 소스 및 플랫폼에 연결할 수 있는 플러그인을 제공합니다.
5. IP 주소에서 지리 좌표를 해독합니다.
6. PII 데이터를 익명화하여 민감한 필드에 대한 액세스를 절대적으로 방지합니다 .

   

엘라스틱서치 기능

Elasticsearch는 ELK 스택의 핵심입니다. 분산 데이터 저장을 제공하는 NoSQL 데이터베이스입니다. 정형, 비정형, 지리 및 메트릭 데이터와 같은 다양한 쿼리 유형을 제공하여 자세한 분석을 제공합니다.

                             

Elasticsearch는 또한 다음을 수행할 수 있습니다.

1. 검색 엔진/검색 서버 가능성을 제공합니다.
2. 전체 텍스트 검색을 제공합니다.
3. Apache Lucene을 기반으로 하므로 표준 RESTful API 및 JSON을 사용합니다.
4. 스키마 프리, REST 및 JSON 분산 데이터 스토리지를 제공합니다.
5. 실시간 검색에 수평 확장성, 안정성 및 기능을 제공합니다.
6. 색인을 사용하여 검색하여 검색 속도를 높입니다.
7. 보안, 모니터링, 경고, 이상 감지, 이상 예측, 그래프 탐색 및 보고 기능을 제공합니다.

   

키바나 기능 

         

      

Kibana는 Elasticsearch 및 Logstash와 쌍을 이루는 시각화 도구입니다. Kibana는 Elasticsearch 로그에 사용할 수 있는 최고의 시각화 도구이지만, 고급 메트릭 시각화를 위해 Elasticsearch에서 Grafana 로 데이터를 내보낼 수도 있습니다 . Kibana는 Elasticsearch 시각화를 처리하는 데 필요한 모든 것이 완벽하게 설정되어 있습니다.

                         

Kibana는 또한 다음을 수행할 수 있습니다.

1. 실시간 분석, 요약, 차트 작성 및 디버깅 기능을 제공합니다.
2. 직관적이고 사용자 친화적인 인터페이스를 제공합니다.
3. 스냅샷 공유 허용: 링크를 공유하거나 PDF 또는 CSV 파일로 내보내 첨부 파일로 보냅니다.
4. Elastic Maps Service를 사용하여 모든 지도에서 지리 데이터를 설정하여 지리 공간 데이터를 시각화할 수 있습니다.
5. 대시보드를 저장하고 여러 대시보드를 관리할 수 있습니다.

      

비트

ELK는 Logstash 또는 Elasticsearch로 데이터를 보내는 단일 목적으로 서버에 설치할 수 있는 경량 에이전트인 소위 데이터 운송업체의 모음인 Beats를 사용합니다. 예를 들어 Linux 감사 로그용 Auditbeat , 로그 파일용 Filebeat, 네트워크 트래픽용 Packetbeat 등이 있습니다.

특정 작업의 경우 거의 100개에 가까운 커뮤니티 제공 Beat가 있거나 Go에서 완전히 작성된 Beat 라이브러리를 사용하여 자신만의 Beat를 만들 수 있습니다.

      

ELK의 장점

1. 수백 개의 로그 데이터 소스에 연결할 필요 없이 하나의 ELK 인스턴스로 분산 시스템에 대한 뛰어난 통찰력을 제공합니다.
2. Java에서 개발되었으므로 Elasticsearch는 거의 모든 플랫폼과 호환됩니다.
3. Elasticsearch는 실시간입니다. 이는 추가된 문서를 몇 초 후에 탐색할 수 있음을 의미합니다.
4. Elasticsearch는 Java, Python, .NET, SQL 및 PHP와 같은 다양한 언어로 클라이언트를 개발하고 지원합니다. 또한 커뮤니티에서 더 많은 기여를 했습니다.
5. 다양한 프로그래밍 및 스크립팅 언어용 SDK를 제공합니다.
6. 수직 및 수평 확장 기능.

       

ELK 단점 

1. 쉽지 않은 설치 - 어떤 구성이 필요하고 ELK 시스템에 필요한 하드웨어가 항상 명확하지는 않습니다.
2. 빠른 설치가 아닙니다. 때때로 회사는 문제에 대한 빠른 솔루션이 필요하지만 ELK 시스템을 설치, 설정 및 조정하는 데 많은 시간이 소요될 수 있습니다.
3. 신뢰성을 제공하기 위해 많은 시간이 소요될 수 있습니다. Logstash와 Elasticsearch는 메모리 집약적이기 때문에 Elastic 노드가 다운되지 않도록 많은 작업을 해야 합니다. 기업은 신뢰성과 탄력성 을 보장 하기 위해 전문가 팀이 필요합니다 .

                          

Prometheus 사용에 관심이 있지만 설정 및 관리에 리소스가 너무 많이 소모되는  경우 데모를 예약하고  Hosted Prometheus가 모니터링 환경에 적합한 방법에 대해 문의하십시오. 또한 무료 평가판을 바로 사용할 수 있으며  지금 확인하십시오.

                                                                     

프로메테우스 대 ELK

두 모니터링 시스템인 Prometheus와 ELK 스택은 목적이 비슷합니다. 그들의 목표는 문제 감지, 디버깅 및 문제 해결입니다. 그러나 이러한 시스템은 이 작업에 대해 다른 접근 방식을 사용합니다. 

   

가장 큰 차이점은 이엘 케이가 로그에 전문 것을, 그리고 프로 메테우스는 측정 전문. 대부분의 주요 프로덕션에서는 각각 고유한 전문 분야에 대해 ELK와 Prometheus를 모두 사용해야 합니다. 

              

Prometheus 대 ELK: 유사점

1. Prometheus와 ELK는 모두 오픈 소스 소프트웨어입니다. 두 프로젝트 모두 대규모 활성 개발자 및 사용자 커뮤니티를 보유하고 있습니다.
2. 두 모니터링 시스템 모두 클라우드 서비스로 사용 가능하거나 온프레미스에서 운영할 수 있습니다. 
3. 두 시스템 모두 RESTful HTTP/JSON API 액세스 방법을 사용합니다.
4. 시스템은 동일한 범위의 프로그래밍 언어를 지원합니다: .Net, Java, Python, Ruby. 
5. 두 시스템 모두 서로 다른 노드에 서로 다른 데이터를 저장하기 위해 샤딩 방법을 사용합니다.
6. 두 시스템 모두 이메일, Slack 또는 PageDuty에 대한 통합을 통해 서로 다른 알림 옵션을 지원합니다.
7. Prometheus 및 ELK 스택은 여러 노드에 데이터를 중복 저장하기 위해 복제 방법을 사용합니다.
8. ELK와 Prometheus는 다양한 시스템과 통합될 수 있습니다. 다양한 데이터베이스, 스토리지, API, 기타 모니터링 시스템 및 하드웨어 관련 통합과의 통합을 위한 많은 도구가 있습니다.
9. 두 시스템의 데이터 시각화 도구에는 훌륭한 기능이 있습니다. 

              

Prometheus 대 ELK: 차이점

1. Prometheus와 ELK 스택의 주요 차이점은 이 두 시스템의 사용 범위입니다. Prometheus는 메트릭 수집, 다양한 시스템 모니터링 및 이러한 메트릭을 기반으로 경고 설정에 사용됩니다. ELK는 모든 유형의 데이터를 가져 와서 이러한 데이터를 기반으로 다양한 유형의 분석을 수행하고 검색하고 시각화하는 데 사용됩니다.
2. Prometheus는 TimeSeries DBMS를 기본 데이터베이스 모델로 사용합니다. 실제로 ELK 스택의 기본 데이터베이스 모델은 매우 빠른 전체 텍스트 검색을 허용하는 역 인덱스를 사용하여 다양한 비정형 데이터 유형 저장을 지원하는 검색 엔진입니다.
3. 두 시스템 모두 서로 다른 유형의 쿼리를 사용합니다. Prometheus는 실제로 매우 쉽고 강력한 자체 PromQL을 사용합니다. ELK는 JSON 기반의 도메인별 쿼리 언어를 제공합니다. Elasticsearch는 SQL과 유사한 쿼리를 사용하는 기능도 제공합니다.
4. ELK는 스키마 없는 데이터 체계를 사용합니다. Prometheus는 메트릭 이름과 키/값 쌍으로 식별되는 데이터를 저장합니다 .
5. ELK는 다양한 소스에서 다양한 로그를 수집하여 분석하고 저장합니다. Prometheus는 HTTP를 통한 pull 메서드를 통해 표준 형식으로 메트릭을 수집합니다. 
6. ELK 스택에서는 숫자, 문자열, 부울, 이진 등과 같은 다양한 유형의 데이터를 저장할 수 있습니다. 이를 통해 데이터에 관계없이 데이터를 보다 효율적으로 보관, 분석 및 사용할 수 있습니다. Prometheus는 명명된 시계열의 숫자 예제를 저장합니다.
7. ELK는 Prometheus에 비해 더 장기간 데이터 보존을 제공합니다. Prometheus는 기본 15일 동안 인스턴스 내에 로컬로 데이터를 저장합니다. 기본 15일은 임의의 값으로 구성할 수 있으며 최소 2시간입니다. 물론 로컬 Prometheus 인스턴스 내 장기 보관 은 장기간 어려워집니다. 하나의 노드에서 데이터를 저장하고 계산하면 작업이 더 쉬워지지만 확장 및 고가용성을 보장하기가 더 어려워집니다. 결과적으로 Prometheus는 장기 메트릭 저장소로 최적화되지 않았습니다. MetricFire 는 Prometheus용 호스팅 원격 스토리지 서비스 로 이 문제를 해결합니다 . 
8. 추가 유료 ELK 팩(소위 X-Pack)은 Kibana와 Elasticsearch 모두에 대한 인증 및 권한 부여, 향상된 기능을 갖춘 경고 시스템을 제공합니다. 기계 학습 부분은 이상 감지 및 예측을 제공합니다. 
9. Kibana를 사용하면 데이터의 관계(예: 관련 제품 표시)를 분석하고 이러한 관계에 대한 시각화를 수행할 수 있습니다. Prometheus는 목록에 그러한 확장 기능이 없으며 모든 분석은 Grafana를 통해 수행해야 합니다.
10. Elasticsearch는 매우 빠른 전체 텍스트 검색을 허용하는 역 인덱스라는 구조를 사용합니다.
11. Elasticsearch Stack 보안 기능은 매우 광범위합니다. 시스템은 적절한 사람들에게 적절한 액세스를 제공합니다. 일부 기능은 암호화된 통신(SSL/TLS 인증서를 사용한 트래픽 암호화), 역할 기반 및 속성 기반 액세스 제어, 필드 및 문서 수준 보안, IP 필터링, 감사 로깅 등입니다.
12. Elasticsearch는 데이터 관리를 위한 다양한 기능을 제공합니다: 스냅샷으로 데이터 백업, 효율적인 디스크 스토리지 사용을 위한 소스 전용 스냅샷, 기능 분석(롤업 인덱스)을 위한 기록 데이터 요약 및 저장.

                       

다음과 같은 경우에 ELK를 사용하십시오.

1. 이벤트 로깅을 하고 있습니다.
2. 많은 양의 로그 데이터를 처리해야 합니다.
3. 장기 데이터 저장이 필요합니다.
4. 특정 이벤트에 대한 깊은 통찰력이 필요합니다. 
5. 클러스터 솔루션이 필요합니다.

                      

다음과 같은 경우에 Prometheus를 사용하십시오.

1. 당신은 주로 메트릭스를 수행하고 있습니다.
2. 모니터링 및 그래프 도구 설정에 단순함이 필요합니다.
3. 다양한 소스에서 경고를 실행해야 합니다.

                     

결론

Prometheus와 Elasticsearch 스택은 인프라 모니터링 및 알림을 위한 매우 유사한 도구이지만 이러한 시스템은 일반적으로 서로 다른 작업에 배포됩니다. 가장 큰 차이점은 ELK는 로그를 전문으로 하고 Prometheus는 메트릭을 전문으로 한다는 것입니다. 대부분의 주요 프로덕션에서는 각각 고유한 전문 분야에 대해 ELK와 Prometheus를 모두 사용해야 합니다. 

                    

그러나 이러한 도구 중 어느 것도 모니터링에 완벽하지 않습니다. 두 프로그램 모두 오픈 소스이기 때문에 설치 및 유지 관리가 어렵습니다. 호스팅된 Prometheus  는 추가 기능과 지속적인 지원과 함께 제공되는 MetricFire의 Prometheus 에 대한 호스팅된 대안입니다. Hosted Prometheus가 이 작업으로 어려움을 겪을 때 Kubernetes를 모니터링할 때 Hosted Graphite 와 함께 쌓는 것이 좋습니다  .