| title | 관측 가능성 학습 로드맵 | |||||||
|---|---|---|---|---|---|---|---|---|
| tags |
|
|||||||
| status | final | |||||||
| source |
|
|||||||
| related |
|
|||||||
| updated | 2026-09-23 |
무엇을 모르는지 물을 수 있는가에서 시작해 계측·지표·로그·트레이스를 지나 알림과 SLO, 확장과 플랫폼으로 갑니다. 개념이 주인공이고 책은 그 개념을 다루는 자리입니다.
단계마다 배우는 개념을 묶음으로 갈랐습니다. 자료 위치는 아래 단계별 표가 짚습니다.
| 단계 | 묶음 | 배우는 개념 |
|---|---|---|
| 1 · 관측 가능성의 자리 | 관점 | 모니터링과 관측 가능성의 차이 · 세 신호 — 지표 · 로그 · 트레이스 · 질문 중심 사고 |
| 1 · 관측 가능성의 자리 | 기본 단위 | 구조화 이벤트 · 임의로 넓은 이벤트 · 고카디널리티 · 카디널리티 폭발 |
| 1 · 관측 가능성의 자리 | 도구 지형 | Grafana 스택 · LGTM · 페르소나 · SRE 가 보는 관측과 모니터링 · Metrics Server 와 시계열 DB 의 갈림 |
| 2 · 계측 | 로그 | 구조화 필드 · timestamp · severity · trace_id · request_id · 민감정보 제거 |
| 2 · 계측 | 지표 | counter · gauge · histogram · summary · exposition · exporter · 클라이언트 라이브러리 |
| 2 · 계측 | 라벨 | 라벨 설계 · 카디널리티 한계 · Pod UID 같은 무제한 값 · bucket 경계 |
| 2 · 계측 | 트레이스 | OpenTelemetry · span · 컨텍스트 전파 · W3C Trace Context · 계측 모범 사례 |
| 3 · 지표와 PromQL | 저장 | Prometheus 데이터 모델 · TSDB 쓰기 경로 · 블록 · WAL · 압축 |
| 3 · 지표와 PromQL | 질의 | PromQL 기초 · 집계 연산자 · 이항 연산자 · 함수 · 레코딩 룰 |
| 3 · 지표와 PromQL | 수집 | 서비스 디스커버리 · relabeling · scrape 설정 · Node Exporter · kube-state-metrics |
| 3 · 지표와 PromQL | 배포 | Prometheus Operator · ServiceMonitor · PodMonitor |
| 4 · 로그와 트레이스 | 로그 질의 | Loki · LogQL · 파이프라인 · 메트릭 쿼리 · 라벨과 검색 빈도의 균형 |
| 4 · 로그와 트레이스 | 트레이스 질의 | Tempo · TraceQL · 구조 연산자 · 전파 헤더 |
| 4 · 로그와 트레이스 | 잇기 | exemplar · 지표에서 트레이스로 · trace 에서 로그로 · tail sampling |
| 4 · 로그와 트레이스 | 비용 | 오버헤드 · 샘플링 전략 · 보존 기간 · 검색 백엔드의 색인과 매핑 |
| 5 · 알림과 SLO | 알림 | Alertmanager · 라우팅 · 그룹핑 · 억제 · 침묵 · HA · 룰 단위 테스트 · 알림 피로 |
| 5 · 알림과 SLO | 목표 | SLI · SLO · 에러 버짓 · 요청 기반과 윈도우 기반 · burn rate |
| 5 · 알림과 SLO | 사고 | 사고 관리 · 온콜 · 지휘 체계 · 포스트모템 · 사고에서 배우기 |
| 6 · 확장과 운영 | 규모 | 샤딩 · 페더레이션 · 고가용성 · 최적화 · 디버깅 |
| 6 · 확장과 운영 | 장기 저장 | remote write · remote read · Thanos · VictoriaMetrics · Grafana Mimir |
| 6 · 확장과 운영 | 통합 | Prometheus 와 OpenTelemetry · OTLP 수신구 · 서버 측 보안 |
| 7 · 플랫폼 | 표현 | 대시보드 목적 정의 · 시각화 선택 · 인지 부하 줄이기 |
| 7 · 플랫폼 | 코드화 | Jsonnet · 모니터링 믹스인 · promtool · amtool · Pint · Helm · Terraform |
| 7 · 플랫폼 | 조직 | 플랫폼 데이터 아키텍처 · 수집 참조 구조 · RBAC · 멀티테넌시 |
| 7 · 플랫폼 | 인프라 축 | 인프라 관측 · 클라우드 3사 연결 |
| 7 · 플랫폼 | 사용자와 개발 축 | RUM · Faro · Web Vitals · 관측 가능성 주도 개발 |
위 단계를 무엇으로 배우는가입니다. 정독 노트와 소장 책, 공식 문서로 한정했습니다.
같은 책이 여러 단계에 나뉘어 걸리므로 행이 단계가 아니라 책의 역할로 묶입니다.
| 책 | 읽을 장 | 우선순위 | 자리 |
|---|---|---|---|
| Mastering Prometheus | 1~15장 | 필수 | 1 · 3 · 5~7단계 |
| Prometheus Up & Running | 3 |
필수 | 2·3 · 5·6단계 |
| Observability with Grafana | 1·2 · 4 · 6~12장 | 필수 | 1·2 · 4·5 · 7단계 |
| Observability Engineering | 1 · 3 · 5~10장 | 필수 | 1·2 · 7단계 |
| Site Reliability Engineering | 7~10장 | 필수 | 1 · 5단계 |
| Distributed Tracing in Practice | 2~6 · 8·9장 | 추천 | 2 · 4단계 |
| The Definitive Guide to OpenSearch | 4·5 · 7 · 13장 | 선택 | 4단계 |
보완 참조 — 단계 표의 노트나 책 칸이 가리키지만 읽기 흐름에는 넣지 않은 장입니다. 그 개념에 닿았을 때만 엽니다.
| 책 | 장 | 받치는 자리 |
|---|---|---|
| Observability with Grafana | 3 · 5장 | 2단계 학습 환경 세우기 · 4단계 지표 수집 프로토콜과 저장 아키텍처 |
| Observability Engineering | 11장 | 5단계 SLO 기반 신뢰성 |
공식 문서는 책과 같은 무게로 씁니다. Prometheus 문서가 3·5·6단계, Grafana 문서가 4·7단계, OpenTelemetry Concepts와 Collector가 2단계, Google SRE Books가 5단계의 빈칸을 메웁니다.
무엇을 내보내고 어떻게 묻는가입니다. 여기까지가 도구를 다루는 구간입니다.
| 개념 | 우선순위 | 노트 | 책 |
|---|---|---|---|
| 모니터링과 관측 가능성의 차이 | 필수 | Prometheus의 자리 | Observability Engineering 1장 |
| 세 신호 — 지표 · 로그 · 트레이스 | 필수 | Prometheus 너머 | Mastering Prometheus 1·15장 |
| 구조화 이벤트가 기본 단위 | 필수 | Observability Engineering 5·6장 | |
| 고카디널리티와 질문 중심 사고 | 추천 | Observability Engineering 8장 | |
| Grafana 스택과 페르소나 · LGTM | 추천 | Grafana 스택 | Observability with Grafana 1장 |
| Metrics Server 와 시계열 DB 의 갈림 | 추천 | ||
| SRE 가 보는 관측과 모니터링 | 추천 | Site Reliability Engineering 8장 | |
| 관측 가능성의 기원 | 선택 | Observability Engineering 3장 | |
| 용어를 먼저 고정하기 | 추천 | Prometheus 용어집 |
| 개념 | 우선순위 | 노트 | 책 |
|---|---|---|---|
| 로그 형식 · 구조화 필드 · 민감정보 제거 | 필수 | 계측 표준 | Observability with Grafana 2장 |
| counter · gauge · histogram · summary | 필수 | 데이터 모델 | Prometheus Up & Running 3장 |
| exposition · exporter · 클라이언트 라이브러리 | 필수 | Prometheus Up & Running 4장 | |
| 라벨 설계와 카디널리티 한계 | 필수 | 데이터 모델 | Prometheus Up & Running 5장 |
| OpenTelemetry 로 계측하기 | 필수 | Prometheus와 OTel | Observability Engineering 7장 |
| 트레이싱 프로토콜 · 컨텍스트 전파 | 필수 | 계측 표준 | Distributed Tracing 2·3장 |
| 계측 모범 사례 | 추천 | Distributed Tracing 4장 | |
| 인프라 계측 표준 | 추천 | 계측 표준 | Observability with Grafana 2장 |
| 학습 환경 세우기 — OTel 데모 | 선택 | 학습 환경 | Observability with Grafana 3장 |
| 개념 | 우선순위 | 노트 | 책 |
|---|---|---|---|
| Prometheus 데이터 모델 | 필수 | 데이터 모델 | Mastering Prometheus 3장 |
| TSDB 쓰기 경로 | 필수 | TSDB 쓰기 경로 | Mastering Prometheus 3장 |
| TSDB 저장 구조 — 블록 · WAL · 압축 | 필수 | TSDB 저장 구조 | Mastering Prometheus 3장 |
| PromQL 기초 | 필수 | PromQL 기초 | Prometheus Up & Running 13장 |
| 집계 연산자 · 이항 연산자 · 함수 | 필수 | Prometheus Up & Running 14~16장 | |
| range query · step · 시간 창 | 추천 | Prometheus Up & Running 13장 | |
| 레코딩 룰 | 추천 | Prometheus Up & Running 17장 | |
| 서비스 디스커버리와 relabeling | 필수 | SD와 relabeling | Mastering Prometheus 4장 |
| 컨테이너와 Kubernetes 지표 | 필수 | k8s 로드맵 | Prometheus Up & Running 9장 |
| Node Exporter 해부와 collector | 추천 | Node Exporter | Mastering Prometheus 8장 |
| Prometheus 배포와 Operator | 추천 | Prometheus 배포 | Mastering Prometheus 2장 |
| 개념 | 우선순위 | 노트 | 책 |
|---|---|---|---|
| Loki 와 LogQL · 파이프라인 · 메트릭 쿼리 | 필수 | Loki 와 LogQL | Observability with Grafana 4장 |
| 라벨과 검색 빈도의 균형 | 필수 | Loki 와 LogQL | Observability with Grafana 4장 |
| Tempo 와 TraceQL · 구조 연산자 | 필수 | Tempo 와 TraceQL | Observability with Grafana 6장 |
| 지표 수집 프로토콜과 저장 아키텍처 | 추천 | 메트릭 수집·저장 | Observability with Grafana 5장 |
| exemplar — 지표에서 트레이스로 | 추천 | Prometheus 너머 | Mastering Prometheus 15장 |
| 트레이싱 배포 · 오버헤드 · 샘플링 | 필수 | Distributed Tracing 5·6장 | |
| 기준 성능 개선과 복구 | 추천 | Distributed Tracing 8·9장 | |
| 로그 검색 백엔드 — 색인 · 매핑 · 애널라이저 | 선택 | 데이터 색인 · 검색 핵심 API | OpenSearch 4·5장 |
| 로그 분석과 시각화 · 집계 | 선택 | 분석과 시각화 | OpenSearch 7장 |
| 검색 백엔드 운영 — 지표 · 백업 · DR | 선택 | 모니터링·백업·복구 | OpenSearch 13장 |
신호를 사람의 판단과 조직의 도구로 바꾸는 구간입니다.
| 개념 | 우선순위 | 노트 | 책 |
|---|---|---|---|
| Alertmanager — 라우팅 · 그룹핑 · 억제 · HA | 필수 | Alertmanager | Mastering Prometheus 5장 |
| 견고한 알림과 룰 단위 테스트 | 필수 | 알림 룰 테스트 | Mastering Prometheus 5장 |
| 알림 피로 · 침묵 규칙 | 추천 | Prometheus Up & Running 18·19장 | |
| SLI · SLO · 에러 버짓 | 필수 | Site Reliability Engineering 7장 | |
| SLO 를 Prometheus 로 정의하기 · burn rate | 필수 | Prometheus SLO | Mastering Prometheus 13장 |
| 사고 관리 · 온콜 · 지휘 체계 | 추천 | 사고 관리 | Site Reliability Engineering 9장 |
| 사고에서 배우기 · 포스트모템 | 추천 | Site Reliability Engineering 10장 | |
| 근거의 출처를 함께 남기기 | 추천 | ||
| SLO 기반 신뢰성 | 추천 | Observability Engineering 11장 |
| 개념 | 우선순위 | 노트 | 책 |
|---|---|---|---|
| 샤딩 · 페더레이션 · 고가용성 | 필수 | 샤딩·페더레이션·고가용성 | Mastering Prometheus 6장 |
| 최적화와 디버깅 | 필수 | 최적화와 디버깅 | Mastering Prometheus 7장 |
| remote write · remote read · 에이전트 | 추천 | remote write·read | Mastering Prometheus 9장 |
| Thanos 저장 경로 — Sidecar · Compactor · Store | 추천 | Thanos 저장 경로 | Mastering Prometheus 10장 |
| Thanos 쿼리 경로 — Query · Ruler · Receiver | 추천 | Thanos 쿼리 경로 | Mastering Prometheus 10장 |
| VictoriaMetrics · Grafana Mimir | 추천 | VictoriaMetrics·Mimir | Mastering Prometheus 9장 |
| Prometheus 와 OpenTelemetry 통합 · OTLP 수신구 | 추천 | Prometheus와 OTel | Mastering Prometheus 14장 |
| 서버 측 보안 | 선택 | Prometheus Up & Running 20장 |
| 개념 | 우선순위 | 노트 | 책 |
|---|---|---|---|
| 대시보드 — 목적 정의 · 시각화 선택 · 인지 부하 | 필수 | 대시보드 | Observability with Grafana 8장 |
| Jsonnet — YAML 을 손으로 쓰지 않기 | 추천 | Jsonnet | Mastering Prometheus 11장 |
| 모니터링 믹스인 — 규칙과 대시보드를 패키지로 | 추천 | 모니터링 믹스인 | Mastering Prometheus 11장 |
| CI 로 규칙 검증 — promtool · amtool · Pint | 추천 | CI로 규칙 검증 | Mastering Prometheus 12장 |
| 코드형 인프라 — 네 층 분할 · Helm · Terraform | 추천 | 코드형 인프라 | Observability with Grafana 10장 |
| 플랫폼 데이터 아키텍처 · 수집 참조 구조 · RBAC | 추천 | 플랫폼 설계 | Observability with Grafana 11장 |
| 인프라 관측 — K8s 수집기와 클라우드 3사 | 추천 | 인프라 관측 | Observability with Grafana 7장 |
| RUM — Faro SDK · Web Vitals | 선택 | RUM | Observability with Grafana 12장 |
| 관측 가능성 주도 개발 | 선택 | Observability Engineering 9장 | |
| AI 에이전트의 자리 | 선택 | Observability Engineering 10장 |
노트 안에 실제로 있는 실습 자리만 적습니다.
| 출처 | 단계 | 무엇 |
|---|---|---|
| 학습 환경 — Grafana Cloud · OTel 데모 | 2 | 계측된 데모 앱을 띄워 세 신호를 한 화면에서 보기 |
| 결정 치트시트 | 3·6 | 상황별로 어떤 설정을 고를지 대조 |
| 서비스 디스커버리와 relabeling | 3 | relabel 규칙을 바꿔 가며 대상 목록 변화 확인 |
| 견고한 알림과 룰 단위 테스트 | 5 | promtool test rules 로 알림 규칙을 시험 |
| CI 파이프라인으로 Prometheus 검증 | 7 | 규칙과 설정을 CI 에서 자동 검증 |
| _mistakes | 전 단계 | 이미 밟은 실수를 다시 밟지 않기 |
LGTM 스택을 직접 세우는 일은 별도 프로젝트입니다. 06_observability/02_LGTMStack 과 03_Project 에 그 기록이 있지만, 이 로드맵은 순서를 정하는 문서이므로 그쪽을 자료로 걸지 않습니다. 개념을 잡은 뒤 사례로 읽습니다.
다른 문서가 정본이거나 이 로드맵의 축과 다른 것들입니다.
| 대상 | 이유 |
|---|---|
| perf · Ftrace · eBPF 의 커널 관측 | OS 로드맵 5단계가 맡습니다. 여기는 애플리케이션이 스스로 내보내는 신호입니다 |
이벤트 · kubectl 로 좁히는 오브젝트 진단 |
Kubernetes 로드맵 7단계가 맡습니다 |
| 패킷 캡처와 Hubble 의 흐름 관측 | 네트워크 로드맵 3·6단계가 맡습니다 |
| JVM 프로파일과 힙 덤프 | JVM 로드맵 6·7단계가 맡습니다 |
06_observability 의 프로젝트 노트 |
LGTM 스택 구축 기록입니다. 순서를 정하는 근거가 아니라 사례입니다 |
| OpenSearch 의 검색 애플리케이션 축 | 9·10장은 검색 제품을 만드는 쪽입니다. 4단계는 로그 백엔드로만 씁니다 |
| Grafana Pyroscope · k6 | 소장 책에 장은 있지만 정독 노트가 없습니다. 프로파일링과 부하 시험이 필요해질 때 엽니다 |
이 문서가 정하는 것과 인접 문서에 넘기는 것입니다.
이 문서는 애플리케이션과 인프라가 스스로 내보내는 신호의 학습 순서를 정합니다. 바깥에서 들여다보는 관측은 다른 로드맵이 맡습니다.
맞닿는 문서가 다섯입니다. 커널 관측은 OS 로드맵이, 오브젝트 진단은 Kubernetes 로드맵이, 흐름 관측은 네트워크 로드맵이, JVM 내부 관측은 JVM 로드맵이, Helm·Terraform 같은 배포·IaC 도구 자체는 DevOps 로드맵이 맡습니다.
같은 증상을 다섯 문서가 다른 층에서 봅니다. 응답이 느려졌을 때 이 문서는 SLO 와 지표 분포를 보고, OS 로드맵은 run queue 를, 네트워크 로드맵은 재전송을, JVM 로드맵은 GC 정지를, Kubernetes 로드맵은 throttling 을 봅니다.