Danışmanlık

Logging — OpenSearch & Kibana

Saniyede akan binlerce satır kör gürültüyü; filtrelenmiş, alarmlara bağlanmış ve depolama maliyeti optimize edilmiş merkezi loglara dönüştürüyoruz.

Ücretsiz değerlendirme al

Log Yönetim Ekosistemi

Grafana Loki

Fluent Bit

Vector

Elasticsearch

OpenSearch

OpenTelemetry

Kapsam

Ne yapıyoruz?

Dağınık, aranması zor ve çok fazla gürültü içeren log altyapısını, mühendislerin gerçekten kullandığı ve değer ürettiği bir sisteme dönüştürüyoruz.

Merkezi Log Mimarisi

Mikroservislerden, sistem loglarından ve güvenlik olaylarından gelen logları tek noktada toplayan mimari tasarımı. Hangi loglara neden ihtiyaç var — net kararlarla.

OpenSearch Cluster Kurulumu

Single-node veya multi-node OpenSearch cluster kurulumu, güvenlik (TLS, kullanıcı yönetimi) ve index template yapılandırması.

Kibana / OpenSearch Dashboards

Servis bazlı log görünümleri, hata oranı trendi ve anomaly detection için dashboard ve saved search'lerin hazırlanması.

Log Pipeline — Fluent Bit & Vector

Kubernetes pod loglarını toplayıp filtreleyip iletmek için Fluent Bit veya Vector kurulumu. Gereksiz log gürültüsünü azaltmak için parser ve filter zinciri.

Index Lifecycle Management

Retention policy: kaç günlük log hot/warm/cold tier'da tutulacak, hangisi silinecek. Storage optimizasyonu ile maliyet kontrolü.

Alert ve Anomaly Detection

Log bazlı alerting: error oranı eşiği aşınca, belirli bir string 5 dakikada N kez geçince bildirim. Alertmanager veya OpenSearch Alerting entegrasyonu.

Süreç

Log Altyapısı Kurulum Süreci

Log envanterinden aranabilir, alarmlara bağlı, maliyet optimize edilmiş bir sisteme — adım adım.

1

Log Envanteri

Kaynaklar, hacimler, retention gereksinimleri ve mevcut gürültü analizi. Hangi loglara gerçekten ihtiyaç var — net karar.
2

Pipeline Tasarımı

Fluent Bit/Vector ile toplama, parse ve filter zinciri. Gereksiz log gürültüsünü kaynakta kesmek; düşük gecikme, düşük kayıp.
3

Depolama & Retention

OpenSearch ILM: hot/warm/cold tier ve otomatik silme. Storage maliyeti optimize edilmiş, SLA'ya uygun retention policy.
4

Dashboard & Alerting

Kibana saved search, anomaly detection ve Alertmanager entegrasyonu. Hata oranı eşiği aşınca aksiyon alınabilir bildirim.

Görsel Kanıt

Ham Gürültüden Yapılandırılmış Loga

Solda SSH ile elle taranan ve hangi servise ait olduğu belirsiz ham log. Sağda OpenSearch'te milisaniyede sorgulanabilen, alarma bağlanabilen structured JSON.

Ham Log — Okunaksız, Aranması İmkansız

# Ham log — ssh prod@10.0.0.5 "cat /var/log/app.log"

2024-01-15T09:23:41.332Z ERROR connection timed out
  at socket.connect (/app/node_modules/pg/lib/connection.js:61)
  at Object.connect (/app/src/db/pool.js:18)
  at processTicksAndRejections (node:internal/process/task_queues:95)
  { errno: -110, code: 'ETIMEDOUT', syscall: 'connect' }

2024-01-15T09:23:41.887Z INFO  Request received
2024-01-15T09:23:41.901Z WARN  Slow query detected (2341ms)

2024-01-15T09:23:42.101Z ERROR connection timed out
  at socket.connect (/app/node_modules/pg/lib/connection.js:61)
...

# Hangi servis? Hangi pod? Hangi namespace?
# 50 servis x 3 replica = 150 SSH bağlantısı

Structured JSON — Aranabilir, Filtrelenebilir, Alarmlara Bağlı

// Structured log — OpenSearch'te aranabilir, filtrelenebilir

{
  "@timestamp": "2024-01-15T09:23:41.332Z",
  "level":       "ERROR",
  "service":     "payment-api",
  "namespace":   "production",
  "pod":         "payment-api-7f8b4-xk9p2",
  "node":        "worker-node-03",
  "message":    "connection timed out",
  "error_code": "ETIMEDOUT",
  "duration_ms": null,
  "trace_id":   "4bf92f3577b34da6a3ce929d0e0e4736"
}

// OpenSearch query: level:ERROR AND service:payment-api
// Sonuç: Son 1 saatte 47 ETIMEDOUT — DB bağlantı havuzu dolu

Ortalama MTTD

✕ 45–90 dakika (SSH + grep)

✓ < 3 dakika (OpenSearch)

Log Depolama

✕ Tüm loglar, süresiz saklama

✓ ILM ile %60 maliyet azalımı

Alarm Kapsam

✕ Manuel kontrol, fark edilmez

✓ Otomatik, eşik tabanlı alert

Tipik Log Pipeline Mimarisi

Kaynak Pod logları · Sistem · Audit

Toplayıcı Fluent Bit DaemonSet / Vector agent

İşleme Parse · Filter · Enrich

Depolama OpenSearch hot / warm tier

Görselleştirme Kibana · Dashboard · Alert

Teknolojiler

OpenSearch Kibana OpenSearch Dashboards Fluent Bit Logstash Vector Filebeat Grafana Loki OpenTelemetry

Kimler için?

Mikroservis mimarisine geçen ve log yönetiminde görünürlük kazanmak isteyen ekipler. Özellikle production'da sorun yaşandığında hangi serviste ne olduğunu bulmak için saatler harcayan, her servisi ayrı ayrı SSH'layarak log tarayan ve bunu sistematize etmek isteyen mühendislik ekipleri için.

Mevcut durumu konuşmaya hazır mısınız?

Mevcut altyapınızı ve en kritik iyileştirme noktalarını doğrudan konuşalım.

Ücretsiz değerlendirme talep et