ELK Stack Nedir? Kurulum ve Kullanımı Hakkında Kapsamlı Bir Rehber

Giriş

ELK Stack, Elasticsearch, Logstash ve Kibana’nın kısaltmasıdır ve büyük miktarda veriyi aramak, analiz etmek ve görselleştirmek için kullanılan güçlü bir araç setidir. Bu makalede, ELK Stack’in ne olduğu, bileşenlerinin detayları, kurulumu ve nasıl kullanıldığı hakkında kapsamlı bilgi verilecektir.

ELK Stack Bileşenleri

1. Elasticsearch

Elasticsearch, Apache Lucene üzerine inşa edilmiş açık kaynaklı bir arama ve analitik motorudur. Yüksek performanslı tam metin araması, yapılandırılmış arama ve analiz sağlar. Elasticsearch, özellikle büyük veri kümelerini hızla sorgulama ve analiz etme yeteneği ile bilinir.

2. Logstash

Logstash, sunuculardan, veri tabanlarından ve uygulamalardan veri toplamak, işlemek ve bu verileri Elasticsearch’e göndermek için kullanılan açık kaynaklı bir veri işleme hattıdır. Logstash, çeşitli kaynaklardan gelen veriyi filtreler, dönüştürür ve gerektiği gibi yönlendirir.

3. Kibana

Kibana, Elasticsearch üzerinde depolanan verileri görselleştirmek için kullanılan açık kaynaklı bir kullanıcı arayüzüdür. Kullanıcılar, verilerini keşfetmek, analiz etmek ve çeşitli grafikler, tablolar ve haritalar oluşturmak için Kibana’yı kullanır.

ELK Stack’in Kullanım Alanları

• Günlük (Log) Analizi: Sunucu günlüklerini toplamak ve analiz etmek için kullanılır.
• Uygulama Performans İzleme: Uygulamaların performansını izlemek ve sorunları tespit etmek için kullanılır.
• Güvenlik Bilgisi ve Olay Yönetimi (SIEM): Güvenlik olaylarını izlemek ve analiz etmek için kullanılır.
• İş Zekası: İşletme verilerini analiz etmek ve raporlamak için kullanılır.

Kurulum

1. Elasticsearch Kurulumu

Elasticsearch kurulumu oldukça basittir. Aşağıdaki adımlar, Ubuntu üzerinde Elasticsearch kurulumunu göstermektedir.

1. Depo Anahtarını Ekleme:
   bash

   Kodu kopyala

   wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

2. Elasticsearch Deposunu Ekleme:
   bash

   Kodu kopyala

   sudo sh -c 'echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" > /etc/apt/sources.list.d/elastic-7.x.list'

3. Depo Güncelleme ve Elasticsearch Kurulumu:
   bash

   Kodu kopyala

   sudo apt-get update
sudo apt-get install elasticsearch

4. Elasticsearch Servisini Başlatma ve Otomatik Başlatma İçin Ayarlama:
   bash

   Kodu kopyala

   sudo systemctl start elasticsearch
sudo systemctl enable elasticsearch


2. Logstash Kurulumu

1. Logstash Paketini Kurma:
   bash

   Kodu kopyala

   sudo apt-get install logstash

2. Logstash Konfigürasyonu: Logstash konfigürasyon dosyaları genellikle /etc/logstash/conf.d/ dizininde bulunur. Basit bir örnek konfigürasyon dosyası aşağıdaki gibidir:
   conf

   Kodu kopyala

   input {
   beats {
   port => 5044
   }
   }

   filter {
   grok {
   match => { "message" => "%{COMMONAPACHELOG}" }
   }
   }

   output {
elasticsearch {
hosts => ["localhost:9200"]
index => "logstash-%{+YYYY.MM.dd}"
}
}


3. Logstash Servisini Başlatma:
   bash

   Kodu kopyala

   sudo systemctl start logstash
sudo systemctl enable logstash


3. Kibana Kurulumu

1. Kibana Paketini Kurma:
   bash

   Kodu kopyala

   sudo apt-get install kibana

2. Kibana Konfigürasyonu: Kibana konfigürasyon dosyası /etc/kibana/kibana.yml içinde bulunur. Aşağıdaki temel ayarları yapın:
   yaml

   Kodu kopyala

   server.port: 5601
server.host: "your_server_ip"
elasticsearch.hosts: ["http://localhost:9200"]

3. Kibana Servisini Başlatma:
   bash

   Kodu kopyala

   sudo systemctl start kibana
sudo systemctl enable kibana


4. Filebeat Kurulumu (Opsiyonel)

Filebeat, sistem günlüklerini toplayan hafif bir log göndericidir.

1. Filebeat Paketini Kurma:
   bash

   Kodu kopyala

   sudo apt-get install filebeat

2. Filebeat Konfigürasyonu: Filebeat konfigürasyon dosyası /etc/filebeat/filebeat.yml içinde bulunur. Basit bir örnek konfigürasyon aşağıdaki gibidir:
   yaml

   Kodu kopyala

   filebeat.inputs:
   - type: log
   paths:
   - /var/log/*.log

   output.logstash:
hosts: ["localhost:5044"]


3. Filebeat Servisini Başlatma:
   bash

   Kodu kopyala

   sudo systemctl start filebeat
sudo systemctl enable filebeat


Kullanım

Verilerin Toplanması ve İşlenmesi

Logstash, çeşitli kaynaklardan veri toplayabilir ve bu verileri Elasticsearch’e gönderebilir. Logstash’in gücü, giriş (input), filtre (filter) ve çıkış (output) plugin’lerinin esnekliğinde yatar. Örneğin, Apache sunucu günlüklerini toplamak ve işlemek için aşağıdaki Logstash konfigürasyonu kullanılabilir:

Verilerin Görselleştirilmesi

Kibana, Elasticsearch üzerinde depolanan verileri görselleştirmek için kullanılır. Kibana’ya erişmek için tarayıcınızdan http://your_server_ip:5601 adresine gidin.

1. Index Pattern Oluşturma: Kibana’nın Elasticsearch’ten veri alabilmesi için bir index pattern oluşturmanız gerekir. Örneğin, logstash-* olarak bir index pattern belirleyebilirsiniz.
2. Dashboard ve Visualizations: Kibana, verilerinizi çeşitli grafikler ve tablolar kullanarak görselleştirmenize olanak tanır. Aşağıda birkaç örnek görselleştirme türü bulunmaktadır:
   • Bar Chart (Çubuk Grafik): Zaman içinde belirli bir olayın sıklığını göstermek için kullanılır.
   • Line Chart (Çizgi Grafik): Zaman içindeki trendleri göstermek için kullanılır.
   • Pie Chart (Pasta Grafik): Verinin farklı dilimlerinin oranlarını göstermek için kullanılır.
   • Data Table (Veri Tablosu): Verileri tablo halinde görüntülemek için kullanılır.

Dashboards ve Alerts

Kibana, kullanıcıların özel panolar (dashboards) oluşturmasına ve bu panolarda çeşitli görselleştirmeleri bir araya getirmesine olanak tanır. Ayrıca, belirli kriterler karşılandığında bildirimler göndermek için uyarılar (alerts) da ayarlanabilir.

Sonuç

ELK Stack, büyük miktarda veriyi toplamak, işlemek, analiz etmek ve görselleştirmek için güçlü ve esnek bir çözümdür. Elasticsearch, hızlı ve güçlü arama yetenekleri sunarken, Logstash verileri çeşitli kaynaklardan toplayıp işleyebilir ve Kibana bu verileri görselleştirmenize olanak tanır. ELK Stack, günümüzün veri yoğun dünyasında önemli bir rol oynamaktadır ve doğru kullanıldığında işletmelerin operasyonlarını optimize etmelerine ve daha bilinçli kararlar almalarına yardımcı olabilir.

Bu makalede, ELK Stack’in temel bileşenleri, kurulumu ve kullanımı hakkında kapsamlı bir rehber sunulmuştur. Bu bilgilerle, kendi ELK Stack kurulumunuzu yapabilir ve büyük veri analizinde bu güçlü araç setini kullanmaya başlayabilirsiniz.