Geleneksel Otomasyonu İleriye Taşıyın - AIOPS
Yapay Zeka’nın kabiliyetleri arttıkça kullanım alanları da daha çok artmakta. LLM’lerin her geçen gün bir chatbot olarak kullanılmaktan daha ileriye gittiğini görebiliyoruz. Bu alanlardan bir tanesi de uzun zamandır gündemde olan ama yakın zamana kadar pratikte çok fazla uygulamasını göremediğimiz AIOPS konusu. AIOPS bir ürün ya da çözüm değil bir bakış açısı, tıpkı DEVOPS kavramı gibi. Buradaki temel amaç LLM’lerin reasoning kabiliyetlerini kullanarak IT operasyonlarına yeni bir yaklaşım getirmek. Bu belki alarm takibi/yönetimi ,root cause analizi , incident response ya da bir operasyonun tamamen ya da bir kısmının bir AI agent ile yapılması olabilir. Temel mantık bu akıl yürütmeyi(reasoning) işletecek bir LLM modelinin kullanılması ve daha ileri seviyelerde bu LLM modelinin bu akıl yürütme süreçlerinde faydalanabileceği araçlara MCP’ler aracılığı ile ulaşabilmesi. MCP’lerin ne olduğunu birazdan detaylı olarak anlatacağız. Daha ileri gitmeden biraz güncel dünyadaki duruma bir göz atalım.
Modern Altyapıların Karmaşıklığı ve Büyüklüğü
Günümüzde gerek küçük bir işletme olan gerek büyük kurumsal bir yapı olun IT ortamızda çalışan uygulama sayısı her geçen gün artmakta. Hem geleneksel hem cloud native uygulamalar sınırlı sayıda insan kaynağı ile yönetiliyor. Elimizde işimizi kolaylaştıracak bir sürü çözümümüz bulunuyor. Bunlardan bazıları log izleme, metrik analizi, APM ya da manuel admin takibi konular.
Ancak buna rağmen bazen elimizdeki bu verileri değerlendiremiyoruz, ya da bunu yapmak uzun süreler alabiliyor.
AIOPS yaklaşımı ile tüm bunları bir LLM desteği alarak yapmak mümkün olabiliyor.
Ekiplerimiz Zaten Yapay Zeka Kullanıyor, Sistemdeki Logları Sorun Anında ChatGPT’ye yükleyip Cevap Alıyoruz
Eğer bu cümleyi kullanıyorsanız yapay zeka kullandığınızı ve AIOPS gibi bir sürece ihtiyaç duymadığınızı düşünebilirsiniz. Ancak bu noktada dikkat edilmesi gereken iki konu var.
Veri Güvenliği: Birincisi Public olarak host edilen yapay zeka çözümlerine kendi kurumsal verinizi gönderdiniz ve artık bu veriler de LLM için bir training verisi oldu. Bu bir veri sızıntısı riski ve günümüzde IT güvenlik ekiplerinin en çok mücadele ettiği konulardan. Günümüzde en değerli şey veri. Bu verileri kurum içinde tutmak hiç olmadığı kadar önemli.
Verinin dışarı çıkması sadece güvenlik sorunu değil aynı zamanda bir regülasyon uyumluğu sorunu(KVKK vb.).
Entegrasyon Eksikliği: İkincisi bu LLM’i hala bir chatbot olarak kullanıyorsunuz. Soru sorup cevap alıp cevabı kopyala yapıştır yapıyorsunuz. İç süreçlerinize entegre değil, ITSM aracındaki servis ağacını görmüyor veya logları kendi kendine toplamıyor, sizin verdiğiniz verilerle yetiniyor. Yerelde kullanacağınız bir LLM ve MCP entegrasyonu sayesinde bu limitlerden kurtuluyorsunuz.
Model Context Protocol(MCP) Nedir ?
Yeri gelmişken MCP’nin tanımını ve açılımını yapalım. MCP Anthropic firmasının geliştirip daha sonra açık kaynak olarak topluluğa kazandırdığı ve daha sonra sektörde standart haline gelen bir protokol. Açılımı Model Context Protocol.
Introducing the Model Context Protocol
Özetle MCP büyük dil modellerinin kullanabileceği anlayabileceği bir standart sunuyor. Büyük Dil modelleri bu standartları kullanarak yetkili oldukları endpointlere gidip istedikleri bilgileri toplayabiliyor ya da belirli aksiyonları alabiliyorlar. Yapay zeka dil modelleri için geliştirilmiş API’lar olarak düşünebilirsiniz. Kendi MCP sunucularınızı geliştirebileceğiniz gibi piyasadaki halihazırda geliştirilmiş olan MCP sunucularını da kullanabilirsiniz.
Daha detay bilgiye ve örnek bir kataloğa aşağıdaki linklerden ulaşabilirsiniz.
What is Model Context Protocol (MCP)?
MCP servers for Red Hat OpenShift AI
AIOPS Geleneksel Otomasyondan Nasıl Farklılaşıyor ?
IT otomasyonu her firma için olmazsa olmaz süreçlerden biri. Manuel süreçlerden uzak standart iş ya da otomasyon akışları için piyasada farklı çözümler mevcut. Bu çözümlerin ortak özelliği deterministik çalışmaları diyebiliriz. Yani şu özellikte sunucu kur, şu firewall talebini aç, şu servisi restart et gibi daha net amaçlarla yazılmış kodlar. Geleneksel otomasyonda girdi de çıktı da bellidir, AIOPS ise LLM’den aldığı güç ile otomasyona muhakeme gücü katar. Gelen isteği ya da logu anlayabiliyor, gerekirse MCP ile ilgili sistemde değişiklik dahi yapabiliyor. Örneğin bir Linux sunucusunda servis restart etme kararı alan bir LLM MCP aracılığı ile bu görevi kendi kendine gerçekleştirebiliyor.
Nereden Başlayabilirsiniz ?
AIOPS sürecinin potansiyel faydalarını anlatıyoruz, ama her çözümde olduğu gibi gerçek bir kullanım senaryosu olmadan gerçek faydayı görmek güç olabiliyor. Aşağıda örnek olarak birkaç kullanım senaryosundan bahsetmeye çalışacağız. Burada asıl faydayı sizlerin kendi kullanım senaryolarında göreceğinizi tekrar hatırlatmak isteriz.
Başlangıç olarak troubleshooting Agent olarak kullanmak mümkün olabilir. Loglardan yakalanan hataları analiz ettirebilir, LLM’den gelecek olan cevaba göre next step olarak MCP ile ilgili sistem üzerinde daha detaylı inceleme yaptırabilir ve tüm bunun sonucunu kurumsal ticket sistemizde bir mühendisin incelemesi için paylaştırabilirsiniz.
İkinci bir gerçek kullanım senaryosu upgrade takibi yapan bir Agent olabilir. Örneğin OpenShift upgrade tetiklediniz ve takip ediyorsunuz. Sürecin nasıl ilerlediğinin yorumunu alabilir olası bir problemde MCP’nin sizin yerinize ilgili Pod’lar içerisinden logları toplamasını ve analiz edip potansiyel bir çözüm ile gelmesini sağlayabilirsiniz.
Örnekleri çoğaltmak mümkün.
Güvenlik ve Kontrol Mekanizmaları
Yüksek parametreli LLM’ler bile her zaman doğru cevabı veremeyebiliyor, buna zaman zaman şahit olabiliyoruz. Hal böyleyken kritik sistemlerin yönetimini ilk günden bir LLM’e teslim etmek akıllıca olmayabilir. Bu noktada bazı kontrol mekanizmalarını devreye sokmak gerekiyor. MCP üzerinde gerektiği kadar yetki tanımlamak ve belki de uzun bir süre sadece read-only bir yetkilendirme ile ilerlemek en doğrusu olabilir.
Kurumsal kullandığınız LLM’i “Prompt Tuning” ve “RAG” süreçleri işleterek istediğiniz cevaplara daha yakınsamasını sağlayabilirsiniz. Bu sayede LLM’in hataları minimuma indirebilir, daha net bir fayda sağlayabilirsiniz.
Başta da söylediğimiz gibi AIOPS’da diğer yapay zeka süreçleri gibi bir yolculuk. Eğer siz de IT otomasyon süreçlerinize yapay zeka dokunuşunda bulunmak isterseniz Gantek’in yetkin kadrosu ve deneyiminden faydalanabilir, bu yolculuğa ortak olabilirsiniz.
Erdem Keçe
