MetaDefender Cloud Hakkında
MetaDefender CloudOPSWAT'ın bulut tabanlı, gelişmiş tehdit önleme ve kötü amaçlı yazılım analiz platformudur. En iyi 20'den fazla AV motorundan Multiscanning ile birlikte Deep CDR 'nin benzersiz kombinasyonu, kuruluşları sıfır gün saldırılarına ve giderek daha karmaşık hale gelen kötü amaçlı yazılımlara karşı korur. MetaDefender Cloud'un kum havuzu, OPSWAT'ın birinci sınıf tehdit istihbaratı veritabanını kullanarak gerçek zamanlı karma, IP ve etki alanı analizi ile birlikte kötü amaçlı yazılım araştırmacılarına yardımcı olur ve mevcut ve potansiyel tehditlerin derinlemesine anlaşılmasını sağlar.
MetaDefender Cloud platformu şu anda müşterilerimizden gelen günde 5 milyondan fazla tarama talebini desteklerken, onlara ortalama 0,4 saniyelik bir tarama süresi sunuyor.
Neden MetaDefender as a Service'i (MDaaS) geliştirdik?
Pazarın gereksinimlerini karşılamak ve müşterilerimizi daha iyi desteklemek için
MetaDefender Cloud 'un değişen gereksinimleri, gelişmiş uygulama güvenliği hizmetlerine yönelik artan ihtiyacı ve daha fazla uygulama buluta taşındıkça DevOps Güvenliğinin artan karmaşıklığını karşılayacak şekilde ölçeklenebilmesini sağlamak istedik. Dosya trafiğindeki artışla birlikte, son müşterilerimize sorunsuz bir kullanıcı deneyimi sağlamak için MetaDefender Cloud 'un performansını koruması ve geliştirmesi bir gereklilikti.
İzleme ve tahmine dayalı ölçeklendirmeyi geliştirmek için
Mevcut dağıtım ve izleme modeli üzerinde sorunsuz ve tutarlı bir deneyim sunabilmek için şirket içi mimarimizi kod olarak altyapı ile mikro hizmetlere dayalı bulut tabanlı Kubernetes'e taşımaya karar verdik.
MetaDefender Bir Hizmet Mimarisi Olarak
MDaaS'a geçerken Multiscanning hizmetlerimiz Windows tabanlı AMI adresinden Kubernetes tabanlı bir kümeye taşındı. Yöneticiler artık motor başına ölçeklenebilirliği yapılandırabiliyor. Motorların performansı farklı olduğundan, daha yavaş olan motor(lar) hızlı tarama sürelerini korumak için ölçeklendirilebilir.
Dosya işleme akışı artık aşağıdaki gibidir:
1. Harici bir istek sahibinden gelen bir mesaj, AV1, AV2, vb. ile bir dosyanın taranması, Deep CDR ile sterilize edilmesi ve Sandbox ile dosyanın analiz edilmesi gibi istek talimatları içeren bir "istek" Kafka konusuna (1) gönderilir.
2. Bundan sonra, mesajları almak için abone olan bir Lambda çıkarıcı (2), isteği bir dizi farklı komuta böler ve bunları başka bir Kafka konusuna (3) gönderir, burada daha sonra sınıflandırılır ve ilgili motor (lar) a atanır. (4)
3. Motor işleme (4) sistemin kalbidir. Birkaç motor konteyneri içerir, Amazon Elastic Kubernetes Service (EKS) üzerinde çalışır ve iş yüküne bağlı olarak ölçeklendirme veya ölçeklendirme yeteneğine sahiptir. Her bir motor, işlem performansını artıran belirli bir isteği yerine getirir.
4. İşlem sırasında, girdi ve çıktı dosyalarını depolamak için bir S3 kovası (5) da kullanılır.
5. Aynı zamanda, mevcut bir günlük işleme modülü (6) motorlardan günlüğü alır ve bir günlük analiz sistemine gönderir.
6. Dosya işlendikten sonra, her motordan elde edilen sonuç "sonuçlar" Kafka konusuna döndürülür (7)
7. Daha sonra, AWS Lambda (8) kullanan bir mikro hizmet toplayıcısı sonuçları tek bir raporda birleştirir ve istek sahibine geri dönmek üzere bir Kafka konusuna (9) gönderir.
Teknik Zorluklar ve Çözümler
Motor davranışının ve kullanım anormalliklerinin tahmin edilmesi
Geleneksel MD Core AMI dağıtımı, motorların kaynakları (CPU, RAM, Disk, Ağ, vb.) birbirleriyle paylaşabilecekleri güçlü bir bilgisayarda çalışmasına olanak tanır. Ancak mikro hizmet mimarisi ile her bir motor daha az güçlü bir konteynerde ayrı ayrı çalışır. Dolayısıyla, bu durumda sistemin kaynak gereksinimlerini tanımlamak bizim için zordu.
Bu sorunu çözmek için, her bir motor için bir taban çizgisi belirlemek üzere eski sistemdeki geçmiş verileri kullandık ve Datadog izleme özelliğini ekledik. Ürün üstün performans elde edene kadar motorların davranışını izlemeye ve altyapıda ince ayarlar yapmaya devam ettik.
Performans ve barındırma maliyetleri arasındaki dengeyi korumak
Yeni mimari ile MetaDefender Cloud , müşterilerimizin sınırsız ihtiyaçlarına uyum sağlamak ve optimum seviyelerde performans göstermek için kolayca ölçeklendirilebilir. Bununla birlikte, bu aynı zamanda bakım maliyetinin de orantılı olarak artabileceği anlamına geliyordu. Harcama kontrolleri veya yönetişim modelleri olmadan, ölçeklendirme kontrol edilemez hale gelebilir ve bulut hizmeti faturalarının başlangıçta ayrılan bütçenin çok ötesinde artmasına neden olabilir.
Bu nedenle, istikrarlı ve dengeli maliyetlerle tutarlı bir deneyim sağlamak için paydaşlarla sık sık mimari incelemeler yapılmıştır.
Çevre simülasyonu
Gerçek canlı veriler olmadan bir üretim yükünü üretim dışı bir ortamda simüle etmek zorlu bir iştir. Bunun üstesinden gelmek için paralel iş akışları kurduk, böylece gerçek veriler hem eski hem de yeni mimarilerden geçerek her ikisinin de temel metriklerini yan yana değerlendirmemizi sağladı. Bu elmadan elmaya karşılaştırma, yeni mimarinin eskisinden üstün olduğu ve yeni mimarinin iyileştirilmesi gereken alanları hızlı ve etkili bir şekilde belirlememizi sağladı.
İzleme, Raporlama ve Kontrol
Gerçek zamanlı bulut altyapısı izleme
MetaDefender Cloud , sistem sağlığının net bir görünümünü sağlamak için sistemlerinde sağlam izleme oluşturmaya büyük önem vermektedir. MDaaS gibi saniyede 44'ten fazla isteği (RPS) %0,6 hata oranıyla işleyebilen, trafik kaynağı olarak çeşitli yukarı akış sistemlerine ve iş ortağı ekosistemlerine dayanan ve aynı anda farklı iç ve dış aşağı akış sistemleri için yoğun trafik üreten bir hizmet için güçlü bir ölçüm, uyarı ve günlük kaydı kombinasyonuna sahip olmak önemlidir.
Datadog'da ortamlara göre yüksek anormal trafikle ilgili uyarılar
CPU, bellek ve performans gibi standart sistem sağlığı ölçümlerine ek olarak, yukarı akış veya aşağı akış sistemlerinden kaynaklanan sapmaları yakalamak için kuyruktaki büyüme, hizmetin yanıt süresi, durum pastası ve günlük kaydı gibi birkaç "hizmet kenarı" ölçütü ekledik. Ayrıca, daha uzun vadeli bozulmaları yakalamaya yardımcı olmak için önemli metrikler için trend analizi ekledik. MDaaS'ı Datadog adlı gerçek zamanlı bir akış işleme uygulamasıyla enstrümante ettik ( buradan daha fazla bilgi edinebilirsiniz). Bu uygulama, olayları konteynere özgü ayrıntı düzeyinde gerçek zamanlı olarak izlememizi sağlayarak hata ayıklamayı kolaylaştırdı. Son olarak, sorunların temel nedenlerini daha hızlı belirlemeye yardımcı olmak için hizmete özel uyarılar almayı faydalı bulduk.
Datadog'da Saha Güvenilirlik Mühendislerinin dikkatini gerektiren istisnalarla ilgili olayların oluşturulması
Datadog platformuyla SaaS izleme, ekiplerin daha hızlı ve kolay bir şekilde işe başlamasını sağlar ve sürekli araç bakımı, kapasite ölçeklendirme, güncelleme veya yönetim ihtiyacını ortadan kaldırır. Bu avantajlar, ekiplerin temel ürün üzerinde çalışmaları ve kendi başlarına bir izleme çözümü oluşturmak zorunda kalmamaları için daha fazla zaman anlamına gelir.
Sonuçlar
- MDaaS'a geçerek, motor mikro hizmeti FedRAMP orta düzey temel güvenlik kontrolü gereksinimlerini karşılamaya yardımcı olmak için artık daha esnek.
- Uygulama performansının izlenmesi artık gerçek zamanlı uyarı ve gösterge tabloları ile geliştirilmiştir. Yeni mikro hizmet mimarisi, yöneticilerin uygulamayı ve her bir bileşeni kolay ve etkili bir şekilde izlemelerini sağlar. Ayrıca kolay dağıtım ve ölçeklenebilirliği de kolaylaştırıyor.
- Altyapı kod olarak tanımlandığı sürece, altyapının istenen durumda olmasını sağlarken kullanıcıların konfigürasyonları kolayca düzenlemesine ve dağıtmasına olanak tanır. Bu, tekrarlanabilir altyapı konfigürasyonları oluşturabileceğiniz anlamına gelir.
Hakkında daha fazla bilgi edinin MetaDefender Cloud veya daha fazla bilgi için bizimle iletişime geçin.
