MetaDefender Cloud Hakkında
MetaDefender Cloud , OPSWATbulut tabanlı, gelişmiş tehdit önleme ve kötü amaçlı yazılım analiz platformudur. Deep CDR™ Teknolojisi ile 20'den fazla en iyi AV Multiscanning benzersiz bir şekilde bir araya getiren platformumuz, kuruluşları sıfır gün saldırılarından ve giderek daha sofistike hale gelen kötü amaçlı yazılımlardan korur. MetaDefender Cloudsanal alanı, OPSWATdünya standartlarında tehdit istihbarat veritabanını kullanan gerçek zamanlı hash, IP ve etki alanı analizi ile birleştirilerek kötü amaçlı yazılım araştırmacılarına yardımcı olur ve mevcut ve potansiyel tehditler hakkında derinlemesine bir anlayış sağlar.
MetaDefender Cloud platformu şu anda müşterilerimizden gelen günde 5 milyondan fazla tarama talebini desteklerken, onlara ortalama 0,4 saniyelik bir tarama süresi sunuyor.
Neden MetaDefender as a Service'i (MDaaS) geliştirdik?
Pazarın gereksinimlerini karşılamak ve müşterilerimizi daha iyi desteklemek için
MetaDefender Cloud 'un değişen gereksinimleri, gelişmiş uygulama güvenliği hizmetlerine yönelik artan ihtiyacı ve daha fazla uygulama buluta taşındıkça DevOps Güvenliğinin artan karmaşıklığını karşılayacak şekilde ölçeklenebilmesini sağlamak istedik. Dosya trafiğindeki artışla birlikte, son müşterilerimize sorunsuz bir kullanıcı deneyimi sağlamak için MetaDefender Cloud 'un performansını koruması ve geliştirmesi bir gereklilikti.
İzleme ve tahmine dayalı ölçeklendirmeyi geliştirmek için
Mevcut dağıtım ve izleme modeli üzerinde sorunsuz ve tutarlı bir deneyim sunabilmek için şirket içi mimarimizi kod olarak altyapı ile mikro hizmetlere dayalı bulut tabanlı Kubernetes'e taşımaya karar verdik.
MetaDefender Bir Hizmet Mimarisi Olarak
MDaaS'a geçerken Multiscanning hizmetlerimiz Windows tabanlı AMI adresinden Kubernetes tabanlı bir kümeye taşındı. Yöneticiler artık motor başına ölçeklenebilirliği yapılandırabiliyor. Motorların performansı farklı olduğundan, daha yavaş olan motor(lar) hızlı tarama sürelerini korumak için ölçeklendirilebilir.
Dosya işleme akışı artık aşağıdaki gibidir:
1. Harici bir talep sahibinden gelen mesaj, “request” adlı Kafka konusuna (1) gönderilir; bu mesajda, bir dosyanın AV1, AV2 vb. ile taranması, Deep CDR™ Teknolojisi ile temizlenmesi ve Sandbox ile analiz edilmesi gibi talep talimatları yer alır.
2. Ardından, mesajları almak üzere abone olan bir Lambda çıkarıcı (2), isteği bir dizi farklı komuta böler ve bunları başka bir Kafka konusuna (3) gönderir; burada komutlar sınıflandırılır ve ilgili motor(lar)a atanır. (4)
3. İşleme motoru (4), sistemin kalbidir. Birkaç motor konteyneri içerir, Amazon Elastic Kubernetes Service (EKS) üzerinde çalışır ve iş yüküne göre kapasiteyi artırma veya azaltma yeteneğine sahiptir. Her motor, işleme performansını artıran belirli bir isteği işler.
4. Bu süreçte, giriş ve çıkış dosyalarını depolamak için bir S3 kovası (5) da kullanılır.
5. Aynı zamanda, hazır bulunan bir günlük işleme modülü (6), motorlardan gelen günlüğü alır ve bunu bir günlük analiz sistemine iletir.
6. Dosya işleme işlemi tamamlandıktan sonra, her bir motordan elde edilen sonuç “results” adlı Kafka konusuna gönderilir (7)
7. Ardından, AWS Lambda’yı kullanan bir mikro hizmet toplayıcı (8), sonuçları tek bir raporda birleştirir ve bunu bir Kafka konusuna (9) göndererek talep sahibine geri bildirir.
Teknik Zorluklar ve Çözümler
Motor davranışının ve kullanım anormalliklerinin tahmin edilmesi
Geleneksel MD Core AMI dağıtımı, motorların kaynakları (CPU, RAM, Disk, Ağ, vb.) birbirleriyle paylaşabilecekleri güçlü bir bilgisayarda çalışmasına olanak tanır. Ancak mikro hizmet mimarisi ile her bir motor daha az güçlü bir konteynerde ayrı ayrı çalışır. Dolayısıyla, bu durumda sistemin kaynak gereksinimlerini tanımlamak bizim için zordu.
Bu sorunu çözmek için, her bir motor için bir taban çizgisi belirlemek üzere eski sistemdeki geçmiş verileri kullandık ve Datadog izleme özelliğini ekledik. Ürün üstün performans elde edene kadar motorların davranışını izlemeye ve altyapıda ince ayarlar yapmaya devam ettik.
Performans ve barındırma maliyetleri arasındaki dengeyi korumak
Yeni mimari ile MetaDefender Cloud , müşterilerimizin sınırsız ihtiyaçlarına uyum sağlamak ve optimum seviyelerde performans göstermek için kolayca ölçeklendirilebilir. Bununla birlikte, bu aynı zamanda bakım maliyetinin de orantılı olarak artabileceği anlamına geliyordu. Harcama kontrolleri veya yönetişim modelleri olmadan, ölçeklendirme kontrol edilemez hale gelebilir ve bulut hizmeti faturalarının başlangıçta ayrılan bütçenin çok ötesinde artmasına neden olabilir.
Bu nedenle, istikrarlı ve dengeli maliyetlerle tutarlı bir deneyim sağlamak için paydaşlarla sık sık mimari incelemeler yapılmıştır.
Çevre simülasyonu
Gerçek canlı veriler olmadan bir üretim yükünü üretim dışı bir ortamda simüle etmek zorlu bir iştir. Bunun üstesinden gelmek için paralel iş akışları kurduk, böylece gerçek veriler hem eski hem de yeni mimarilerden geçerek her ikisinin de temel metriklerini yan yana değerlendirmemizi sağladı. Bu elmadan elmaya karşılaştırma, yeni mimarinin eskisinden üstün olduğu ve yeni mimarinin iyileştirilmesi gereken alanları hızlı ve etkili bir şekilde belirlememizi sağladı.
İzleme, Raporlama ve Kontrol
Gerçek zamanlı bulut altyapısı izleme
MetaDefender Cloud , sistem sağlığının net bir görünümünü sağlamak için sistemlerinde sağlam izleme oluşturmaya büyük önem vermektedir. MDaaS gibi saniyede 44'ten fazla isteği (RPS) %0,6 hata oranıyla işleyebilen, trafik kaynağı olarak çeşitli yukarı akış sistemlerine ve iş ortağı ekosistemlerine dayanan ve aynı anda farklı iç ve dış aşağı akış sistemleri için yoğun trafik üreten bir hizmet için güçlü bir ölçüm, uyarı ve günlük kaydı kombinasyonuna sahip olmak önemlidir.
Datadog'da ortamlara göre yüksek anormal trafikle ilgili uyarılar
CPU, bellek ve performans gibi standart sistem sağlığı ölçümlerine ek olarak, yukarı akış veya aşağı akış sistemlerinden kaynaklanan sapmaları yakalamak için kuyruktaki büyüme, hizmetin yanıt süresi, durum pastası ve günlük kaydı gibi birkaç "hizmet kenarı" ölçütü ekledik. Ayrıca, daha uzun vadeli bozulmaları yakalamaya yardımcı olmak için önemli metrikler için trend analizi ekledik. MDaaS'ı Datadog adlı gerçek zamanlı bir akış işleme uygulamasıyla enstrümante ettik ( buradan daha fazla bilgi edinebilirsiniz). Bu uygulama, olayları konteynere özgü ayrıntı düzeyinde gerçek zamanlı olarak izlememizi sağlayarak hata ayıklamayı kolaylaştırdı. Son olarak, sorunların temel nedenlerini daha hızlı belirlemeye yardımcı olmak için hizmete özel uyarılar almayı faydalı bulduk.
Datadog'da Saha Güvenilirlik Mühendislerinin dikkatini gerektiren istisnalarla ilgili olayların oluşturulması
Datadog platformuyla SaaS izleme, ekiplerin daha hızlı ve kolay bir şekilde işe başlamasını sağlar ve sürekli araç bakımı, kapasite ölçeklendirme, güncelleme veya yönetim ihtiyacını ortadan kaldırır. Bu avantajlar, ekiplerin temel ürün üzerinde çalışmaları ve kendi başlarına bir izleme çözümü oluşturmak zorunda kalmamaları için daha fazla zaman anlamına gelir.
Sonuçlar
• MDaaS’a geçiş sayesinde, motor mikro hizmeti artık FedRAMP orta düzey temel güvenlik kontrol gerekliliklerinin karşılanmasına yardımcı olmak için daha esnek hale gelmiştir.
• Uygulama performans izleme özelliği artık gerçek zamanlı uyarılar ve gösterge panelleriyle geliştirilmiştir. Yeni mikro hizmet mimarisi, yöneticilerin uygulamayı ve her bir bileşeni kolay ve etkili bir şekilde izlemesini sağlar. Ayrıca, kolay dağıtım ve ölçeklenebilirlik imkânı sunar.
• Altyapı “kod olarak” tanımlandığında, kullanıcıların yapılandırmaları kolayca düzenleyip dağıtabilmelerini sağlarken, altyapının istenen durumunu da garanti eder. Bu, tekrarlanabilir altyapı yapılandırmaları oluşturabileceğiniz anlamına gelir.
Daha fazla bilgi edinmek için MetaDefender Cloud veya daha fazla bilgi için bizimle iletişime geçin.
