Yapay zeka güvenliği üç farklı konuyu kapsar ve bunları bir tedarikçiyle görüşme sırasında değil, görüşmeden önce ayrı tutmak önemlidir. Saldırganlar, tehditleri oluşturmak ve yaygınlaştırmak için yapay zekayı kullanır. Savunma tarafı ise bu tehditleri tespit etmek ve bunlara müdahale etmek için yapay zekayı kullanır. Üçüncü bir kategori ise her ikisini de kapsar: Bir kuruluşun halihazırda kullandığı yapay zeka sistemlerinin, modellerin, eğitim verilerinin, RAG kaynaklarının ve ajanların güvenliğini sağlamak; bunların tümü, saldırganın yakınında olup olmadığına bakılmaksızın risk taşır. |
Önemli Çıkarımlar
- Yapay zeka güvenliği terimleri üç gruba ayrılır: saldırgan teknikleri, savunma yetenekleri ve yapay zeka sistemlerinin kendilerinin güvenliğini sağlamaya yönelik kurumsal risk; bunların birbirine karıştırılması, tedarikçilerle yapılan görüşmelerin yanlış bir yöne sapmasına yol açar
- Bir terimin “saldırgan teknik” mi yoksa “savunma yeteneği” mi olacağı, teknolojinin kendisinden ziyade yapay zekanın dosya, komut istemi veya veri kümesinin hangi tarafında hareket ettiğine bağlıdır
- Bir dosyanın temizlenmesi, içeriğinin doğru olduğunu doğrulamaz; yapay zeka tarafından üretilmiş içeriğin tespit edilmesi, sahtekarlığı kanıtlamaz ve dosya incelemesi, bir yapay zeka ajanın ne yapmaya yetkili olduğunu kapsamaz
Kendi teknolojimiz, bu terimlerin birçoğunda karşımıza çıkmaktadır: yapay zeka iş akışları öncesinde dosya ve içerik denetimi, MetaDefender Aether™ içindeki büyük dil modelleri (LLM) taraması ve bir yapay zeka modelinin kullanılıp kullanılmadığına bakılmaksızın geçerli olan hassas veri kontrolleri. Bu durum söz konusu olduğunda, söz konusu özelliği doğrudan adlandırıyoruz. Bir terimin, sektörde yaygın olarak kullanılan bir kısaltma olması ve bizim sistemimizde doğrudan bir karşılığı bulunmaması durumunda, bunun yerine bu ifade kullanılır.
Yapay Zeka Güvenliğinin Üç Anlamı
AI güvenlik terimleri, birbirleriyle nadiren örtüşen üç gruba ayrılır; ancak ilk ikisi dışarıdan bakıldığında aynı görünebilir. Saldırgan terimleri, AI tarafından üretilen kötü amaçlı yazılımlardan zehirlenmiş eğitim verilerine kadar, AI’nın saldırıları nasıl hızlandırdığını açıklar. Savunmacı terimleri ise, öngörücü ve yürütme öncesi tespitlerden hassas verilerin otomatik olarak gizlenmesine kadar, AI’nın tespit süreçlerini nasıl güçlendirdiğini açıklar. Bir saldırgan, ikna edici bir oltalama e-postasını saniyeler içinde oluşturmak için üretken bir model kullanır; bir savunmacı ise bunu yakalamak için binlerce gerçek oltalama girişimi üzerinde bir sınıflandırıcıyı eğitir. Aynı temel teknoloji, zıt amaçlar.
Üçüncü bir grup ise yapay zeka sistemlerinin kendisinde bulunan riskleri ele alır; model dosyaları, eğitim verileri ve kimlerin dahil olduğuna bakılmaksızın var olan ajanlar. Aşağıdaki terimleri birbirinden ayıran unsur, yapay zekanın dosya, komut satırı veya veri setinin hangi tarafında hareket ettiği ve riskin bir saldırganla ilgili olup olmadığıdır.
1. Saldırgan Tarafındaki Yapay Zeka Terimleri
Bu dokuz terim, saldırganların yapay zekayı nasıl kullandıklarını, yapay zeka tarafından yazılmış kötü amaçlı yazılımlardan kaynağında bozulmuş verilere kadar, açıklamaktadır. Her biri, güvenlik ekiplerinin halihazırda gözlemlediği gerçek kalıpları yansıtmaktadır.
Dönem | Açıklama | Sorulması gereken soru | opswat 'ın bu terimi nasıl kullandığı |
Yapay zeka tarafından üretilen kötü amaçlı yazılım | Yapay zeka yardımıyla üretilen, yapay zeka tarafından yazılmış veya yapay zeka tarafından değiştirilmiş kod. | Tespit işlemi bir imzaya mı, yoksa yapıya ve davranışa mı dayanır? | "Venak Security, 2026 yılında yirmi adet yapay zeka tarafından üretilmiş kötü amaçlı yazılım örneğine karşı dört ticari sanal ortamı test etti ve OPSWATadresindeki Adaptive Sandbox , %95 ile en yüksek başarı oranını kaydetti." |
Yapay zeka tarafından üretilen oltalama/sosyal mühendislik | Yapay zeka ile oluşturulan, geniş ölçekte ikna edici bir izlenim bırakmak üzere tasarlanmış oltalama saldırıları, ses klonlamaları ve deepfake videolar. | Algılama işlemi, bağlantıları ve içeriği gerçek zamanlı olarak mı kontrol ediyor, yoksa yalnızca iletim anında mı? | “Geleneksel dolandırıcılık yöntemlerinden farklı olarak, yapay zeka tarafından oluşturulan kimlik avı e-postaları son derece özenli ve inandırıcıdır.” |
Yapay zeka destekli saldırı | Sırf ara sıra bir kestirme yol olarak değil, keşif, yük oluşturma ve tespitten kaçınma gibi birçok aşamada yapay zekayı kullanan bir saldırı. | Bunu genel bir eğilimden ziyade belirli bir kampanyayla ilişkilendiren kanıt nedir? | "Hükümetler ayrıca, yapay zeka destekli saldırıların ne kadar hızlı yayıldığını hesaba katmak için yama yayınlama takvimlerini yeniden düzenliyorlar." |
Yapay zeka tarafından üretilen sıfırıncı gün | Yapay zekanın bir güvenlik açığını tespit etmek veya bunu bir istismara dönüştürmek için kullanılması, “Yapay zeka yeni bir kötü amaçlı yazılım yazdı” ifadesinden daha dar kapsamlı bir iddiadır. Yeni ortaya çıkan kötü amaçlı yazılımlar otomatik olarak sıfır gün saldırısı anlamına gelmez. | Bu iddia yeni bir güvenlik açığıyla mı ilgili, yoksa sadece yeni ve henüz tespit edilmemiş bir kötü amaçlı yazılımla mı? | "Predictive Alin AI, MetaDefender Aether'den alınan ve sanal ortamda doğrulanmış sıfır gün güvenlik açıkları üzerinde sürekli olarak eğitim görmektedir. Bu, yapay zeka tarafından üretilen ve daha önce hiç görülmemiş tehditlerin tespit edilmesine yardımcı olur." |
Yapay zeka destekli kötü amaçlı yazılımlara maruz kalma | Yapay zeka ile geliştirilen veya güçlendirilen kötü amaçlı yazılımlar, diğer tehditleri taşıyan aynı dosya, belge veya iş akışı girdileri yoluyla bir yapay zeka sistemine ulaşmaktadır. | Tespit sistemi, yapay zeka tarafından geliştirilen veya yönlendirilen kötü amaçlı yazılımları da yakalıyor mu, yoksa yalnızca daha önce görmüş olduğu imzaları mı tespit ediyor? | " Yapay zeka destekli kötü amaçlı yazılımlara ve dosya tabanlı saldırılara maruz kalma oranında önemli bir azalma." |
Karşıt Yapay Zeka/komut enjeksiyonu | Karşıt Yapay Zeka, özel olarak hazırlanmış girdi saldırılarının daha geniş bir kategorisidir; komut enjeksiyonu ise doğrudan yazılmak yerine, alınan bir belgede gizlenmiş talimatları da içeren, Büyük Dil Modelleri’ne özgü bir saldırı türüdür. | Kontrol, sadece kullanıcının yazdıklarını değil, modelin geri getirdiklerini de kontrol ediyor mu? | " Komut enjeksiyonu: Bir saldırgan, birleştirilmiş bir PDF dosyasının gizli ilk bölümüne gizli komutlar yerleştirir." |
Bez zehirlenmesi | Bir bilgi erişim sisteminin bilgi tabanını bozan hatalı belgeler. | İçerik, indekslemeden önce mi yoksa sadece indekslemeden sonra mı taranıyor? | "Yalnızca güvenilir ve ilke kurallarına uygun içeriğin arama sistemlerine ve vektör depolarına indekslenmesini sağlayarak, RAG zehirlenmesi riskini ve uzun vadeli bilgi manipülasyonunu azaltır." |
Veri zehirlenmesi | Bozuk eğitim verileri, saldırganların lehine olan model davranışına yol açmaktadır. | Eğitim verilerinin kaynağına ilişkin ne kadar şeffaflık mevcuttur? | "Eğitim verilerinin zehirlenmesi: Yapay zeka modellerini ince ayarlamak veya geliştirmek için kullanılan belgeler gizli bir bölüm içerebilir..." |
Yapay zeka iş akışlarında dosya kaynaklı kötü amaçlı yazılımlar | Yalnızca metin tabanlı yapay zeka güvenlik önlemlerini atlatan zararlı dosyalar. | Koruma çiti dosya içeriğini mi inceliyor, yoksa sadece çevresindeki metni mi? | "Yapay Zeka İş Akışlarında Dosya Kaynaklı Kötü Amaçlı Yazılımlar: Kötü amaçlı yükler, PDF’ler, Office belgeleri ve arşivler gibi yaygın iş dosyalarının içinde gizlenir." |
2. Savunma Tarafı Yapay Zeka Terimleri
Aşağıdaki terimler, bizim ve sektörün geri kalanının yapay zeka boru hatlarını korumak için yapay zekayı nasıl kullandığımızı açıklamaktadır. Bunların tümü, teknoloji yığınımızdaki belirli teknolojilere karşılık gelmektedir.
Dönem | Açıklama | Sorulması gereken soru | opswat 'ın bu terimi nasıl kullandığı |
Yapay zekâ tabanlı güvenlik/ Platform | Yapay zekanın (AI) bir ürünün mimarisinin merkezinde yer aldığını, sonradan eklenmiş bir unsur olmadığını belirten bir satıcı konumlandırma terimi. MetaDefender Aether™, bu konudaki örneğimizdir: Predictive Alin AI, ek bir özellik olarak değil, özel bir algılama katmanı olarak çalışır. | Yapay zeka katmanı diğer tüm sinyallerle çeliştiğinde ne olur? | "Yapay zeka tabanlı platformlar, herhangi bir modern yazılım yığınına uygulanan titizlikle değerlendirilmelidir..." |
Yapay zeka destekli algılama modeli | Analistler uyarıları birbiriyle ilişkilendirip hangilerinin gerçekten zararlı olduğuna karar verirken, davranışsal anormallikleri incelemeye alınmak üzere işaretleyen bir tespit modeli. | Model, incelenmesi gereken anormallikleri işaretliyor mu, yoksa bunlara doğrudan müdahale ediyor mu? | " Yapay zeka destekli algılama modelleriyle[MetaDefender NDR ], ağ davranışlarını sürekli olarak analiz ederek, saldırı döngüsünün daha erken aşamalarında saldırgan faaliyetlerine işaret edebilecek ince anomalileri tespit eder." |
Yapay zeka ile içerik denetimi/ tespit | AI tarafından üretilen içerikleri ve belge sahteciliğini tespit eden AI İçerik Denetleyicimiz. | AI tarafından üretilen içeriği otomatik olarak sahte olarak işaretliyor mu, yoksa bir denetçiye sunuluyor mu? | "AI Content Inspector, OPSWAT adresinde yer alan, resimler, PDF’ler ve metin içeren dosyalar için yapay zeka destekli içerik özgünlüğü ve belge sahteciliği tespit motorudur." |
Otonom triyaj | Tam soruşturma yetkisi yerine, tanımlanmış politika sınırları dahilinde uyarı ön elemesinin devredilen bir kısmını üstlenen yapay zeka; örneğin, bir vakayı detaylandırma veya bir öncelik önerisinde bulunma gibi. | Yapay zeka hangi kararı veriyor ve neyi öneriyor? | "...kurum, şüpheli dosyaları kontrollü bir ortamda ön elemeden geçirmek iç OPSWAT’ın MetaDefender Aether ürününü devreye aldı." |
Açıklanabilir Yapay Zeka (XAI) | Bir kararın ardındaki kanıtlar, katkıda bulunan sinyaller ve sınırlamalar; sadece bir güven puanı değil. Bir puan, bir olasılıktır, bir açıklama değildir. | Bu rakamın arkasında hangi kanıtlar yatıyor? | "Yapay zeka denetim araçları, yorumlanabilirlik çerçeveleri ve açıklanabilir yapay zeka (XAI) teknikleri, kara kutu karar verme sürecine ilişkin endişeleri hafifletmeye yardımcı olur." |
Yapay zeka güvenliği ağ geçidi | MetaDefender™ Platform Guardrails for LLMs, dosyaları ve komut istemlerini bir LLM’ye ulaşmadan önce tarar. | İçerik modele ulaşmadan önce mi denetlenir, yoksa sadece ulaştıktan sonra mı? | "MetaDefender Core , bir yapay zeka güvenlik ağ geçidi işlevi görür; dosya yüklemesinden, RAG verilerinin sisteme alınmasından, araçların çalıştırılmasından ve verilerin güven sınırını aşmasından önce içeriği inceler ve temizler." |
Tahmine Dayalı Yapay Zeka | Predictive Alin AI, bir dosya çalıştırılmadan önce kötü niyetli amaçları öngörür (Katman 2: MetaDefender Aether’da Statik Analiz). | Yanlış pozitif oranı nedir ve hangi veri kümesine göre hesaplanmıştır? | "Motor, MetaDefender Platformu genelinde doğruluk ve sorunsuz entegrasyon için optimize edilmiştir; bu sayede, yapay zeka tabanlı öngörücü tehdit algılama özelliği, diğer denetim teknolojileriyle birlikte çalışabilmektedir." |
Yapay zeka destekli dosya türü algılama | Sahte dosyaları tespit eden File Type Detection™ teknolojimiz. | Bu işlem aynı anda mı gerçekleşir, yoksa gecikmeye neden olur mu? | "Yapay zeka destekli algılama, bir dosyanın gerçek türünü belirlemek için yapısını ve içeriğini analiz ederek geleneksel doğrulama yöntemlerinin bıraktığı boşlukları doldurur." |
Yapay zeka destekli DLP | 125'ten fazla dosya türünde Kişisel Tanımlanabilir Bilgileri (PII), Sağlıkla İlgili Kişisel Bilgileri (PHI) ve PCI bilgilerini gizleyen Proactive DLP™ teknolojimiz. | İçerik sansürlenmesi, yükleme işlemi tamamlanmadan önce mi yoksa sonra mı gerçekleşir? | “Dosyaların daha ayrıntılı bir inceleme gerektirdiği durumlarda, OPSWATadresindeki emülasyon tabanlı Adaptive Sandbox , dosyaların davranışını gerçek zamanlı olarak analiz eder. Yapay zeka destekli Proactive DLP™, ePHI ve diğer hassas içerikleri tespit edip engeller veya gizler; böylece HIPAA ve GDPR yükümlülüklerinin yerine getirilmesine yardımcı olur.” |
İçeriğin zararsız hale getirilmesi ve yeniden yapılandırılması | Bir dosyadan aktif içeriği ayıran ve imza kullanmadan 200’den fazla formatta temiz bir sürüm oluşturan Deep CDR™ Teknolojimiz, yapay zekaya özgü denetimlerin yanı sıra büyük dil modelleri (LLM’ler) için belirlenen sınırlar içinde çalışmaktadır. | Dosya, temizleme işleminden sonra hâlâ normal şekilde çalışıyor mu? | "OPSWAT'ın Deep Content Disarm and Reconstruction dosya temizleme teknolojisi, dosyaları tarar, zararlı içeriği kaldırır ve %100 doğrulukla güvenli ve kullanılabilir dosyalar oluşturur." |
Çoklu Tarama | Bir dosyayı aynı anda 30'dan fazla kötü amaçlı yazılım önleme motorundan geçirebilir. Yapay zekâya özgü bir özellik değildir, ancak büyük dil modelleri (LLM) yığını için uygulanan aynı güvenlik önlemlerinin bir parçasıdır ve yapay zekâ tabanlı katmanların ele almak üzere tasarlanmadığı bilinen tehditleri tespit eder. | Mevcut yapılandırmada kaç adet motor çalışıyor? | "Denetim hat üzerinde gerçekleştirildiğinde, çoklu tarama özelliği bir e-posta ekini teslim edilmeden önce birden fazla kötü amaçlı yazılım önleme motoruyla değerlendirebilir." |
3. Yapay Zeka Sistemlerinin Güvenliğinin Sağlanması
Bu terimler, ne “saldırı” ne de “savunma” kategorisine tam olarak uymaktadır. Bu terimler, bir saldırganın olup olmadığına bakılmaksızın, bir kuruluşun kendi yapay zeka sistemlerini nasıl kurduğu, yönettiği ve birbirine bağladığına bağlı olarak ortaya çıkan riski tanımlamaktadır.
Dönem | Açıklama | Sorulması Gereken Soru | opswat 'ın bu terimi nasıl kullandığı |
Yapay zeka ajanlarının güvenliğinin sağlanması | Bir ajanın onay almadan neler yapabileceğini, nelere erişebileceğini ve hangi eylemlerde bulunabileceğini belirlemek. OWASP’ın 2026 LLM Top 10 listesinde üçüncü sırada yer alan “Aşırı Yetki” riski, tam da bu üç zayıf noktayı işaret etmektedir. | Bir insan, herhangi bir işlem yürütülmeden önce çıktıyı görebilir mi? | "Güvenlik ekipleri, otonom yapay zeka ajanlarının saldırılarına karşı nasıl savunma yapabilir?" |
Yapay zeka modeli ve tedarik zinciri güvenliği | Bir yapay zeka sisteminin dayandığı dosya ve bileşenlerdeki riskler; güvenliği ihlal edilmiş önceden eğitilmiş bir model, eğitim boru hattındaki güvenlik açığı bulunan bir paket. LLM Taramamız, bir modelin çalışmaya başlamadan önce yapısını inceler ve dağıtılmış davranışını saldırgan komutlarla test ederken, SBOM ve MetaDefender Software Supply Chain benzer incelemeyi, bir AI iş akışının dayandığı daha geniş bileşen kümesine genişletir. | Model dosyasının kendisi mi inceleniyor, yoksa yalnızca çalışma zamanında işlediği veriler mi? | "LLM Modelleri ve ' Supply Chain ' Tehditlerini Önleyin: Açık kaynaklı LLM'leri, model dosyalarını ve ilgili bileşenleri, kurumsal yapay zeka ortamlarına dahil edilmeden önce kötü amaçlı yazılım, zararlı içerik ve hassas veriler açısından tarayın." |
Yapay Zeka/Makine Öğrenimi eğitim verilerinin güvenliği | Verilerin işleme alınmasından önce, yapay zeka ve analitik iş akışlarına beslenen eğitim kümelerini, RAG kaynaklarını ve veri gölü içeriğini doğrulamak; bozuk veya güvenilir olmayan veriler, güvenliği ihlal edilmiş bir bağımlılık gibi modeli saptırır. | Veriler göle girmeden önce mi taranıyor, yoksa ancak bir model bu verilerle eğitildikten sonra mı? | "AI/ML Eğitim Verileri: AI modellerini, LLM'leri ve RAG uygulamalarını eğitmek için kullanılan verileri, AI iş akışlarına yalnızca güvenilir belgelerin, kodların, veri kümelerinin ve bilgi havuzlarının girmesini sağlayarak koruyun." |
Yapay zeka yoluyla hassas verilerin ifşa edilmesi | Depoda halihazırda bulunan gizli, düzenlemelere tabi veya özel veriler, Copilot gibi bir yapay zeka asistanı bu verileri okuyup bir yanıtta ortaya çıkarabildiğinde yeni bir şekilde erişilebilir hale geliyor. | Kontrol mekanizması, yapay zeka asistanının okuma erişimi elde etmeden önce mi, yoksa ancak bundan sonra mı hassas verileri sınıflandırıyor ve kısıtlıyor? | "Sektöre özgü ortamlar için tasarlanmış, önleme odaklı çok katmanlı güvenlik yaklaşımıyla kritik yapay zeka iş akışlarını güvenilmez verilerden, kötü niyetli modellerden ve hassas verilerin ifşasından koruyun." |
Açıkça belirtilmesi gereken birkaç sınırlama: Bir belgenin temizlenmesi, içeriğinin doğru olduğunu doğrulamaz; yapay zeka tarafından üretilmiş içeriğin tespit edilmesi tek başına bir sahtekarlığı kanıtlamaz; dosya incelemesi ise bir temsilciye geniş yetki verilmesinden kaynaklanan her türlü riski kapsamaz. Yukarıdaki her bir terim, sorunun belirli bir kısmını çözer; riskin tamamını değil.
Bu Koşulların Günlük İş Hayatında Nerede Karşılaşıldığı
Aşağıdaki tabloda, günlük hayatta sık karşılaşılan durumlar ile bu durumları çözen “ OPSWAT ” teknolojisi arasında bir eşleştirme yapılmıştır.
Günlük iş akışı | İhtiyacınız olan şeyler | OPSWAT ’ın konuyla ilgili bağlantısı |
Belgeler, asistanlara veya RAG iş akışlarına girer | İşleme veya indekslemeye başlamadan önce dosyaları denetleyin ve ilkeyi uygulayın | MetaDefender Core ve Büyük Dil Modelleri (LLM) için Koruyucu Önlemler |
Gizli dosyalar yapay zeka hizmetlerine yüklenir | Hassas verileri tespit edin, sistemden çıkmadan önce engelleyin veya gizleyin | Proactive DLP, kaynak: MetaDefender ICAP Server |
Takımlar, üçüncü taraf yapay zeka modellerini kullanmaya başlıyor | Model dosyalarını inceleyin ve devreye alınmış davranışını test edin | MetaDefender Aether’ın LLM Taraması: statik ve dinamik analizler |
Faturalar, talepler veya görseller onay sürecini etkiler | Yapay zeka tarafından üretilen içerik ve dolandırıcılık göstergelerini tespit etmek | AI Content Inspector’ın bulguları bu incelemeyi desteklemektedir |
AI proje dosyaları ekipler arasında aktarılır veya depoda tutulur | Aktarım ve depolama iş akışlarında denetim uygulayın | MetaDefender Managed File Transfer ve MetaDefender Storage Security |
Uygulamada Nasıl Çalıştığını Görün
Burada ele alınan birçok terimin ardındaki teknolojiyi biz geliştiriyoruz; Predictive Alin AI’nın “ MetaDefender ” Aether’deki “Pre-Execution Detection” özelliğinden, AI Content Inspector’ın içerik özgünlük kontrollerine ve “ Proactive DLP ” teknolojisinin hassas veri sansürleme işlevine kadar. Bu teknolojilerin kendi verileriniz, modelleriniz ve LLM iş akışlarınızda nasıl uygulandığını inceleyin.
Yeni bir araştırma, bu terimlerin ifade ettiği içeriği doğruluyor. Osterman Research tarafından yürütülen OPSWAT’in 2026 Kurumsal Dosya Güvenliği Raporu, yetkinlik ile güven arasında ciddi bir uçurum olduğunu ortaya koydu: Güvenlik liderlerinin %73,6’sı dosya güvenliklerini “çok” veya “son derece” olgun olarak değerlendiriyor; ancak hiçbir kuruluşun kanıtları en üst iki kademede yer almıyor ve %94,5’i kendilerini, fiili uygulamalarının desteklediğinden daha yüksek bir seviyede değerlendiriyor.
Bu uçurum hızla genişliyor: Yapay zeka destekli savunma sistemlerini atlatabilen, yapay zeka kaynaklı tehditlere ilişkin endişeler geçtiğimiz yıl %87 oranında arttı. Bu durum belirli teknolojilerde de göze çarpıyor: Yukarıda ele alınan iki terim olan “İçerik Silahsızlandırma ve Yeniden Yapılandırma” (Content Disarm and Reconstruction) ile “İçerik Silahsızlandırma ve Yeniden Yapılandırma” ( Multiscanning), araştırmada önleme odaklı uygulamalar arasında en az olgunlaşmış olanlar arasında yer aldı; bu uygulamaların sadece %22,9’u ve %25,9’u “son derece olgun” olarak değerlendirildi.
SSS
Güvenlik terimleri olarak “saldırgan”, “savunmacı” ve “yapay zeka sistemleri” arasındaki fark nedir?
Saldırgan terimleri, yapay zekanın saldırıları nasıl hızlandırdığını açıklar; örneğin, yapay zeka tarafından üretilen kötü amaçlı yazılımlar veya veri zehirleme gibi. Savunmacı terimleri ise yapay zekanın algılamayı nasıl güçlendirdiğini açıklar; örneğin, öngörücü algılama, yürütme öncesi algılama veya yapay zeka destekli DLP gibi. Yapay zeka sistemleri güvenlik terimleri, saldırganın dahil olup olmadığına bakılmaksızın var olan, yapay zeka sistemlerinin kendisinde, model dosyalarında, ajanlarda ve eğitim verilerinde bulunan riskleri tanımlar. Aynı temel teknikler birden fazla grupta yer alabilir; bu nedenle gruplandırma, kimin eylemde bulunduğu ve gerçekte neyin risk altında olduğuna bağlıdır.
Kontrol, orijinal dosyaları, çıkarılan metinleri, model çıktılarını mı yoksa canlı model yanıtlarını mı inceliyor?
Bunlar dört farklı denetim noktasıdır ve “AI güvenliği” sunduğunu iddia eden bir tedarikçi, bunlardan yalnızca birini kapsıyor olabilir. Diğerlerinin de dahil olduğunu varsaymadan önce, tam olarak hangisini kapsadığını sorun.
Denetim nerede gerçekleştiriliyor ve iş akışı içeriği sadece işaretlemekle kalmayıp, engelleyebilir veya karantinaya alabilir mi?
Uygulama noktası olmadan yapılan algılama, riskli içeriğin yine de geçmesine izin verir. Kontrolün, içerik hareket etmeden önce “inline” olarak mı uygulandığını yoksa sadece olay gerçekleştikten sonra raporlama yapıp yapmadığını doğrulayın.
Dosya ve içerik denetiminin ötesinde, hangi riskler için ek uygulama, kimlik veya aracı denetimleri gereklidir?
Ajan izinleri, kimlik yönetimi ve dosya düzeyinde inceleme, genellikle aynı güvenlik yığını içinde bile ayrı araçlar tarafından yürütülür. Yalnızca kapsamda neler olduğunu değil, açıkça kapsam dışında kalanların neler olduğunu da sorun.
