Giriş

Kurum içi belgeleri özetleyen bir yapay zekâ asistanı hangi dosyaları görebilir? Bir güvenlik alarmını yorumlayan sistem, kendi kararıyla kullanıcı hesabını kapatabilir mi? Yapay zekâ sistemlerinde güvenlik, bu tür veri erişimi ve işlem yetkisi sorularını daha tasarım aşamasında yanıtlamayı gerektirir.

Modelin doğruluğu kadar, hangi verilerle çalıştığı, dışarıdan gelen içeriği nasıl işlediği ve bağlı sistemlerde neler yapabildiği de önemlidir. Bu yazı özellikle üretken yapay zekâ, büyük dil modelleri (LLM), kurumsal bilgi asistanları ve araç kullanabilen ajanlara odaklanıyor.

Benim önerim, yapay zekâ projesinin iş değerini tanımlarken kabul edilebilir hata sınırlarını ve güvenlik sorumluluklarını da belirlemektir. NIST AI Risk Management Framework, riskleri tasarım, geliştirme, kullanım ve değerlendirme boyunca ele almak için bir çerçeve sunar.

Ana bölüm

1. Kullanım amacını ve karar sınırlarını belirleyin

Bir dokümanı özetlemek ile finansal işlemi onaylamak farklı sonuçlar doğurur. Güvenlik tasarımı, sistemin görevini ve hatalı bir çıktının iş üzerindeki etkisini dikkate almalıdır.

Proje başlamadan önce şu soruların yanıtı yazılı olmalıdır:

Sistem hangi işi yapacak, hangi işleri yapamayacak?
Hangi veri kaynaklarına erişecek?
Yalnızca öneri mi sunacak, işlem de yapabilecek mi?
Yanlış kararın etkisi ne olacak?
Sistemden ve risk kabulünden kim sorumlu olacak?

Örneğin, yardım masası kayıtlarını sınıflandıran bir sistemin başarısı ile üretim ortamında yapılandırma değiştiren bir ajanın başarısı aynı ölçütlerle değerlendirilemez. İkincisinde yanlış işlemin etkisi ve müdahale imkânı ayrıca incelenmelidir.

2. Veri erişiminde kullanıcının yetkisini koruyun

Kurumsal bilgi asistanlarında sık kullanılan RAG yaklaşımı, modelin yanıt üretirken dış bir bilgi kaynağından ilgili içerikleri almasını sağlar. Bu yapıda arama ve doküman erişimi, kullanıcının yetkileriyle sınırlandırılmalıdır.

OWASP'ın vektör ve gömme riskleri rehberi, bu alandaki erişim ve veri ayrıştırma sorunlarını ele alır. Çalışanın doğrudan açamadığı bir belge, asistanın yanıtıyla dolaylı olarak da sunulmamalıdır.

Örneğin, genel bir politika sorusu soran çalışan, başka bir birime ait gizli sözleşmenin içeriğini yanıtın içinde görmemelidir. Yetki kontrolü, içerik modele gönderilmeden önce uygulanmalıdır.

Harici model hizmetlerinde de verinin nerede işlendiği, ne kadar saklandığı ve eğitim amacıyla kullanılıp kullanılmadığı incelenmelidir. Kurum içinde barındırmak ise erişim, kayıt ve bakım sorumluluklarını ortadan kaldırmaz.

3. Dış içeriğin model davranışını etkileyebileceğini hesaba katın

Bir web sayfası, belge veya e-posta, modeli görevinden saptırmaya çalışan talimatlar içerebilir. Dış kaynaklı içerik üzerinden yapılan bu yönlendirme, dolaylı prompt injection olarak adlandırılır.

OWASP, RAG veya ince ayarın bu riski tamamen gidermediğini belirtir. Bu nedenle yalnızca sistem istemine “kurallara uy” yazmak yeterli bir güvenlik sınırı oluşturmaz.

Uygulama, dış içeriği güvenilmeyen veri olarak ele almalı; veri erişimi ve işlem izinlerini modelin yorumundan bağımsız uygulamalıdır. Girdi filtreleri ve koruma katmanları yardımcı olabilir, ancak tek başlarına tam koruma garantisi vermez.

4. Ajanın yetkisini işin gereğiyle sınırlandırın

Araç kullanan bir ajan için hangi işlemlerin mümkün olduğu açıkça tanımlanmalıdır. OWASP'ın aşırı yetki ve özerklik rehberi, gereksiz işlevlerin ve izinlerin sınırlandırılmasını, yüksek etkili işlemlerde insan onayını önerir.

Bir SOC asistanı düşünelim. Sistem, şüpheli oturumu inceleyip analiste öneri sunabilir. Üretim sunucusunu ağdan ayırma yetkisi verilecekse ayrıca işlem kapsamı, onay, geri dönüş ve yetkinin iptali tasarlanmalıdır.

Örnek bir başlangıç modeli:

Asistan, olay verisini okuyabilir ve öneri hazırlayabilir.
Yetkili analist, hedefi ve önerilen işlemi inceleyebilir.
Onay yalnızca belirli işleme, hedefe ve süreye bağlanır.
İşlem anında arka uç sistemleri yetkiyi yeniden kontrol eder.

Modelin “bu işlem onaylandı” demesi, uygulama için geçerli bir yetkilendirme kanıtı olmamalıdır.

5. Çıktının kullanımını da güvenlik tasarımına katın

Akıcı bir yanıt, içeriğin doğruluğunu garanti etmez. Model çıktısı bir komuta, sorguya veya otomatik karara dönüşecekse ek kontroller gerekir.

Örneğin, bir asistanın önerdiği güvenlik duvarı kuralı uygulanmadan önce kaynak, hedef, servis ve iş gerekçesi doğrulanmalıdır. Kuralın mevcut erişimlere etkisi test edilmelidir.

Modelin ürettiği kod veya sorgular için de girdi doğrulama, parametreli sorgular ve güvenli yürütme ortamları gibi uygulama güvenliği kontrolleri korunmalıdır. Bu risk alanları OWASP LLM Top 10 kapsamında da ele alınır.

6. Model ve veri tedarik zincirini izleyin

Kullanılan model, veri kümeleri, kütüphaneler ve bağlantı araçları birer bağımlılıktır. OWASP'ın tedarik zinciri rehberi, bu bileşenlerin güvenliğinin değerlendirilmesini önerir.

Kurum, hangi model ve bileşen sürümünün üretimde olduğunu bilmelidir. Kaynağı belirsiz bir model dosyası veya doğrulanmamış veri, kontrollü incelemeden geçmeden üretime alınmamalıdır.

Bilgi tabanına belge ekleme yetkisi de önemlidir. Değişikliklerin sahibi ve geçmişi izlenebilmeli; güvenilir bilginin kasıtlı olarak bozulması ihtimali değerlendirilmelidir.

7. Yayına çıkmadan önce test edin, sonrasında izleyin

Test planına normal kullanım örnekleriyle birlikte sınır durumları da ekleyin:

Kullanıcı yetkisi dışındaki bir belgeyi istediğinde ne oluyor?
Harici bir belge görevi değiştirmeye çalıştığında sistem nasıl davranıyor?
Yanlış öneri üretildiğinde insan bunu fark edip durdurabiliyor mu?
Ajan tekrarlayan çağrılar yaptığında süre ve maliyet sınırları çalışıyor mu?
Model veya bilgi kaynağı değiştiğinde önceki kontroller geçerliliğini koruyor mu?

Üretimde model sürümü, erişilen kaynaklar, araç çağrıları ve onay kararları izlenebilmelidir. Kayıtlar da hassas veri içerebileceğinden erişim ve saklama kuralları belirlenmelidir.

Bir güvenlik olayı veya kabul edilemez hata durumunda otomasyonun nasıl durdurulacağı, yetkilerin nasıl kaldırılacağı ve önceki sürüme nasıl dönüleceği önceden hazırlanmalıdır.

Sonuç

Yapay zekâ sistemlerinde güvenlik; veriye erişimi, model davranışını, bağlı araçların yetkilerini ve insanın karar sürecindeki rolünü birlikte tasarlamayı gerektirir. Sistemin ne yapabildiği kadar, hangi işlemleri yapmasının teknik olarak engellendiği de açıklanabilmelidir.

Başlamak için tek bir kullanım senaryosu seçin ve şu dört unsuru belgeleyin: erişilen veri, izin verilen işlemler, insan onayı gereken kararlar ve sistemi durdurma yöntemi. Ardından bu sınırları test ortamında doğrulayın.

Bu çalışma, yapay zekâdan beklenen faydayı kurumun kabul edebileceği risklerle ilişkilendiren somut bir başlangıç sağlar.

LLM

AI Security

18 October 2026

5 min

Security in AI Systems

Recent Posts

Security in AI Systems

Categories

Tags

Technical Depth Strategic Vision