Yapay zeka pilotları neden üretime çıkamıyor?

Sektörde tekrarlanan bir kalıp var: etkileyici bir demo, memnun bir yönetim toplantısı, sonra sessizlik. Altı ay sonra kimse o sistemi kullanmıyor. Sebep neredeyse hiçbir zaman modelin yetersizliği değil.

1. Başarı kriteri sayıyla tanımlanmamış

"İşe yarayıp yaramadığına bakacağız" cümlesiyle başlayan pilot bitmez. Herkes farklı bir şeye bakar: biri cevap kalitesine, biri hıza, biri kapsama. Kimse "oldu" diyemediği için proje süresiz uzar ve bütçe bitince sessizce kapanır.

Çözüm: Daha ilk günden tek bir sayı belirleyin. "50 soruluk değerlendirme setinde %85 doğruluk" gibi. Tartışmayı bu sayı bitirir.

2. Sahibi yok

Pilot genellikle BT veya inovasyon ekibinde başlar. Ama sistemin değiştireceği süreç başka bir departmandadır ve o departmanın bu işte payı yoktur. Pilot bittiğinde sistemi devralacak, süreci değiştirecek ve ekibini eğitecek kimse çıkmaz.

Çözüm: İş tarafından, sonuçtan sorumlu tek bir sahip atayın. Bu kişi projenin paydaşı değil, sahibi olmalı.

3. Veri güncelleme akışı kurulmamış

Pilot, bir klasörden alınmış belgelerle çalışır. Kimse belgelerin nasıl güncelleneceğini planlamaz. Üç ay sonra sistem eski fiyat listesinden cevap verir ve güven bir günde kaybolur.

Çözüm: Veri tazeleme akışını pilot kapsamına dahil edin. Elle güncellenen bir sistem, kimsenin güncellemediği sistemdir.

4. Erişim kontrolü sonradan düşünülmüş

Pilotta herkes her belgeyi görür, zaten küçük bir test grubudur. Yaygınlaştırma anında ortaya çıkar ki insan kaynakları belgeleri, sözleşmeler ve maaş bilgileri aynı dizindeydi. Erişim kontrolü sonradan eklenmek istendiğinde mimarinin yeniden kurulması gerekir.

Çözüm: Erişim kontrolünü ilk günden veri modeline yazın. Her belge parçası, kimin görebileceği bilgisiyle birlikte indekslenmeli.

5. Maliyet sürprizi

Pilot on kullanıcıyla çalışır ve maliyeti göze batmaz. Kurum geneline yayıldığında hacim yüz katına çıkar; kimse bu hesabı önceden yapmamıştır. Proje teknik olarak başarılıyken finansal olarak durdurulur.

Çözüm: Pilot sırasında sorgu başına maliyeti ölçün ve hedef kullanıcı sayısıyla çarpın. Bu tek çarpma işlemi, projelerin çoğunda mimari kararı değiştirir.

6. Değerlendirme altyapısı yok

Sistem üretime çıkar, kullanıcı "bu cevap yanlış" der. Ekip istemi değiştirir. Başka bir yerde başka bir şey bozulur. Kimse fark etmez, çünkü ölçüm yoktur. Birkaç tur sonra sisteme güven kalmaz.

Çözüm: Sabit bir değerlendirme seti kurun ve her değişiklikten sonra çalıştırın. Regresyonu ancak ölçüm yakalar.

Pilotu üretime taşıyan kontrol listesi

• Sayıyla tanımlı, kabul edilmiş başarı kriteri
• İş tarafından tek bir sahip
• Otomatik çalışan veri güncelleme akışı
• İlk günden veri modeline yazılmış erişim kontrolü
• Hedef ölçekte hesaplanmış aylık maliyet tahmini
• Her değişiklikte çalışan değerlendirme seti
• Cevabın kaynağını gösterme ve düşük güvende insana devretme

Bu yedi maddeyi pilot kapsamına almak, pilotu birkaç hafta uzatır. Almamak ise projeyi tamamen kaybettirir. İkinci maliyet birinciden büyüktür.