Veri bilimci mülakat soruları

Neyi kontrol ediyorlar

Modellerin yeni veride neden başarısız olduğunu anlayıp anlamadığınız; modelleme kararlarının çoğu buna dayanır.

Güçlü bir cevap şunlara değinir

1. Yanlılığı (bias), aşırı basit varsayımlardan gelen ve eksik öğrenmeye (underfitting) yol açan hata olarak tanımlayın.
2. Varyansı, modelin eğitildiği belirli veriye aşırı duyarlılığı ve bunun aşırı öğrenmeye (overfitting) yol açması olarak tanımlayın.
3. Daha karmaşık modellerin genellikle yanlılığı azaltıp varyansı artırdığını, amacın görülmemiş veride en düşük hatayı yakalamak olduğunu açıklayın.
4. Pratikte nasıl yönettiğinizi söyleyin; çapraz doğrulama, düzenlileştirme (regularization), daha fazla veri ya da topluluk (ensemble) modelleri.

Neyi kontrol ediyorlar

Modelleri doğru biçimde doğrulayıp doğrulamadığınız ve standart çözümleri bilip bilmediğiniz.

Güçlü bir cevap şunlara değinir

1. İşareti söyleyin; eğitim verisinde güçlü, doğrulama verisinde çok daha zayıf performans.
2. Nasıl kontrol ettiğinizi açıklayın; ayrılmış bir test kümesi ya da çapraz doğrulama, veride zaman sırası varsa zamana göre bölerek.
3. Çözümleri sayın; modeli sadeleştirmek, düzenlileştirme, daha fazla veri, daha az değişken ya da erken durdurma.
4. Aşırı öğrenmeyi bulup düzelttiğiniz bir örneği ve doğrulama skorunun ne kadar değiştiğini anlatın.

Neyi kontrol ediyorlar

Metrikleri alışkanlıkla doğruluk oranına (accuracy) bakarak değil, hataların maliyetine göre seçip seçmediğiniz.

Güçlü bir cevap şunlara değinir

1. Burada doğruluk oranının yanıltıcı olduğunu söyleyin; hiç pozitif tahmin etmeyen bir model bile yüzde 99 skor alır.
2. Kesinlik (precision), duyarlılık (recall) ya da ikisinin dengesi olan F1'i kullanın; pozitifler bu kadar nadirken ROC yerine precision-recall eğrisine bakın.
3. Seçimi işin maliyetine bağlayın, örneğin bir dolandırıcılığı kaçırmak ile gerçek bir müşteriyi rahatsız etmek arasındaki fark.
4. Karar eşiğini 0,5'te bırakmak yerine bu ödünleşime göre ayarlayacağınızı ekleyin.

Neyi kontrol ediyorlar

Hedefi tanımlamaktan modelin kullanılmasına kadar uçtan uca muhakemeniz.

Güçlü bir cevap şunlara değinir

1. Müşteri kaybını ve tahmin penceresini kesin olarak tanımlayın, örneğin önümüzdeki 60 gün içinde numarasını başka operatöre taşıması ya da hattını kapatması.
2. Değişkenleri yalnızca tahmin tarihinden önce elde edilebilen veriden üretin, örneğin kullanım eğilimleri, çağrı merkezi kayıtları ve fatura geçmişi.
3. Basit ve açıklanabilir bir modelle başlayın, sonra gradient boosting'i deneyin ve zamana göre bölünmüş veriyle doğrulayın.
4. Modelin nasıl kullanılacağını, örneğin hangi müşterilere teklif yapılacağını ve bu aksiyonun etkisini nasıl ölçeceğinizi anlatın.

Neyi kontrol ediyorlar

Çalışmanızın gerçek kullanıma ulaşıp ulaşmadığı ve oraya giderken ne öğrendiğiniz.

Güçlü bir cevap şunlara değinir

1. Problemi ve modelin neden doğru araç olduğunu anlatın.
2. Temel tercihlerinizi kısaca açıklayın; veri, önemli çıkan değişkenler ve model.
3. Canlıya alma ve izleme sürecini, bunun için mühendislerle nasıl çalıştığınızı anlatın.
4. Etkisini rakamla verin ve farklı yapacağınız bir şeyi söyleyin.