SVM sorusu

[jatha]

Patide böyle işlerle uğraşan insanlar var mı bilmiyorum ama, benim bir sorunum var SVMlerle.

RBF kernelli bir modelim var (binary classification için), buna temel olarak cut-offlar koyarak sensitivity'i kontrol edebildiğim seviyeler belirlemek istiyorum. Daha önce iki metod buldum bi protein tahmininde kullanılmış olan, direk svm'in decision value su üzerinden koymuş. ama lineerde sadece bu değer bişey ifade eder diğer kernellerde sadece sign önemlidir diye bir takım şeyler okumuştum dolayısıyla makul bulmuyorum bunu. sizce nasıl sensitivity kontrolünü sağlayabilirim?

bir de svm den herhangi bir şekilde confidence outputu almak mümkün mü? yine RBF olduğu için decision value'nun büyüklüğünü değer alamıyoruz sanırım.

bir de ekstra bir kaç şey daha sordum bu soruya ek olarak stack overflow'da o soruya da göz atmak isterseniz: http://stackoverflow.com/questions/21800301/svm-scikit-learn-decision-values-with-rbf-kernel

Çok teşekkürler!

[Rahan]

libsvm'de binary classification yaparken olasılık da hesaplatabiliyorsun. En kolay R'da e1071 pakediyle kullanabilirsin. (düz C apisi biraz çirkin ve parametre tune için ek fonksiyonlar yok)

yanlış anlamadıysam, istediğin şeye probability threshold kullanarak ulaşabilirsin. misal dersin "p>T ise -> 1" sonra T yi de 0.5'den yukarı arttırarak FP rate'i daha düşük bi sınıflandırıcın olur. makul bir FP rate bulduğunda da orda bırakırsın. ROC curve falan da çizdirir bu.

[senko]

kaç yıllık yazılmcıyım bi bok anlamadım.

[Eaglewingg]

Rahan said:

libsvm'de binary classification yaparken olasılık da hesaplatabiliyorsun. En kolay R'da e1071 pakediyle kullanabilirsin. (düz C apisi biraz çirkin ve parametre tune için ek fonksiyonlar yok)

yanlış anlamadıysam, istediğin şeye probability threshold kullanarak ulaşabilirsin. misal dersin "p>T ise -> 1" sonra T yi de 0.5'den yukarı arttırarak FP rate'i daha düşük bi sınıflandırıcın olur. makul bir FP rate bulduğunda da orda bırakırsın. ROC curve falan da çizdirir bu.

Benim decision fusion ile ilgili sormak istediğim bir şey var. Şimdi elimde diyelim 4 tane binary olarak train edilmiş SVM mevcut. Bunların çıktılarını kullanarak tek bir SVM haline getirmek istiyorum. Bununla ilgili bildiğiniz bir yöntem mevcut mudur? Paperların içinde kayboldum.

[Rahan]

Eaglewingg said:

Benim decision fusion ile ilgili sormak istediğim bir şey var. Şimdi elimde diyelim 4 tane binary olarak train edilmiş SVM mevcut. Bunların çıktılarını kullanarak tek bir SVM haline getirmek istiyorum. Bununla ilgili bildiğiniz bir yöntem mevcut mudur? Paperların içinde kayboldum.

ensemble learning methods diye bakarsan oldukça bol örneği var ortalıklarda.

önce sorunun yanıtı,

* 4 SVM siniflandiricinin ciktilarindan oylama usulu bir sonuc cikartirsan her bir SVM'in ayrı ayrı basarimindan daha yuksek basarima sahip bir sınıflandırıcı elde etmiş olursun diye tahmin ediyorum. (aslinda sadece tahmin degil bir yerlerde okudum veya bir derste izledim ama kastiramicam simdi citationla kesin konusmakla falan =) )

* 4 SVM'in outputlarını ozellik vektörü olarak dusunup output a map etmeye calisabilirsin. linear regresyon veya herhangi bir machine learning yontemi olabilir bu. (4 parametre alan 5. bir SVM de oldukca mantikli)

bir de sorunda soyle bir anormal bir durum var, ensemble learning yontemleri daha cok zayif siniflandiriclarla (hizlica egitilip nispeten dusuk basarima sahip olan) kullaniliyor. misal random forest N tane rassal karar agacini egitip en son oylamayla siniflandirma yapiyor. (N/2 den fazlasi ne demisse output o) SVM'in bu sekilde zayif siniflandirici olarak kullanilmasina rastlamadim. olmaz diye de bir sey yok tabi de bu noktaya gelmeden once tonla farkli siniflandiriciyla (ANN, RF, diger SVM kernelleri etc.)d eney yapmis olmani beklerim ben.

[jacabo]

çok değişik hayatlar

[Eaglewingg]

Rahan said:

ensemble learning methods diye bakarsan oldukça bol örneği var ortalıklarda.

önce sorunun yanıtı,

* 4 SVM siniflandiricinin ciktilarindan oylama usulu bir sonuc cikartirsan her bir SVM'in ayrı ayrı basarimindan daha yuksek basarima sahip bir sınıflandırıcı elde etmiş olursun diye tahmin ediyorum. (aslinda sadece tahmin degil bir yerlerde okudum veya bir derste izledim ama kastiramicam simdi citationla kesin konusmakla falan =) )

* 4 SVM'in outputlarını ozellik vektörü olarak dusunup output a map etmeye calisabilirsin. linear regresyon veya herhangi bir machine learning yontemi olabilir bu. (4 parametre alan 5. bir SVM de oldukca mantikli)

bir de sorunda soyle bir anormal bir durum var, ensemble learning yontemleri daha cok zayif siniflandiriclarla (hizlica egitilip nispeten dusuk basarima sahip olan) kullaniliyor. misal random forest N tane rassal karar agacini egitip en son oylamayla siniflandirma yapiyor. (N/2 den fazlasi ne demisse output o) SVM'in bu sekilde zayif siniflandirici olarak kullanilmasina rastlamadim. olmaz diye de bir sey yok tabi de bu noktaya gelmeden once tonla farkli siniflandiriciyla (ANN, RF, diger SVM kernelleri etc.)d eney yapmis olmani beklerim ben.

Öncelikle cevap için teşekkürler. Bir kaç makale kurcaladıktan sonra probabilistic multi class svm oluşturmaya karar verdim. Böylelikle elimdeki 5 adet svm çıktılarına bayes yöntemini uygulayarak decisin fusion işlemini gerçekleştirmeyi düşünüyorum.