Weka hakkında yardım

[Alfheim]

Weka'da apriori algorithm kullanmak zorunda kaldığım bir bitirme projesi aldım, IIS log'u sparse arff formatına çevirip, weka ile apriori algoritm çalıştırarak result setler elde etmem gerekiyor. Öncelikle weka ile daha önceden hiç ilgim yoktu onu belirteyim.

Baştaki testlerde basit 5-10 attribute ve data'lı olmak üzere, normal 1-2 saniye gibi bir sürede algoritma çalışıp işini yapıyordu. Bugün converter'ı tamamlayıp 2 küsür mb'lık bir log'u arff'e çevirdim, yaklaşık 10kb'lık çok da büyük olmayan bir arff oluştu.

Şimdi bu arkadaşı gönderdiğimde, öncelikle outOfMemory exception aldım, 8kb'lık dosya için 2 küsür gb ram kullanıyor şuan weka. ve yaklaşık yarım saat oldu hala çalışır durumda gözüküyor weka, ama hala bir sonuç yok.

Ne olabilir sorun, weka ile ilgili tecrübesi olan biri varsa yardımcı olabilir mi? arff formatında sorun yok, danışman hocanın belirlediği sparse arff formatı. Benim aklıma takılan 8kb'lık bir arff için 2gb ram ve yarım saat, saçma.

[asinanyavuz]

Valla Weka'da sadece classificationla uğraştım ben o yüzden tam net bişey söyleyemicem de, direk RunWeka.ini den heap miktarını arttırsan olur mu ki?

Ben classificationda onu yaptığımı biliyorum, bazen lüzumsuz şişiyordu bende de.

[Alfheim]

Zaten en son öyle yapmak zorunda kaldım.Normalde cmd'den :
"C:Program FilesWeka-3-7weka.jar">java Xmx2g -jar weka.jar
Şu kodla yemesi gerekiyor diye biliyorum. Ama çok da java tecrübem yok belki yanlış yapıyorumdur. Ben de gidip ini'den değiştirdim olmayınca.

Zaten ben outOfMemory olayını geçtim belirttiğim gibi, şuan verdiğim arff dosyasının sonuçlarını alamıyorum. Dosya 8kb, kullanılan memory yaklaşık 2-3gb arası, ve baya bir süre geçti. Yanlış bişey olmak zorunda bu parametrelerle, yoksa komik yani adamlar size'ı 1.5gb olan dosyalardan bahsediyor, onlar günlerce bekliyolar mı yoksa ahaha

- Bu arada weka CLI'da kullandığım komut şu :
java weka.associations.Apriori -N 3 -t C:ex080925.arff

Bakayım olmazsa, max confidence min confidence gibi parametrelerle oynayıp, algoritmanın çalışacağı data aralığını kısayım belki o zaman bir sonuç elde edebilirim.

[fizban]

ben de sadece classification yaptımdı da CLI'dan çalıştırınca hiç memory sorunları olmamıştı. ki ben 1 gb büyüklüğünde dosyalar açmıştım o zaman 2 gb hafızası olan makinemde.

maxmem tarzı bir parametre vardı ini dosyasında, belki onunla alakalı bir cozum vardır.

bu arada weka kullanan birinin varlığı bile güzel forumda lol

[Alfheim]

maxheap=4g
.ini'deki söylediğin field bu sanırım. Oradan set ettim zaten de, artık bugünlük pes ettim beynim yandı. @data fieldındaki birkaç satır baya uzun, apriori algorithm katlanarak gidiyor inner join ile, o yüzden o kadar ram kullanıyor anladığım kadarıyla.

Nispeten daha az data içeren bir arff ile denediğimde ise 20dk gibi bir süre sonra kill ediyor processi. Teşekkürler yardımcı olmaya çalışan arkadaşlara, burdan ekmek çıkmayacak gibi. Gözünü sevdiğimin wekası ve okulu :)

[weidmann]

Merhaba;

Weka ile ilgili benim de bir projem var. Daha log dosyasını bile weka ile açamadım. Bana yardımcı olacak arkadaşlar var mıdır? (Ücretli-ücretsiz)

[asinanyavuz]

bişi sorucam siz napıyosunuz weka'yla tam olarak? loglarla falan?

[weidmann]

aslında ben de pek bilmiyorum. Log dosyasını yükleyip, sınıf oluşturucaz. sonra bir kaç algoritma çalıştırıp, sonuşlarına bakıp rapor yazıcaz. yapabilirsen süper olur. dersten kalabilirim.

[Alfheim]

Bu arada benim sorunu çözdüm ben, olur da ihtiyacı olan olursa, sparse arff formatında attributelara {0,1} gibi nominal değerler verildiğinde, apriori algorithm ayarlarından, treatZeroAsMissing'i True yapmadıkca, büyük dosyalarda algoritma sonsuza kadar çalışıyor.

loglara ne yapıyoruma gelince, bölümün sayfasının 2 yıllık 3 yıllık IIS logları var elimde, girilmiş URL'leri weka'da işleyerek, market-basket analysis yapıyorum. Optimize etmeye çalışıyorlar siteyi, daha fazla hit almak için vs

[weidmann]

hocam hep beraber benim sorunu da çözsek.
dersten kalıcam. bi seyler yapalım. güzellik te yaparım.

[Alfheim]

Senin olay nedir? elinde arff dosyası var, classification, clustering, association falan yapıp analiz mi yaptırıyolar? Tipik data mining projesi sdf

[weidmann]

elimde arff yok. web logları var. yollayım sana bi rapor hazırlayıver. Akşama sunum var çünkü. Assoc. classification v.b. algoritmalar.. çok ta önemli büyük bir rapor olmasına gerek yok. telde anlatsan bile olur. hatta daha iyi olur.

[weidmann]

Arkadaşlar bir hafta uzatma aldım. El verin de yapalım hep beraber... :)

[Alfheim]

Yeni gördüm topici tekrar da, benim finallerim başladı, yalan olur o iş :)

[weidmann]

olsun. Büyük bir olasılıkla dersten kaldım.

[sfkrmn]

merhaba arkadaslar weka hakkında özel ders verilir ve projelerinize yardımcı olunur ilgilenenlenler için irtibat numarası 05364999816

[riglous]

Weka'yla uğraşmayın. RapidMiner var. Weka'nın çalışır durumda olanı.