ekstra bilgisayar gücü

[pontipati]

selam,
bir proje var, bazı hesaplar yapan bi programımız var. fakat değerlerde oynama yapınca bilgisayarlar yeterli gelmiyor ve bizim bu sonuçlara ihtiyacımız var. böyle bi durumda ne yapılır? tşkler

[Madcat]

iyi bilgisayar kirala uzaktan bağlan sdf

[pontipati]

1 değil en az bi 3-5 tane olsa iyi olur sdf

[GERGE]

Amazon.

[pontipati]

amazondan ne yapcam?

[Madcat]

amazon web service diyo.

[BonePART]

http://aws.amazon.com/ec2/

[riglous]

Çare bulut bilişimde :P

[pulkas]

Kodu optimize et.Biz öyle çözmüştük.Matlabda çözüyodu problemi.1 sample ın çözülmesi için 1 hafta gerekiyodu.Bu işi en az 90 kere yapmak lazımdı.Örnekleme sayısını arttırıp bi ispata gidilecek.Velhasılı paralel programlamayla arkadaş kodu önce fortranda yazdı.Süre 1 güne düştü.Sonra daha optimize şekilde C de yazıldı.1.5 saate indirildi 1 sampleın çözümü.Bunu yaparken bir sürü matrix çarpımı falan var tabi.Matris boyutlarıda devasa.Sizde durum buna uyuyosa oturup ufak ufak girişmeye başlayın derim.Sırf bu problem için arkadaş bilgisayarına 48 gb ram almıştı.5 tane 1tb lık hddyi intihar raidi yapmıştı(raid 0).işlemcide i7 940.

1 den fazla bilgisayara çözdüreceksen problemi ve bi formülden çıkacak sonuçlarla yeni veriyi oluşturuyosan eğer 1den fazla bilgisayar kullandığında network lagını hesaba katınca, sağlam işlemcili tek bi bilgisayarı kullanmak problemi çözmek için çok daha verimli oluyo.tek işlemci üzerindeki çekirdeklerle çözeceksen openmp ye bak.hali hazırda yazılı kod varsa implementasyonu bayaaa bi kolay olur.openmpi ile uğraşmak istersende biraz fazla uğraşırsın gibi.

[Fly]

amazon veya turevleri +1

birkac saatlik isler icin dort bes dolar verip zibilyon coreluk makinayi kullanip kaparsin
spot instance tutturursan daha da iyi

[pontipati]

pulkas said:

Kodu optimize et.Biz öyle çözmüştük.Matlabda çözüyodu problemi.1 sample ın çözülmesi için 1 hafta gerekiyodu.Bu işi en az 90 kere yapmak lazımdı.Örnekleme sayısını arttırıp bi ispata gidilecek.Velhasılı paralel programlamayla arkadaş kodu önce fortranda yazdı.Süre 1 güne düştü.Sonra daha optimize şekilde C de yazıldı.1.5 saate indirildi 1 sampleın çözümü.Bunu yaparken bir sürü matrix çarpımı falan var tabi.Matris boyutlarıda devasa.Sizde durum buna uyuyosa oturup ufak ufak girişmeye başlayın derim.Sırf bu problem için arkadaş bilgisayarına 48 gb ram almıştı.5 tane 1tb lık hddyi intihar raidi yapmıştı(raid 0).işlemcide i7 940.

1 den fazla bilgisayara çözdüreceksen problemi ve bi formülden çıkacak sonuçlarla yeni veriyi oluşturuyosan eğer 1den fazla bilgisayar kullandığında network lagını hesaba katınca, sağlam işlemcili tek bi bilgisayarı kullanmak problemi çözmek için çok daha verimli oluyo.tek işlemci üzerindeki çekirdeklerle çözeceksen openmp ye bak.hali hazırda yazılı kod varsa implementasyonu bayaaa bi kolay olur.openmpi ile uğraşmak istersende biraz fazla uğraşırsın gibi.

paralel programlama nedir :)

[pulkas]

https://www.youtube.com/watch?v=Ilwf2_IDU_0

[SenariouS]

pulkas said:

Kodu optimize et.Biz öyle çözmüştük.Matlabda çözüyodu problemi.1 sample ın çözülmesi için 1 hafta gerekiyodu.Bu işi en az 90 kere yapmak lazımdı.Örnekleme sayısını arttırıp bi ispata gidilecek.Velhasılı paralel programlamayla arkadaş kodu önce fortranda yazdı.Süre 1 güne düştü.Sonra daha optimize şekilde C de yazıldı.1.5 saate indirildi 1 sampleın çözümü.Bunu yaparken bir sürü matrix çarpımı falan var tabi.Matris boyutlarıda devasa.Sizde durum buna uyuyosa oturup ufak ufak girişmeye başlayın derim.Sırf bu problem için arkadaş bilgisayarına 48 gb ram almıştı.5 tane 1tb lık hddyi intihar raidi yapmıştı(raid 0).işlemcide i7 940.

fortranin cden yavas olmasi hele matematik islemde garipmis yav

[Saykoleo]

thread'lere bölmeniz gerekiyo kodu, birden fazla bilgisayar kullanmak istiyosanız, paralel proglamlama bu. birbirinin çözümüne ihtiyacı olmayan farklı işlemleri aynı anda farklı cpu'lara (veya core'lara) yaptırmak gibi düşün.

veya optimizasyon kasıcaksınız, ama optimize edilmişse zaten kod pek yapılabilecek bişey yok o konuda.

[pulkas]

SenariouS said:

fortranin cden yavas olmasi hele matematik islemde garipmis yav

optimizasyonla alakalı bir problem.dil yavaş değil dile hakimiyet sıkıntılı.

[SenariouS]

fortran berbatti o konuda hatirliyorum

[E]

sene 2014 aga fortran mı kaldı

[SenariouS]

haklisin
en dusuk yazacagim dil bundan sonra c'dir.
asdfsadf

[BonePART]

kod matlabdaysa matlab tek cpuda yapıyo hesapları
butun coreları kullanmıyo
birden cok core u kullanmak istiyosan ona gore optimize etmen gerekiyo kodu ama öle basit bi yolu yok
dile hakimseniz ilk adımınız core paylastırması yaptırmak olmalı

[DoruK]

Gpu kullanmayi ogrenin

[pontipati]

BonePART said:

kod matlabdaysa matlab tek cpuda yapıyo hesapları
butun coreları kullanmıyo
birden cok core u kullanmak istiyosan ona gore optimize etmen gerekiyo kodu ama öle basit bi yolu yok
dile hakimseniz ilk adımınız core paylastırması yaptırmak olmalı

i5 var mesela bizde ama tek core kullanıyo, bakıyoruz cpu kullanımı %25. core paylaştırmak nasıl oluyor?

[BonePART]

ben arastırdım ama matlabdı
ve kolay değil yane bütün kodu optimize etmen gerekiyo
dil ne sizde
matlabsa
http://www.mathworks.com/discovery/matlab-multicore.html

ben beceremedim mesela urasmadımd aha dogrusu
1 saat suruyodu butun kod

[pontipati]

bir bakayım şuna da :)

[Phoenixlin]

http://lmgtfy.com/?q=matlab+parallel+programming

En düz paralelleştirme yöntemi, programın yaptığı işi corelara payaştırmak. Atıyorum işte elinde 1000 tane iş var ve bilgisayarında 4 corelu. Sequential halinde, 1000 işi tek bir core yapmaya çalışıyor haliyle 4t vakit alıyor. Paralel halinde sen her core'a 250 tane iş atıyorsun ve t sürede hepsi bitiyor. Burada tabi bu 1000 tane işin birbirinden mümkün mertebe bağımsız olması. Atıyorum 249. işin sonucunu 521. işte kullanacaksan orada biraz daha uğraşman gerekiyor.

Ha matlab'da bunlar nasıl yapılır en ufak fikrim yok ama paralel programmingin sorunları ve çözümleri her dil için aynı sonuçta.

[pulkas]

pontipati said:

bir bakayım şuna da :)

matlabda paralellik yalan.çok uğraştık zamanında.verimli bir sonuç elde edemedik.