Veri Düzenliyoruz

[deadwoll]

Soruyu nasıl sormam gerektiğini bir türlü bilemediğimden google'dan yardım alamıyorum. En azından soruyu nasıl sormam gerektiğini söylerseniz oradan da yürüyebilirim.

Country 1              Country 2              T. Flow                    Year

A                                 A                            1                          1

A                                 A                            2                          2

A                                 B                            3                          1

A                                 B                            2                          2

A                                 C                            1                          1

A                                 C                            3                          2

B                                 A                            4                          .

B                                 A                            2                          .

B                                 B                            3                          .

B                                 B                            2

B                                 C                            4

B                                 C                            5

C                                 A                            1

C                                 A                            2

C                                 B                            3

C                                 B                            2

C                                 C                            3

C                                 C                            4

 

Şimdi yukarıdaki country 1 ve country 2'nin ülkeler, T.Flow'un da iki ülke arasındaki C1'den C2'ye doğru ticaret akışı olduğunu düşünelim. Benim elimde bir de her bir ülkeye ait

 

Country                   GDP                       Year

A                                3                            1

A                                4                             2

B                                1                             1

B                                3                             2

C                                2                             1

C                                1                             2

 

Şeklinde GSMH verileri var, ben bu GSMH verilerini ilk verisetine tekrarlı bir halde aktarmak istiyorum. Bunu da iki farklı şekilde yapmam gerekiyor.

1 - A ülkesinin 1. yıldaki GSMH'ı Country 1'de A ülkesinin yer aldığı tüm durumlarda yer alacak.

2 -  Aynı şeyi Country 2 için de yapılacak.

Çok kabaca

Country 1              Country 2              T. Flow                    Year               GDP.C1               GDP.C2

A                                 A                            1                          1                      3                           3

A                                 A                            2                          2                      4                           4

A                                 B                            3                          1                     3                           1

A                                 B                            2                          2                      4                           3

A                                 C                            1                          1                      3                          2

A                                 C                            3                          2                     4                            1

B                                 A                            4                          .                      1                           3

B                                 A                            2                          .                       3                           4

B                                 B                            3                          .                       1                           .

B                                 B                            2                                                  3                           . 

B                                 C                            4                                                 .                            .

B                                 C                            5                                                 .

C                                 A                            1                                                 .

C                                 A                            2

C                                 B                            3

C                                 B                            2

 

gibi olmasını istiyorum. 70k civarı gözlem ve 59*58 tane ülke kombinasyonu olduğundan elle yapmam mümkün değil. Verileri de database'den doğrudan çekemiyoruz, sistem hazırlayıp excel dosyası olarak DL linki açıyor, ayrıca iki ayrı kaynak kullanıyorum falan işin içinden çıkamadım. Bunu excel'de falan halledebilmemin bir yolu var mıdır? Ya da google'a ne sormam gerekiyor? Keyword'ü nedir bu işin?

[riglous]

Excel'de concat(country1, year) diye kolon olusturacaksin. GSMH'de de ayni sekilde ulke ve yili birlestirip key olusturacaksin. Sonra vlookup ile yanina getireceksin?

[Goering]

vlookup

[deadwoll]

@riglous, concat'la id oluşturup eşleştirmek ilk aklıma gelen şey oldu da sonrasını toparlayamadım, vlookup'la da beceremedim bugün. Şöyle kallavi bir tutorial'ı falan var mıdır? İnternette bulduğum şeyler çok basit örneklerle anlatıyor.

[Goering]

vlookup cok kolay, sadece nerde kullanacagini ogrenmen lazim.

 

bu turkce cok guzel anlatmis:

http://adilekin.com/vlookup-nasil-kullanilir/

ornek tablolar da var ama yapamazsan bir iki satir at OM'den ben sana anlatayim kendi dosyan ustunde.

Eylül 10, 2019 Goering tarafından düzenlendi

[deadwoll]

Cok tesekkur ettim, okudum simdi, hata yaptigim yeri de yakaladim sanirim. Yarin sabah bir gidip deniyim.

[Goering]

np, kolay gelsin. vlookup'da dikkat etmen gereken sey su:

butun kolon'da lookup yaptigi icin formul baya kaynak harcar, sonsuza uzatma vlookup'i eski bilg.'sa.

 

bir de formulu mouse'la asagi kopyalamadan $ ile kitliyorsun (misal sabit bir yerden lookup yaptircan), vertikal veya horizontal.

vlookup bozulmasin asagi cekince. 

(bu genel tabi hucre sabitleme)

 

 

Eylül 10, 2019 Goering tarafından düzenlendi

[axedice]

Contry&Year yapıp vlookupla aradığın GSMH verilerini Index ve Matchle ararsan aynı sonuçları daha az kaynak harcayarak elde edersin. Şöyle bi tutorial da koyayım

https://fiveminutelessons.com/learn-microsoft-excel/how-use-index-match-instead-vlookup

[deadwoll]

Çok teşekkür ettim, $ koymayı unutuyormuşum ben. Doğrusu ilk başta excel'de yapabileceğimi de düşünmemiştim, genelde veri excel formatında geliyor R'a falan çekip düzenliyorum, kafam oraya gitti.

Index-match'e de bakacağım, bir de udemy'de tidyverse ve diğer data handling kütüphaneleri için ders buldum onu da satın alacağım. Doktoradan sonra özgür kalınca daha geniş verisetleriyle çalışabileceğim alanlara kaydım, bayağı bir toolkit lazım.

[Goering]

$ koymayi unutacagini tahmin ettim, o yuzden yazdim onceden heheh

 

excel'de cogu sey yapabiliyorsun, yapamadiklarin icin R veya python.

python'da pandas ogrenmeye calis, gelecek orda  

(sql'e hic gerek kalmiyor -data almak disinda- eger data analiz yapiyorsan)

tableau'yu da grafik/chart vs icin oneririm.

Eylül 11, 2019 Goering tarafından düzenlendi

[deadwoll]

Bu dönem ders vermiyorum zaten, R'da eksik kaldığım kısımları tamamlayıp Python bootcamp'e başlayacağım. Formal programlama eğitimine ihtiyacım var biraz, bazı ileri düzey şeyleri biliyorum ama bazı çok temel mevzulardan haberim yok. Bazen bazı fonksiyonları varlıklarından haberdar olmadan kendim yazıp kullanıyorum işlerimde.

[riglous]

On 11.09.2019 at 12:20, Goering dedi ki:

(sql'e hic gerek kalmiyor -data almak disinda- eger data analiz yapiyorsan)

Bu dogru bir yorum degil. Senin mevcut ortamina gore belki boyledir.

[deadwoll]

Yeni konu açmıyım şimdi, elimdeki verisetinin %20 civarı NA, normalde NA'leri ignore ediyordum ama bu sefer silinmiş verisetiyle bir kaç farklı yöntemi kıyaslıyım dedim. Bir de kendi kodlarımı hala NA gözlemleri ignore edecek şekilde düzenleyemedim kullandığım matrix package'ları yüzünden.

R'daki MICE package'i bir kaç olasılık sunuyor bu amaçla ama benim verisetim panel, NA'ler de genellikle tamamen rassal NA değil, ya eski dönemler eksik oluyor ya da ülkelerde içsavaş vs. instability olduğunda raporlamada sorun çıkıyor. Dolayısıyla random forest uygulanabilir mi emin değilim. Yine zaman serileri için geliştirilmiş bir kaç algoritma var ama panel veride onları kullanabilir miyim emin değilim. Oturdum dökümantasyon okuyorum ama bayağı yüzeysel geçiyor onlar da sanki.

Özellikle veri tiplerine göre detaylanan bu konuda okuyabileceğim kaynaklar var mı bildiğiniz?

[pulkas]

Genel kültür olarak bu başlığa gelen boş gitmesin diye şunu bırakayım.

 

https://pudding.cool/process/how-to-make-dope-shit-part-1/

https://pudding.cool/topics/#how

 

http://openrefine.org/

 

https://github.com/Gerenuk/Data-Science-Notes/blob/master/tools.rst

https://github.com/academic/awesome-datascience

[deadwoll]

Ben şu topic'i açtıktan sonra tidyverse'e gömüldüm, günde 3-4 saat falan çalışıyorum defter kitap açıp sdf, tidyverse serisini bitirdim, tüm assignment'ları 3-5 alternatifle çözdüm. Çağ atladım bir haftada.

Bir tane de masterclass aldım udemy'den bakalım o nasıl olacak? Bu zamana kadar hep base'den yürüyordum data handling konusunda, çoğu zaman oturup saçma sapan looplar yazmam gerekiyordu ve öyle olunca bayağı zaman kaybediyordum.