Udemy + SQL + Big Data

[Jeeztro]

Bu aralar Big Data konusunda ilerleyeyim diyorum. İlgimi çekti açıkçası, tabi bunda en büyük etki Almanya' da ki direktörümüzün şirketin bu konuya odaklanacağını belirtmesi de rol aldı tabi ki.

Hali hazırda finansal analist/kredi risk analistiyim. Yazılımla alakam yok, olsun istedim, fakat imkanlar el vermedi kısaca.

1 haftadır eğitim, kurs araştırıyorum. Fiyat aldım bir kaç yerden ve hani beni aşıyor biraz, özellikle daha 1.5 aylık bebeğimin olması da engel teşkil etti. Bu yüzden Udemy denen yeri tavsiye etti Macar bir arkadaş. Hatta özellikle belirteyim bugün bitecek bir indirim söz konusu, 100-200 $ lık eğitimlerin hepsi 10$ a düşmüş. Kaçırmayın derim. Neyse, kendi azmimle buradan eğitimlere erişim sağlayayım diyorum. Hatta 50$ bütçe ayırdım, 5 tane ders alacağım. SQL giriş, Big Data falan kabaca fikir sahibi olduracak bir şeylere bakacağım. Hani ilgim var mı, çok mu sıkıcı gelecek onu göreyim istedim. 5-6k TL bayılmadan daha iyi olacak. Baktım evet çok meraklıyım, sonra kurslara da bakarım dedim.

TR de kalmayı düşünmüyorum, yurtdışına kapak atma peşindeyim çoğu insan gibi. Big Data konusu da epey popülermiş, hatta bizim şirket Amsterdam ofisinde bunun için birim açıyor. Şimdilik Hollanda ile sınırlı, sonrasında globale dönecek olay. Seneye bu zamanlar iş başvurularına başlayacağım, yaklaşık 1 senem var, beginner seviyesi için yeterli bir süre diyorum. Normal bir iş hayatım ve yeni bir bebek olduğu için epey casual ilerleyecek tabi bu durum.

Sormak istediğim

1- Big Data konusunda görüşleriniz nedir ? Çok açık bir konu tabi de, risk biriminden çıkmak istiyorum artık. Nefret etmediğim ama aynı zamanda sevmediğim bir işi yapıyorum. Hani tatmin seviyesi epey düşük.

2- Udemy den eğitim alan var mıdır aranızda ? Fiyatları bu kampanyalı haliyle epey uygun geldi. Bir kaç konuda saldırayım diyorum.

3- SQL için iki ders buldum, 3 tane daha ders alacağım, aga ileride lazım olur bu alan için şunları da al, şunlara bak diyeceğiniz neler vardır ?

[Phoenixlin]

https://www.facebook.com/dan.ariely/posts/904383595868?imm_mid=0a9701&cmp=em-strata-newsletters-strata-olc-20130529-elist

Facebook'u olmayanlar için:

"Big data is like teenage sex: everyone talks about it, nobody really knows how to do it, everyone thinks everyone else is doing it, so everyone claims they are doing it..." demiş bir abi sene 2013.

Hatta benim şirkette var böyle tip, üstümüze getirdiler "Bugün hello world yazıyosun sqlle yarın sana cevap dönüyor" diyerek muhteşem big data bilgisini kusmuştu.

Onun haricinde big data'yı ne amaçla öğrenmek istiyorsun. Ne yapmak istiyorsun? Hayalindeki iş database'e hello world yazıp yarın değil bugün geri almak mı? Yoksa elindeki dataları analiz edip, güzel sonuçlar çıkarmak mı?

Ucuzsa dersleri al yeni bilgi olur. Dersi daha önce alanlar varsa internette elbet anlatmışlardır deneyimlerini onları bul oku. Coursera'da/Udemy'de falan yoksa bedavaya alabileceğin dersler de var. Paralı olanların tek olayı, ilgili track'i ve dersleri bitirirsen sertifika falan bir şey vermesi (kimsenin umursamadığı). Ha tabi derdin öğrenmek olduğu için sertifika falan önemli değildir senin için.

SQL vs. kasana kadar machine learning öğren demek isterim de bu pozisyonlar genel de researcher/engineer tarzlarında oluyor. Yeterli matematik background'un yoksa practitioner olarak kalırsın o da seni ne kadar tatmin eder bilemem.

[Dark_Soul]

udemy'de sürekli indirim oluyor zaten , önüne gelen kurslara atlama indirim olmuş kaçırmayayım site.

Bu arada SQL dediğin kavram çok genel bir konu.

Kullanılan dile ve geliştirme ortamına göre bir sürü çeşidi var , basit işlemlerdeki syntaxları ve çalışma şekilleri aynı ama detaylandıkça farklılıkları da artıyor:

MySQL
Mssql
PostgreSQL
Oracle
DB2
vs diye gidiyor

Birde NoSQL veritabanları var onlar ayrı bir dünya. Hepsini birden öğreneme imkan yok , iş başvurusu yapmayı düşündüğün firmaların kullandığı teknolojilere yoğunlaşman en mantıklısı.

[Dragonfire]

şunu; "Big data is like teenage sex: everyone talks about it, nobody really knows how to do it, everyone thinks everyone else is doing it, so everyone claims they are doing it..." her yeni teknolojide diyorlar zaten. Go için de dediler, cloud içinde.

[senko]

oyle cunku
sdn/nfv icin de gecerli ayni metaphor

[Bone]

Jeeztro said:

2- Udemy den eğitim alan var mıdır aranızda ? Fiyatları bu kampanyalı haliyle epey uygun geldi. Bir kaç konuda saldırayım diyorum.

bu sorunun cevabını vereyim.

Udemy'deki "indirimli" fiyatlar aslında normal fiyatlar. yani sürekli €200'den €15'e düşürdük diye reklam yapıyorlar, ama sürekli bu indirimi yaptıkları için, göstermelik o değerler. esas indirim €10 oluyor, o da yılbaşında felan denk geldi bana.

bence güzel bir site. ama bir dersi almadan önce iyice bakmak lazım. preview'inde işe yarar gözüküyor mu, içeriği doyurucu mu, saati anlatılanlara yeterli mi vs... ortalıkta bir sürü Hintli tarafından anlaşılmaz videolar, 1-2 saatlik dersler felan var.

ilgimi çekenleri istek listesine alıyorum, izledikçe yenilerini satın alıyorum felan.

[Bezerye]

Dün sen sorunca adamın birisi hemen medium da konu hakkında şöyle bir yazı yazmış :) işine yarar diye düşünüyorum.

[Bone]

faydalı listeymiş

[Jeeztro]

çok teşekkür ettim bilgiler için. epey faydalı oldu. çocuğu uyutunca bir bakayım hepsine

[lovecraft0Z]

Udemy de yorumlara çok iyi bakmak lazım, gerçekten işe yarar mı senin aradığın şey mi, ve anlatıcının tarzı falan sana uyacak mı.


Bana sorarsan, yazılımda 6 aylık bir noob olarak derim ki, ilk defa giriş yapıyorsan bu aleme bir kursa ya da uzman birinden ders şeklinde vs alman çok daha mantıklı.

ayrıca ilk seviyeleri geçtikten sonra, şu tarz youtube kanalları udemy den çok daha güzel faydalar sağlıyor kanımca:

https://www.youtube.com/channel/UCkkgrhDCJheXQNIFqUVw0_g

https://www.youtube.com/channel/UCJbPGzawDH1njbqV-D5HqKw

https://www.youtube.com/channel/UCwRXb5dUK4cvsHbx-rGzSgw

[riglous]

bundan 4-5 sene önce teenage sex doğru olabilirdi ama pek öyle değil artık. Dünya kadar uygulama var ve baya yaygın kullanılıyor. Gelecek de vaadediyor ancak çok fazla farklı teknoloji var ve dönem dönem önplana çıkan teknoloji değişiyor. JS framework'leri gibi... Ama JS framework'lerinden birine migrate edebilirsin, bunda yapamıyorsun, çünkü hepsini gerçekten kullanmak gerekiyor.

Git bebeğini sev abi. Vakit öldürmelik bir konu değil bu, baya zamanını yer.

[senko]

sektorde sayilirim ben de su big data ile yapay zeka nedir anlayamadim bi turlu
herseye kafa basmiyor sanirim.

[Phoenixlin]

Big data petabytelarca datayı (el oğlu terabyte boyutundaki datalara bile big data demiyor artık) depolayıp, gerektiğinde kullanmanı kolaylaştıracak bir nane işte. Türkiye'de iki video izleyip 10GB datayla uğraşan ben big data yaptım anne diyor orası ayrı.

Bu kadar fazla data olunca haliyle bunları bir de kullanman lazım. Ne bileyim telekom şirketiysen elinde kullanıcı dataları olur onlardan churn analizi, hedef reklam gösterme nanesi falan yapmak istersin. O zaman da işin içine machine learning ve istatistik girer. Big data biliyor olmak seni machine learningci yapmaz. Hele weka, scipy, spss falan indirip datayı bu librarylere gömüp machine learning scientist olan Türklerde gördü bu gözler. Gidin matematik öğrenin, probability öğrenin, istatistik öğrenin machine learning'de bir yerlere gelmek istiyorsanız kısaca.

AI ise direk yapay zeka işte. Machine learning'le karıştırmamak lazım. İnsanlar genelde ikisi aynı şeymiş gibi davranıyor şu zamanlarda ama aradaki en büyük fark AI araştırmaları gerçek anlamda insanların nasıl öğrendiğini kavramak ve bunu yaratmak üzerine kurulu. Machine learning ise olasılık/istatistik kullanarak elindeki datadan bir şeyler öğrenmek ve ileride gelen görülmemiş datalara bu bilgileri infer etmen üzerine kurulu. Hani ikisi arasındaki en bariz farkı şu şekilde anlatabilirim belki: Şu sıralar popüler deep learning algoritmalarını kullanarak adam akıllı bir computer vision/natural language processing işi yapmak için büyük miktarda annotate edilmiş dataya ihtiyaç duyarsınız (at ile alakalı binlerce resim ya da bir markayı öven/söven binlerce tweet). Oysa insan dediğin bir kedinin ne olduğunu öğrenmek için binlerce kedi görme ihtiyacı hissetmiyor. Bir kere görüyorsun, bir kere sana kedinin ne olduğu söyleniyor ve artık biliyorsun (araştırma okumak isteyenler one-shot learning keyword'üyle makale arayabilir).

[senko]

Eh bi nevi big dataya bulasmisim o zmn sdf

Bu machine learninge nerden girmek en efektif olur peki? ANN, CNN konularina girmek cok mu baliklama atlama olur.

[Phoenixlin]

Ne yapmak istediğine bağlı olarak değişir.

Sadece kendi işinde tool olarak kullanacaksan, temel algoritmaları falan öğren. Sonra zaten high level deep learning frameworkleri var (keras en popüleri). Onları kullanarak kendi işine yarayacak network architectureları falan halledersin. Edit: Hatta senin için algoritma değil sadece sonuç önemliyse machine-learning-as-a-service platformları gırla dolu internette. Sen sadece datanı veriyosun; onlar sana modeli gönderiyor.

Yok diyorsan ki ben bu işi ciddi ciddi öğrenmek istiyorum, o zaman gene temel algoritmalardan işe gireceksin; ama matematiklerine kadar öğren. Sonra SVMlere ucundan bakıp direk neural networklere giriş yaparsın. Temelinin sağlam olmasını istiyorsan bu konuda Geoffrey Hinton'ın coursera dersini izlemelisin. Ağır derstir; ama kaldırabilirsen bir ömür sana yeter. İşin içine biraz daha derinlemesine girince zaten CNN, LSTM, GAN vs. kolay kolay öğrenirsin.

Çoğu DL algoritmasının/architecture'ının da pratikte zaten ne yaptığı kolay anlaşılır şeyler. Yukarda dediğim tür librarylerle hemen koda dökebilirsin. Ama uğraşın ne kadar genelden uzaklaşırsa, bu alanda matematik temelinin olması senin o kadar çok işine yarıcaktır her zaman.

[senko]

muthis yonlendirici oldu sagol.

AI ustune master yapicam da biraz onbilgi ile gideyim diyorum.
Coursera'da bakayim aciksa kurs yardiririm :)

[reyou]

Phoenixlin said:

.

Ne guzel anlatmis adam yau. 👍 machine learning ile ilgili
Bi topik acip bizi egitsene :) bende spark ile bu ise
Girmek istiyorum, sirf bunun icin scala ve Python ogrenmeye basladim.

Ardindan tensorflow kurcalama planlarim var ama
Su anda bunlar bana keyword lerden ibaret :/

[Phoenixlin]

Scala'ya gerek yok. Ben scala biliyorum, o yüzden seçilmiş kişiyim mastürbasyonuyla ilgilenmiyorsan machine learning için çok mantıklı bir dil değil(courserada vakti zamanında dersini full puan toplayarak bitirdim bu arada).

Python öğrenmek atla deve değil bir de. Yıllardır Java'yla uğraşan biri olarak Java'da oturup NLP platformu projesinde de yer aldım; ama şu an bakıyorum resmen embesillik yapmışız. Belki 30k satır kod yazdık ama aynı işi Python'da herhangi bir library kullanarak (tensorflow/pytorch) hem daha kısa sürede hem de GPU destekli yapabilirdik.

Hani aynı anda hem Python hem de Tensorflow/Pytorch öğrenmek istersen; basic machine learning/deep learning eğitiminden geçip stanford'ın cs231 dersinin ödevlerine atla direk. Hatta yanlış hatırlamıyosam 1 sene önceye kadar pure pythonla deep learning architecturelarını kodlatıyolardı. Şu sıralar onlar da tensorflow'a ve pytorch'a geçti ödevlerde.

Bu basamakları geçtikten sonra da Bayesian Deep Learning'e gelin hep birlikte Bayes'in 7 sülalesine küfredelim =)

[reyou]

ya benim kurcaladigim kadari ile (tabi cahilim bu konuda hala)
tensorflow, array, matrix ve tensorler uzerinden ilerlerken, tree tarzi bir lerning model cikarmiyor. o yuzden GPU ile yardiriyor.

bunun disinda spark ise (ML modulunden bahsediyorum tabi) tree model'e odaklansmis durumda. yani bu konuda tam bir silverbullet yok sanirim.

ben business domain olarak ta, spark in ML modulu ile baslamak istedim, onu kafamda oturtunca digerlerine gecerim diye dusundum. cunku belli bir noktadan baslayip kullaniciyi hedef noktaya goturecek bir model kafamda tasarladigim.

o platformda scala'yi adamlar first class citizen olarak bellemisler, hatta ne yalan soliyim ben java'dan daha cok begendim. verilen ilk ornekler onun uzerinden oldugunda onu ogrenmek istiyorumki, tekrardan dilin syntax'i cok istah acici.

azili bir C# ci olarak, java kodu bana azeri turkcesi gibi geldiginden ondan pek sikinti yasamiyorum ama, sole bi karsilastirinca adamlar scala'yi java'nin phyton'u olsun diye cikarmislar sanki :) basit syntax yapisi, kolay kullanimi vs.

verdigin konulari bir arastiralim, sen yetkili bi abiye benziyosun, kaybolma ortalardan pls, seni durtelim arada :)-D (:P)

[Phoenixlin]

(Bildiğim kadarıyla) Spark'ın özelliği data processing'i hızlı bir şekilde yapabilmesi. Big data sahibiysen ya da canlı ortamda sistemine sürekli data akıyorsa kullanıyorsun. Data processing için bunu kullanırken haliyle SparkML'i kullanmak mantıklı gibi. Ancak, benim anladığım SparkML öyle ben kendi machine learning algoritmamı yazıyım ve Spark üstünde çalışsın türü bir şey değil. İçinde algoritmalar var ve sen sadece elindeki datayı bunun üzerinde process ediyosun. Ayrıca GPU üzerinde çalışmaması direk gözümde -1000 puan.

Tensorflow/Pytorch/vs. ise direk machine learning (aslında deep learning desek daha mantıklı) algoritmalarını tasarlaman ve çalıştırman için var. Açık konuşmak gerekirse bu librarylerin biriyle tasarladığım bir algoritmayı bugüne kadar hiç productiona çıkarmadım; o yüzden bu konuda ne gibi dezavantajları var bilemiyorum.

Ancak bu machine learning dediğin şeyin zaten production ortamında da olmasına çok gerek yok. Online (anlık gelen data ile) training yapmayacaksan, machine learning algoritman her zaman arka planda bir yerde durabilir. Sen de istediğin zaman yeni datalarla bu algoritmayı tekrar train edebilirsin ve çıkan model dosyasını sadece productionına bir resource olarak atarsın. Bunun en basit örnekleri de snapchat, instagram gibi suratınızı takip edip onun üstüne çük mük koyan uygulamalar. Bu uygulamalar sizin videonuzu görünce arka planda hemen machine learning algoritması çalıştırmıyor. Sadece sistemdeki model dosyasından ihtiyacı olan parametreleri kullanıp; suratınıza uygun çükü oturtuyor =)

[reyou]

orda yanlis bi anlasilma olmus, tensorflow first class citizen olarak GPU u kullaniyor, localde test eden fakirler icin CPU'a fallback yapiyor demek istemistim.

Spark ML'i de zaten GPU uzerinde kullanilmasini tavsiye ediyolar. zaten mantiken buffer'in genis olmasi gereken yerde, bu sekilde istenmesi sasirtmadi.

surda coguzel bi makaleye denk geldim

https://databricks.com/blog/2016/01/25/deep-learning-with-apache-spark-and-tensorflow.html

tensorflow spark uzerinde calisabiliyomus, bu tam bi tasta iki kus olayi.

https://databricks.com/wp-content/uploads/2016/01/image04.png


bu arada phyton'a basliyim dedim, dil resmen so good to be true.
ingilizce paragraf okuyorum zannettim lan sdfsf

ilk olarak paticik troll/spam filter yazalim bi tane :P burda deli input var nasi olsa hahah.

[Phoenixlin]

Ya işin şey boyutu var, Spark dediğin elindeki kallavi datayı handle edebilmen için var kolay bir şekilde. Hani mantıken zaten sparkla başlayıp tensorflow'la devam eden bir pipeline yapabilmen lazım her türlü. Onun haricinde tensorflow'un kendisi Spark'sız da distributed çalışabiliyor en nihayetinde(ki bunu da googledan başka kullanan yoktur heralde. En azından benim distributed kullanabileceğim bi computing farm'ım yok =)). Tabii Sparklı distributed training hızı, Tensorflow'un native distributed çalışmasına göre ne kadar speed up sağlar o konuda bir araştırma yapmadım. Benim sadık yarim tek tabanca Geforce 970M'im =)

Bir de tabii google'ın TPU (tensor processing unit) hardwareleri var ki adından da anlayacağın üzere direk olarak tensorflow hızlandırıcısı; ama öyle bir makine bizim elimize düşer mi düşse bir ev+araba fiyatı vermeden sahip olabilir miyiz orası meçhul.

[roket adam]

Dragonfire said:

şunu; "Big data is like teenage sex: everyone talks about it, nobody really knows how to do it, everyone thinks everyone else is doing it, so everyone claims they are doing it..." her yeni teknolojide diyorlar zaten. Go için de dediler, cloud içinde.

abi bir sunumda bunu türkçeye çevirip kullanmıştı göbekli bir danışman abi. yemin ediyorum kusmuştum. "cloud ergen seksi gibidir, herkes yapıyorum der ama kimse tam nasıl yapıldığını bilmez" tarzı bişi dedi, salon bi sessizleşti, mal gibi kaldık. bu da böyle bir anımdır.

[MaxDamage]

"roket adam" said:

Dragonfire said:

şunu; "Big data is like teenage sex: everyone talks about it, nobody really knows how to do it, everyone thinks everyone else is doing it, so everyone claims they are doing it..." her yeni teknolojide diyorlar zaten. Go için de dediler, cloud içinde.

abi bir sunumda bunu türkçeye çevirip kullanmıştı göbekli bir danışman abi. yemin ediyorum kusmuştum. "cloud ergen seksi gibidir, herkes yapıyorum der ama kimse tam nasıl yapıldığını bilmez" tarzı bişi dedi, salon bi sessizleşti, mal gibi kaldık. bu da böyle bir anımdır.

Espri yapmak zor iş, yer, zaman vs vs.

Bu güzel örnek olmuş ama.

[reyou]

o ornegi cobol dan beri turlu teknolojilere veriyolar zaten.