Veri Ambarı Uzmanı

[DoubleW]

Bugun iş görüşmesi için aradılar, yazılım için başvurmuştum ama junior java veya c# yazılım geliştirme için fakat uluslararsı bir şirket için veri ambarı uzmanı pozisyonu uygun gördük düşünür müsünüz böyle bir alanı dediler, bende olur deidm ( evde yatmıyim mantığıyla ).Sql sordular, daha önce çalıştığım databaseleri falan, neyse söyledim, sonra akıcı ingilizceniz var mı gibi sorular geldi evet dedim.( çok akıcı olmasa da rahat konuşurum ), Neyse perşembe görüşmemiz var.Pozisyon "Veri Ambarı Uzmanı".Şimdi şöyle bu pozisyona uygun paylaşabileceğiniz tavsiyeler var mı? Çok hazırlıksız yakalanmak istemiyorum.Kendi bilgileirmde var.Mssql mysql ve postgreSql ile çalışmışlığım var ama hiçbiri çok büyük ölçüde diil.Şirkette kullanıyordum.Yani tavsiye alim yardımcı olursnaız sevinirim.Tabi ki vazgeç bu sevdadan tarzı yaklaşımlarada sebep gösterildikçe açığım.

Teşekkür ettim.

[DoubleW]

Artun yetiş gel işten artık ssdf

[aquila]

ambar mi?

[DoubleW]

aqu aynen bende öyle dedim kadına ilk başta güldü falan bi etkileşim oldu orda

[senko]

BI konusundaki kitapları oku,
en güzel işte pişersin zaten.

[aquila]

ilk defa duydum ambar dendigini, enteresanmis. riglous gelir anlatir gorurse.

[Tcpip]

Genelde ismi belli olsa da çoğu ilanda abartı şeyler beklenir. Bunun bir sonu yok.

Veri ambarı uzmanı arkadaş
- Sql e takla attıracaksın
- Veri akışına hakim olacaksın
- Veri hareketlerini loglayabileceksin.
- Releation olmayan yerde bile her türlü raporu üretebileceksin.
- Releation olmayan yerde releation yaratabilecek iyileştirme yapabileceksin.

çıktım devamı gelicek :p

[vaperon]

High capacity storage farms, backup systems. Clustering vs vs. Sql zaten demişler, aklıma ilk gelen bunlar. Bir göz gezdir.

[DoubleW]

Saolun bilgiler için, şöyle sıralamalı muhakkak göz gezdirmem lazım zaten cv mi görüpte çok abartı beklemiyolardır diye tahmin ediyorum ben, yine de şurdan başla şunlara bak göz gezdir diye bi sıralama çıkartabilir misiniz, karışık şekilde başlamak istemiyorum.2günüm var yeterli bi süre çünkü hiç bilgisiz diilim

[DoubleW]

Tcpip said:

Genelde ismi belli olsa da çoğu ilanda abartı şeyler beklenir. Bunun bir sonu yok.

Veri ambarı uzmanı arkadaş
- Sql e takla attıracaksın
- Veri akışına hakim olacaksın
- Veri hareketlerini loglayabileceksin.
- Releation olmayan yerde bile her türlü raporu üretebileceksin.
- Releation olmayan yerde releation yaratabilecek iyileştirme yapabileceksin.

çıktım devamı gelicek :p

Gelsin gelsin, güzel yazmışsın, bir de sıralama olarak ilk şundan başlayarak şu konulara bak şeklinde yazabilirsen bana çok adha yardımcı olmuş olcaksın IP :)

[GEd]

Uluslararası , ambar falan, şifreli konuşmuş olmasınlar ?

[reyou]

serverin karsiligi heral de bu?

[riglous]

Veri ambarının İngilizcesi data warehouse.

İş Zekası konusu öyle küçük bir şey değil. Eski adı uzman yönetim sistemleri diye geçer. Ama iş o zamankine göre çok büyümüş tabi. Veri entegrasyonundan başlayaraktan veri madenciliğine kadar uzanan eğey büyük bir yelpaze var.

Veri ambarı uzmanı ne yapar? Muhtemelen veri entegrasyonu konusunda çalışma yapacaksın; kaynak sistemlerden hedef sisteme veri akışını gerçekleştireceksin. Muhtemelen zaten kurulu bir sistem vardır. Ona ek geliştirmeler falan yapılır. Tabi lafta bu kolay gözükse de sırf entegrasyon aşamasına kaynak sistem sorumluları, architect'ler, developerlar, testçiler falan derken zaten iş büyük boyutlu bir kobide 3 4 kişinin yapacağı bir iş haline geliyor. Tabi bu entegrasyonun içine data quality, yeri geldiğinde data migration falan da giriyor.

Peki bu ne işe yarıyor? Firmaların birçok kaynakta tutulan sebil gibi verisi vardır. Bunları birleştirmeden hakkıyla kullanamazsınız. Tabii ki operasyonel raporlama sistemleri mevcuttur ancak bunların amacı güncel veriyi tutmak olduğu için analize uygun veri sağlayamaz. Sonuç olarak birleştirilen veri veri ambarında tutulur. Genelde veri yoğunluğu nedeniyle data özet halde tutulur. Önemli olan zamansal tutarlılık sağlamaktır amaç. Geçen aya ait satış adedim bugün 100ken, yarın 110 oluyorsa bu sıkıntı yaratır. DWH en başta, geçmiş verinin aynı gözükmesini sağladığı için raporlarda tutarlılık sağlar. Verinin tek bir kaynağı olur ve tüm firma aynı yerden beslenir.
Bunun dışında operasyonel sistemden rapor almaya çalıştığınız zaman operasyonu yavaşlatmış olursunuz. Kaş yaparken göz çıkarmış olursunuz. Bunun dışında OLTP sistemlerde amaç en hızlı şekilde db'ye kayıt yazmaktır. OLAP sistemlerde amaç en hızlı şekilde analiz edebilmektir. Analiz etmek için de daha özet halde durur veri ve analiz edilebilir halde durur. Daha az normalize bir yapı kurulur. İlişkisel şeyler bir araya gelir. Yapı olarak farklıdır en başta... Bu raporların daha kolay oluşturulmasını sağlar. Ayrıca veri madenciliği için alt yapı oluşturur. Öbür türlü günlerce süren işlemler gerekir. Ayrıca operasyonel sistemler genelde kirlidir, tutarsız veriler vardır. DWH'ta bu sorunları çözmüş olursun. Temiz olur; kullanılabilir veri olur.

Bunun dışında ne desem işine yarar diye düşünüyorum. Muhtemelen iş zekası denince aklına ne geliyor diye sorarlar. İş zekası'nın birçok dalı var. Data Integration, Data quality, data cleansing, data migration, reporting, data analysis, data discovery, data mining. Genelde standart bir firmada bunlar bulunur. Wikipedia'da aratırsın zaten. DWH bu yukarıdaki konuların sonucu ve kaynağı oluyor (reporting'den sonrası kaynak olarak kullanıyor).

Bu konuda ilk makaleleri yazan iki kişi vardır, Inmon ve Kimball. İstersen bunlara da bakarsın ama sana kalmış, çok odaklanma. Inmon DWH'ın 3rd normal form'da tutulması gerektiğini söylüyor. Kimball ise denormalized sistemler gereklidir diyor.

Belki sorabilecekleri nasıl oluşturulması gerektiği falan olabilir. Hani senin bakış açını görmek için... DWH tasarlanırken top-down ve bottom-up diye iki yöntem kullanılırdı eskiden, Inmon'ı en kolay bottom-up ile uygulayabiliyorsun. Tüm kaynak sistemler alınıp birleştiriliyor. Gerekli olabilecek tüm Fact ve Dimension'lar yaratılıyor. Sonrasında raporlar hazırlanıyor. Ama bu yaklaşımda raporları kullanacak kişiler en son noktada geri dönüş alabiliyorlar. Yani 6 ay projenin geri dönüşü olmuyor. Buna karşılık Kimball amca diyor ki top-down daha mantıklı. Raporları tasarlayalım. Sonra altını dolduralım. Ama bunun sorunu da veri birkaç noktada aynı bilgiyi içermiş olabiliyor. Aynı bilgiyi içeren tablolar yapılabiliyor. En mantıklısı ve bugün kullanılan bunların karışımı metodlar. Kimball gibi başlıyor iş. Architect, ek geliştirmeleri DWH'a uygun şekilde entegre ederek planlıyor. Böylece Inmon'ınki gibi bütünleşik bir sistem ortaya çıkıyor.

Daha söylenecek çok şey var da bunları tabi zamanla öğrenirsin. Sorun olursa mesaj atarsın.

[riglous]

Aklıma geldikçe yazıyorum da... Yukarıdaki yazıyı okuyunca farkettim; çilesini yazmışım.

Eğlenceli bir konu. Yaptığın iş firmanın pazarlama ve satış stratejilerinin temelini olulşturuyor ve o tarafa en yakın yerde oluyorsun. Daha doğrusu raporlamacılar oluyor da, sen de onlara yakın oluyorsun. İlerleyen yıllarda biraz daha o taraflara kayabilirsin rahatlıkla.

Teknik anlamda birçok farklı konuda bilgi sahibi olman gerekiyor ama hiçbirisinde uzman olmuyorsun, çünkü uzmanlığın veri ambarı veya iş zekası oluyor. Bunu tam olarak end.müh. gibi düşünme ama. Şöyle söyleyeyim, hiçbir zaman DBA değilsin. Ama senin uğraştığın veri boyutu TB'ler olduğu için senin bildiğin şeyleri DBA'ler bilmeyebiliyor. Benim ayar verdiğim çok kişi oldu mesela. Çünkü standart kabuller geçerli olmuyor. Bunun dışında Sistem Admin değilsin. Ama yeri geldiğinde çatır çatır unix server'da sh script'i yazman gerekebiliyor. Ha yazmadan da veri ambarı uzmanı olursun. Ama yazabilenin yaptığı işler var, yazamayanların yaptığı işler var... Web sitesi tasarlayanlar kadar html falan bilmiyorsun ama görsel anlamda raporları tasarlarken epey kafa patlatıyorsun, yaparsan tabi.

Öyle işte. Sen sor, ben anlatayım...

[Mirage]

Aklıma gelen potansiyel sorular:
* Standard veritabanları ile veri ambarı arasındaki farklar nedir? (Veri ambarı terimini ben de ilk defa uydum ama mantıklı bir çeviri olmuş)
* "Büyük veritabanı" nedir?
* Veri ambarına ne zaman ihtiyaç duyulur?
* Veri ambarı alanındaki temel problemler nedir?

Üstteki sorunun cevaplarından birinin üzerine bir soru

* Veri ambarları ile diğer veri kaynakları arasında senkronizasyon yöntemleri nelerdir? Avantajları, dezavantajları nedir?

* Veri ambarlarında standard SQL dışında ne gibi eklentiler kullanılır? Neden?

[mightee]

adam aşka gelmiş resmen :D

[riglous]

Sanırım soruları arkadaş araştırsın diye sordun ama ben atlayıp cevap yazdım bazılarına. İhtiyacı olursa bakar.

Mirage said:

Aklıma gelen potansiyel sorular:
* Standard veritabanları ile veri ambarı arasındaki farklar nedir? (Veri ambarı terimini ben de ilk defa uydum ama mantıklı bir çeviri olmuş)

Veri ambarı da bir veritabanıdır aslında yani veritabanı sonuçta bir araçtır. Veri ambarı ise kavramsal bir şeydir. Ancak standarttan kastın OLTP sistemlerse amaç transaction'ı minimum sürede yürütmek oluyor. Ama veri ambarları OLAP sistemlerdir ki bunlar daha çok aggregation işlerini hızlı yaparlar. Bulk insert yapılır ve geri kalan zamanda okuma yapılır. Bu nedenle buna göre optimize edilir. (Microsoft'un OLAP server diye bir nanesi var ama o işin marketing oyunu. Normalde OLAP, analiz için kullanılan veritabanı tipidir.)

said:

* "Büyük veritabanı" nedir?

Büyük veritabanı'nı ben mi söyledim? Emin olamadım. Büyük veri tabanı değil de sanırım kastettiğin "big data". Big data adı üzerinde büyük veri demek ama karakteristik özellikleri vardır bunların. Standart veritabanlarına tutulamayacak kadar büyüktürler. Bu nedenle filebased sistemlerde tutulurlar. Genelde unstructured veridirler (as opposed to relational in relational databases). Hadoop, Hbase, Cassandra vs. Bunun konusu açılmıştı.

said:

* Veri ambarına ne zaman ihtiyaç duyulur?

Son kullanıcı (marketing, sales) analize yönelik iş yapmak istediği zaman genelde bu ihtiyaç ortaya çıkar. Bunun dışında aslında firmanın kurulduğu ilk günden itibaren zaten bir ihtiyaç vardır da, önemli olan kullanılabilir olması. Veri ambarlarının vazgeçilmez özellikleri vardır; subject oriented, integrated, nonvolatile, time-variant. OLTP sistemler, günlük işlerin işlemesi için veri tutarlar. OLAP sistemleri analize yönelik veri tutar ve bu nedenle konu odaklı olmalıdırlar. Belli bir konuda birçok farklı sistemden veri akışı olur. Bu nedenle verinin integrated olması gerekir. Bunun en güzel örneği postpaid ve prepaid sistemlerdir. Kontürlü hatların işleyişi için başka bir sistem bulunur, faturalı hatların işleyişi için farklı. Ama siz toplam gelirinizi hesaplarken her iki sistemi de birleştirmek zorundasınız. Nonvolalite olması biraz teorik bir konu. Şöyle ki yukarıda da bahsettim; veri ambarına veri konulduğu zaman bir daha silinmez, silinmemeli. Ayrıca Şubat ayında Ocak ayı satışları 10 gözüküyorsa, Mart ayında bakıldığında Ocak ayı satışları yine 10 gözükmelidir ki raporlar tutarlı olsun. Time variant konusu; DWH daima tarihsel derinlik içerir. Bu biraz olmazsa olmaz gibi bir konu. Çünkü genelde insanların yaptıkları ilk analiz geçmiş dönemle bu dönemi karşılaştırmak oluyor.

said:

* Veri ambarı alanındaki temel problemler nedir?

Bunun cevabı çook uzun. Bir sürü problem var. Bu nedenle biz varız.. Verilerin farklı granularity'de olması en büyük sorunlardan birisi. Bunun dışında kaynak sistemlerdeki verilerin karışıklığı genel bir sorun. Change Data Capture diye bir konu var; genel olarak her seferinde sil baştan yüklemektense CDC ile delta alınarak sadece yeni gelen kısım işlenerek DWH'a ekleniyor. Bunlar sana görüşme için yeter.

said:

* Veri ambarları ile diğer veri kaynakları arasında senkronizasyon yöntemleri nelerdir? Avantajları, dezavantajları nedir?

Truncate-load, incremental
Bunların dışında şunlara da bir bak: slowly changing dimension, change data capture

said:

* Veri ambarlarında standard SQL dışında ne gibi eklentiler kullanılır? Neden?

Standart aggregation vs.'nin ötesinde analitik fonksiyonlar kullanılır.
select customer_id, sum(trx_count) over (partition by customer_id order by year_month) from fact_contract_trx
gibi mesela.

Bunların dışında Fact ve Dimension kavramlarına bakmanı da tavsiye ederim. Fact nedir, dimension nedir..

[DoubleW]

Çok sağolun, eve 3saat önce gelmiş olmama rağmen elektrikleri kesmişler sanki inat gibi.Oyuzden ancak okudum yazılanları.

Riglous, söylediklerin kafamda baya yer tuttu açıkçası genel olarak anladım, Orda bahsettiğin teknik kavramları araştırıcam zaten, ilk işim bu olacak.Sorum olursa öm den mutlaka sorarım sana uygun olursan.

Artun sende sağol, sorularının cevaplarını Riglous yazmış,şimdi onlarla daha bi aydınlandım :) Msn de yakalayamadım şu elektrik yüzünden seni:D

Ek olarak Riglous'un açıklamalar baya kişyi aydınlatmıştır sanırım :)

Özellikle yarın daha fazla soru sorabilirim, baya bir kitlenicem bu konuya çünkü.

teşekkür ettim, yardım eden herkese

[kithnos_1]

hiç bişey yapamazsan , AMBAR dediler geldik bakışı yapar çıkarsın en kötü.

[riglous]

Görüşmeye gittin mi bilmiyorum ama gitmediysen şunu okumadan gitme sakın.

http://www.gartner.com/technology/reprints.do?id=1-196WFCB&ct=120207&st=sb

[DoubleW]

Riglous, ben gittim görüşmeye görüştüm hatta ama yazamadım buraya çünkü 30saat netim yoktu , bulunduğumuz bolgeye bağlı santralden kaynaklı.Neyse zaten baya bi döküman okuyarak gittim, mirage ın sorularına verdiğin cevaplardaki konulara göz gezdirdim.Baya da fikir sahibi oldum açıkçası.

Şu son linke şuanda bakıyorum, çok güzel ve açık anlatılmış.Bakalım geri dönüş yaparlar mı bilmiyorum fakat elimden geleni yaptım, şuanad merak ettiğim acaba bu tarz işlere başvuru yapabilir miyim? Tecrübe yokken pek tercih edileceğimi de düşünmüyorum açıkçası.

[LuNiZ]

hangi firmayla gorustun?

benim karim Teradata da senior warehouse consultant olarak calisiyor hali hazirda,

yetistircek birilerini de ariyorlardi bi ara, hala varmi pozisyon bilemiyorum ama, kontaklayayim seni istersen?

[DoubleW]

danışmanlık firması Brand İT ile görüştüm.Olur Luniz eğer uygun olursa beklerim haberini.CV mi de yollarım sana gerekirse