Sanal Veritabanı Teknolojisi (Virtual Database Technology)

[Ra_d]

Yeni bir "hem ziyaret, hem ticaret" mevzuu ile karşınızdayım. :)
aşağıdaki 1998 yılında bulunmuş olan, yeni sayılabiecek(göreceli) bi kavramı açıklayan bi paper.Bunu hem sizinde okumanızı istedim, hemde göremediğim hataları veya kötü(mantıksız) gözüken cümleler varsa bi feedback olsun dedim.Neysa buyrun afiyetle okuyun:

Sanal Veritabanı Teknolojisi:
İnterneti Bir Veritabanına Dönüştürmek
Bazı tahminlere göre ,dünyadaki verilerin % 90’ı ilişkisel veritabanlarının haricinde, web siteleri, ilişkisel olmayan veritabanları, dosya sisyemleri, kalıtımsal uygulamalar arasında dağılmıştır. Bu veri kaynakları bilgiyi organize etme şekilleriyle(veri erişimi ve sorgu mekanizması v.b.) farklılaşırlar. Bu farklılıklar verileri farklı kaynaklardan bir araya getirme işini zorlaştırır. Sanal veritabanı teknolojisi(SVT), harici veri kaynaklarını, kurumların ilişkisel veritabanlarının uzantısı gibi davranmaya zorlar. SVT kullanmak, uygulamaların çeşitli veri kaynakları üzerinde çok daha güçlü sorgular yapmasını sağlar. SVT istenilen kaynaklardan, bu yapıları toplar, birleştirir ve programcıya tek, birleşmiş bir ilişkisel veri tabanı yönetim sistemi(İVTYS-Eng:RDBMS) uygulaması döndürür. SVT uygulamalarına örnek olarak internette iş arama uygulamasını alalım.İş arayanın doğru bir kariyer seçimi yapması için, hem uygun olan işler hakkında bilgilere, hemde o işle ilişkili detay bilgilere(Bölgedeki ev fiyatları,okul bölgeleri,suç istatistikleri vb) ihtiyacı vardır.İş arayanın aşağıdaki kriter ile aramaya başladığnı düşünelim:

• Şirketlerdeki satış müdürlğü pozisyonları arasından, San Francisco’ya 15 mil uzakta olan

ve şirketin hisseleri geçen üç seneye göre, her sene en az %25 artmış olanları bul.
İş arayan kişi herhangi bir internet arama motorundan anahtar sözcük araması(satış müdürü, San Francisco v.b.) yapabilir. Fakat bu aramanın duyarlılık bakımından yetersiz olacağı ve pek çok uygun işin kaçırılıcağı açıktır. STV teknolojisi bu sorunu, binlerce şirketin açık pozisyonlarını birleştirmek ve bunları iş başlıklarına, kategoisine ve diğer özelliklerine göre indekslemek, ardından bunları coğrafi yerlerine ve diğer kaynaklardan edindiği hisse senedi fiyatlarının artışlarına göre bir araya getirmek, suretiyle çözmektedir. Bir programcı bir SVT sistemine, standard SQL komutları kullanarak erişebilir. Ayrıca bir uç kullanıcı bu sorguyu oluşturmak için grafiksel arayüzü olan bir uygulama kullanabilir. Uygulama çoğunlukla Web üzerinde çalışır ve arayüz’de HTML formunda olur. Teknoloji özellikle kurumsal dizgiler ve veri depolaması ile birleştiğinde etkili olmaktadır. SVT kullanımı, şiketler alışıldık olmayan ve harici veriler içerseler bile, anahtar karar-destek(decision-support) uygulamalarına olanak tanımakadır.
Teknoloji Mimarisi
Junglee şirketi ile icat ettiğimiz SVT teknolojisi için patent başvurumuzu yaptık. Geliştirdiğimiz veritabanı, birleştirilmiş şemalar üzerinde çalışarak, SQL sorgularını JDBC veya ODBC uygulamalarına dağıtmaktadır. Uygulamanın kendiside Delphi, PowerBuilder gibi standart geliştirme araçlarını kullanarak kurulabilir veya bir Web sunucusunun içine yerleştirilebilir. SVT doğrudan, SVT sunucusuna bağlanır ve tarayıcı-tabanlı SVT konsolu tarafından idare edilir. SVT aynı zamanda her bir harici veri kaynağı için, o kaynağı SVT sunucusuna arayüzleyen, bir dönüştürücü(wrapper) içermektedir. SVT sunucusu bu ayrı ilişkisel veritabanlarını tek bir sanal veri tabanı altında birleştirir.
Dönüştürcü(wrapper) tipik olarak taşıma için HTTP ’yi ve yazı biçimlendirmesi için HTML ‘i ayrıca standart Web protokolleri olan FTP, XML ve HTTPS’i arayüzlemektedir. Aynı zamanda dönüştürücü, protokollerle ilgili işleride(formlar, kimlik denetimi,cookie) üstlenmişdir.Dönüştürücü Web sayfalarından özellikleri cıkarsıyabilmek için ,dilbilimsel işleme uygulayan çıkarsama kurallarını, verileri eşlemek ve şemaları uygun şekilde biçimlendirmek için veri taşıma kurallarını ve veri bütünlüğünü sağlamak için veri onaylama kurallarını kullanır. Bir veya birkaç veri kaynağı ile etkileşimde bulunan az gereksinimli java uygulamaları, dönüştürücü ile direk arayüzlenebilirler. Uygulama her bir veri kaynağını, kendi şeması ile bilikte, ayrık JDBC kaynağı olarak görür ve her kaynağın gereksinimi olan verileri ayrıca birleştirerek bağlamak zorundadır. Çok fazla veri kaynağı ile etkileşimde bulunan karmaşık uygulamalar SVT’nin tüm fonksiyonelliğini kullanır. Sanal veritabanı yönetim sistemi(SVTYS) farklı veri kaynaklarındaki bütün tabloları, sanal tablolar olarak, sanal veritabanı altında yeniden düzenler, ve bu tablolar üzerinde ilişkisel veritabanı yönetim sistemlerinin (İVYTS) bütün özelliklerini sağlar. Bir sorgu SVTYS’ ne ulaştığında, sorgu işlemcisi soruguyu ayrıştırır, farklı veri kaynaklarına gönderilecek kısımları belirler ve gelen sonucu birleştirir. Veri kynaklarından gelen sonuçlar daha iyi bir performans için bir önbellekte toplanır.
Çalışan SVT: Gerçel - Dünya Uygulamaları
Junglee’de SVT’yi istihdam sınıflandırmaları

[Ra_d]

uygulandığı siteler:
Junglee Corp.

Washington Post'un çıkarttığı - Career Post[signature][hline]Benim Şirket
Gerçi son zamanlarda pek ilgilenemiyorum ama,
işte şimdilik kendini idare ediyo.

[sharky]

Çok güzel..

Fakat kafamda bazı algılayamadığım noktalar oldu, araştırıyorum zaten bir yandan da.

Yani SVT ( veya VDT ), bildiğimiz bir SQL veritabanı kullanan bir uygulama mı aslında ? n kadar kaynaktan, belirli periyotlar içinde, verilerini güncelleyerek - ki bu kaynakların da buna hazır şekilde oluşturulması gerekir diye düşünmekteyim -, veritabanına atan ve sonra bir ara yüz ile complex queryler yapan bir uygulama.

Yani bir teknoloji demek için fazla üst düzey bir program değil mi ?[signature][hline]There are 10 types of people in the world: Those who understand binary, and those who don't..
.. Sys. Adm. of Paticik(s), Ethernass, Ekohost, and many individual servers ..

[Ra_d]

yok hayır.
şimdi veritabanlarının hepsinin kayıtları saklamak için ayrı bi yapısı var.VDB teknolojisi bunların içinden kayıtların yapılarını ortak bir paydada buluşturmak için denkliyor(ing:normalize,denklemek türkçe tam karşılığımı bilmiyorum).

yani işverenlerin listeleri arasında bir işverenin iş ilan kaydında work_city diye bi attribute bulunsun. başka bir işverendede city diye bir attribute bulunsun. bunların içeriklerine göre kıyaslıyarak, ikisinin aşağı yukarı aynı şey olabileceklerini assume ederek devam ediyor.buna Attribute Interpreter(nitelik yorumlayıcısı) veya Attribute Classifier(nitelik sınıflandırıcısı) diyorlar.yani nasıl 3D bi oyunun başarısı grafik motoruna bağlıysa bununda başarısı bu interpreter'a bağlı.iyi hazırlanmış bir classifier'la başarı oranlarının %90 larda olduğu söyleniyor.[signature][hline]Benim Şirket
Gerçi son zamanlarda pek ilgilenemiyorum ama,
işte şimdilik kendini idare ediyo.

[Bu mesaj Ra_d tarafından 31 Mayıs 2004 19:50 tarihinde değiştirilmiştir]

[sharky]

Hııımmmm...

Sonuç olarak VDB ( VBD mi ? VDT mi ? VDBT mi ? ), bir veritabanı motoru mu, yoksa bir program mı ?

Yani veri nerede saklanıyor ?[signature][hline]There are 10 types of people in the world: Those who understand binary, and those who don't..
.. Sys. Adm. of Paticik(s), Ethernass, Ekohost, and many individual servers ..

[Rahan]

şimdi sağlayacağı imkanlar çook güzel, yani googledan büyük bi devrim olur yaparlarsa

bu wrapper ları kim yazacak?
yazacak kişiler sisteme dahil olmak isteyen siteler ise, katılmak istemeyen sitelerin wrapperlarını kim yazıcak.[signature][hline]KEDIDIR KEDI !

[Ra_d]

VDB tech diye geçer.
Uygulamanın kendiside Delphi, PowerBuilder gibi standart geliştirme araçlarını kullanarak kurulabilir veya bir Web sunucusunun içine yerleştirilebilir. SVT doğrudan, SVT sunucusuna bağlanır ve tarayıcı-tabanlı SVT konsolu tarafından idare edilir.

bide yani kazık sorular soruyosunuz.:-) yani daha bunlar eminin Mr.Norvig ve Mr.Rajaraman 'ınm aklında bile kesin değildir.yani şu dökümanı okuduğunuzda aşşa yukarı benimle aynı bilgiye sahip olduüğunuzu belirtiyim. :) yeni bi teknoloji sonunçta.[signature][hline]Benim Şirket
Gerçi son zamanlarda pek ilgilenemiyorum ama,
işte şimdilik kendini idare ediyo.

[sharky]

Hıııııı. :)

Ne bilelim. Biz de heyyo heyyo bilgi diye atladık üzerine hehe.[signature][hline]There are 10 types of people in the world: Those who understand binary, and those who don't..
.. Sys. Adm. of Paticik(s), Ethernass, Ekohost, and many individual servers ..

[Ra_d]

ya bi paper daha çevirecem.ben şunları beğendim.arasından seçin bi tane(tarih sıralarına göre):

One-to-One Dependencies in Database Design
Shoval, P.;Knowledge and Data Engineering, IEEE Transactions on , Volume: 3 , Issue: 3 , Sept. 1991
Pages:371 - 379

Selecting and Implementing an Embedded Database System
Olson, M.A.;Computer , Volume: 33 , Issue: 9 , Sep 2000
Pages:27 - 34

Science and Engineering Databases in An Open-Source Software World
Chonacky, N.; Choi, D.;
Computing in Science & Engineering [see also IEEE Computational Science and Engineering] , Volume: 5 , Issue: 3 , May-June 2003
Pages:10 - 13[signature][hline]Benim Şirket
Gerçi son zamanlarda pek ilgilenemiyorum ama,
işte şimdilik kendini idare ediyo.

[Rahan]

yanlış anlamadıysam olay şu
veri bende duruyo, elemanın db şeysi benim site için hazırladığım wrapper interface e varmı bu sende diye soruyor, bu wrapperlar veritabanı gibi davranıp siteyi arıyor. ana sistem de sanki binlerce makinada mysql yüklüymüşçesine harıl harıl arama yapıo. valla yannış anladıysamda bu fikir böle güzel oldu satarım ben bunu ilerde[signature][hline]KEDIDIR KEDI !

[Bu mesaj Rahan tarafından 31 Mayıs 2004 20:20 tarihinde değiştirilmiştir]

[Rahan]

database dizayn derim isterim, hatta çevirmessen bile bilgisayarda kopyası varsa göndermeni isterim.[signature][hline]KEDIDIR KEDI !

[Ra_d]

oha bire-bir bağımlılıkları'mı istiyosun?
yani o en son tercihim olur.bence seninde en son tercihin olsun.feci matematiksel olmuş.acayip kanıtlar var.

o zaman niye koydun diyeceksin ben abstact paper'ına bakmıştım onun.tamamını inceleyince sıkar biraz.yinede istiyosan web'e koyarım.

diğer ikisi arasından seçim yaparsanız iyi olur. diğer ikisini kesin çevirebileceğimi garanti ediyorum.[signature][hline]Benim Şirket
Gerçi son zamanlarda pek ilgilenemiyorum ama,
işte şimdilik kendini idare ediyo.

[Rahan]

eheh o zaman neden koydun be canım onu oraya, ben ingilizcesine de razıyım bi yerlere upload çok iyi olur. bizim bölümde bol bol mat var şimdi olmassa seneye anlarım :D hatta elinde db dizayn la ilgili başka yazı varsa da alabilirim.(normal formların dışında artı bi bilgim yok), tabi istersen bendeki dökümanları da paylaşabilirim 60mb lık tutorial kütüphanem halka açıktır :)

benim başka bi seçimim yok gerisi keyfinize kalmış :)

birde bunlar akademik makale sanırım, netten mi buluyorsun yoksa kütüphane falan mı?
edik:bu smileyler çok yavşak bakıyo
[signature][hline]KEDIDIR KEDI !

[Bu mesaj Rahan tarafından 01 Haziran 2004 00:11 tarihinde değiştirilmiştir]

[Ra_d]

said:

ben, 31 Mayıs 2004 23:54 tarihinde demişim ki:
o zaman niye koydun diyeceksin ben abstact paper'ına bakmıştım onun.tamamını inceleyince sıkar biraz.

bunları bizim okulun IP denetimli kütüphanesinden buluyorum.okul dışından indirilmiyor. daha çok IEEE kütüphaneleri yeterli oluyor.[signature][hline]Benim Şirket
Gerçi son zamanlarda pek ilgilenemiyorum ama,
işte şimdilik kendini idare ediyo.