finans icin data visualization

[Goering]

yapmak istedigim tam olarak su:

[Suark]

abi peki bunu niye kullanmıosun ben bile becerebiliorm bunu.
js olarak kullanınca bedava, pythonu paralı.

ama sanırım parasız olarakta alıp gömebiliosun falan

https://dash.plot.ly/installation?_ga=2.24206010.1857367076.1545286303-795204968.1545286303
https://plot.ly/products/dash/
https://dash-gallery.plotly.host/dash-oil-and-gas

[Goering]

yani javascript / d3/ highcharts
bunlar daha cok isimi goruyor gibi.

tabii kara cahilim ve coding'de asiri zayifim :)

diger library'ler daha genis, ve coguu ucretsiz.

//
ayni projeyi excel ve tableau'da 2-3 gunde bitirirdim ama ogrenmek adina bunlari yapiyorum

[Goering]

JSON response'un API'den gelen formati cok kotu.

yillar 2018Q1 olarak gozukuyor misal ama bunu tabii ki okutamiyorum.

JSON'daki response/data'yi nasil formatlicaz agalar (python'dan?)

response

{"id": "FINBOX:MU.stock_pref[FY2013.FQ3]", "path": "$.data[Preferred Stock (Quarterly)][20]", "date": "2013-05-31T00:00:00.000Z", "period": "FY2013.FQ3"}

SQL veya tableau'ya okutamiyorum, yok mu dolambacsiz bir yolu

[Lancelion]

arrow veya delorean librarylerine bakabilirsin python da date handling icin.

[Goering]

@lancelion: abi isimi gordu tesekkur ettim

_

http://drill.apache.org/

https://mapr.com/blog/apache-drill-its-drilliant-query-json-files-tableau-desktop/#.VYfRjFxVikp?utm_source=HootSuite

drill de guzelmis.
cozumler sinirsiz...

[Goering]

RDP falan millatta kaldi sanirim.

cloud da cok cost-effective degil herhalde, docker sanirim ragbet goren cozum...

[Goering]

abiler python data scrape etmek icin cok pratik ok ama,
sql veya excel'de datayi cok daha hizli duzenleyip isleyebiliyorum.
[python kullanma nedenim 3D data visul. / matriks olarak datayi duzenleyebilmek]


python'da ayni seyleri yapmak icin bir suru library ogrenmem gerekiyor?

ogrendigim python librarylerden bukle: requests, json, pandas, numbly
ogrenmem gereken uzuculer : NodeJS, html, websocket vs.

serverless yapsam cloud management vs. ugrasmicam ve web'e koymak daha kolay olucak, ama bir ton sey ogrenmem gerekiyor.
(en basitinden deployment :()

ozet:
data alabiliyorum (check)
data editleyip duzenliyebiliyorum (check)
2-3 data'yi merge edip duzenliyorum (check)
plot edebiliyorum (check)

web arayuzune baglayabiliyorum (NO)
JSON request / reply duzenleyip html yapabiliyorum (NO)

[reyou]

sen zoru halledip kolayda takilmissin.

ha gayret.

[reyou]

bugun k8s ile ilgili biseye bakarken sunu hatirladim https://grafana.com/ belki bi yerden ihtiyac gorur.

[Goering]

ayri bir ubuntu server'a node-red kurdum, olasiliklar sinirsiz gibi.

baska bir javascript framework onerir misiniz?

flow olmasi tabii ki cok onemli :)

[Goering]

simdi baya asama kaydettim.
python scriptler ayri ayri data aliyor.

) datayi nerde store etmeliyim?
) SQL/NoSQL/Mongodb/Google Sheets
) bildigim alternatifler bunlar.
) bana en kolay gelen mongodb/google sheets gibi.

* datayi nerde manage etmeliyim?
** datayi nerde saklamaliyim?

kafamdaki sema su sekilde:


ozellikle data storage/update/warehousing konusunda tavsiye istiyorum.
soyle yapsan daha guzel olurdu vs.

2-3 hafta icinde scrape isine baslicam.

[sardalya]

hic farketmez nerde store ettigin librarylerine bak en kolay gelenini kullan.

google sheetste simdi birsuru authentication, authorization, credentialsla falan ugrasacaksin gibime geldi, cunku binlerce APIsi var management sistemi cok daha karisik dogal olarak.

firebase onerebilirim


ayrica js'te buraya kadar gelebildiysen python'a 2 hafta zaman ayirsan suanki sistemini katlarsin.

[Goering]

usta, javascript bilgim 0.
python az cok biliyorum ama flask ve django karmasik geliyor :)

js diyince sadece JSON biliyorum.

bir de CSS Selector diye bir sey ogrendim, scrape etmek icin.

[Goering]

SQLite dusunuyorum.

isime uyar gibi duruyor?

[sardalya]

relational ise uyar ama tablo yaratmakla falan ugrasacaksin, var mi kullanacagin ORM? su devirde SQL yazmak assembly ile kodlamak gibi.

eger join falan yapmicaksan datalarla, nosql daha uygun.

onun icin de mongodb kullanabilirsin veya sqlite alternative for nosql falan ne varsa artik.

[Goering]

ORM ne demek bilmiyorum ki dalkshd?

standardization icin en hayvan secenek olan Apache Drill'e gectim ODBC driver ile JSON'un hakkindan gelebiliyorum su an.

apache drill => tableau

denicem bir sure :)

[Goering]

ORM bunu alicam herhalde
https://pypi.org/project/SQLAlchemy/1.3.0b1/

[Goering]

ORM: SQLAlchemy
- SQLite
- PostgreSQL

hangisinde calisayim?

[sardalya]

orm'nin amaci onu abstract etmek zaten, senin icin bir farki olmamasi lazim

eger JSONField kullanmayacaksan, cunku o SQlite'te yoktu en son..

column type olarak jsonfield kullanacaksan -> postgresql
kullanmayacaksan -> sqlite


simdi postgres kurmakla falan ugrasma bunlarin hepsi ayri is 10 tane ise kalkisip pes etme diye soyluyorum

[Goering]

tesekkurler cevap icin.

evet, gittikce komplike hala getirmeye gerek yok galiba :)

pandas => datatables x (5-6 source) => plot

jupyter veya ipython'dan takilirim artik.

//
2 kisiyiz aslinda bu projede, o yuzden web front-end yapmak istiyordum ama degmeyecek ugrasmaya :)

[reyou]

sqlite buyuk hacimli data lar icin pek uygun degil. ayrica scalable degil, uzun vadede uzulursun.

bulk data planlarin varsa elastic search, mongo gibi seyler le mutlu et kendini. mongo en temizi iste, indir, etc/bin/mongod, profit.

elastic search in guzelligi, kibana gibi misler misi bir dashboard u olmasi, ayrica direkt CRUD icin REST destekliyor, yani

localhost/api ile direk data ile oynayabilirsin, mongo icin driver fln gerek.

ayrica amazon un kendi icinde elastic search i var, 5 dakika icinde calismaya baslayabilirsin, ve search engine kisvesi altinda calistigi icin aradigin keywordler zort diye karsina cikiyor, monto db out of the box bu ozelligi vermeeyor.

[Goering]

reyou bey sagolun;

halihazirda AWS var, elastic search'e bakayim.

sqlite'dan caydirdigin icin de tesekkurler :)

[Goering]

GUI'li database/SQL yok mu?
(tableau tarzi ama o degil)
:D:D:D


harbiden beyin almiyor su yasta

[reyou]

https://demo.elastic.co/app/kibana

burda demo var, kibana elastic search i dashboardlaman icin cokh iyi.

amazonda direkt gir, elastic search hesabi ac, kibana yaninda geliyor zaten.

https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-index_.html

surdan da CRUD olaylarina bak, sonra search mearch akarsin iste.