Twitch Clip'ten chati text datasi olarak cekmek Web Scraping

[paradoksalkedi]

Selam,

Simdi elimde bir twitch clibi var. mesela su diyelim:
https://clips.twitch.tv/BenevolentPunchyLyrebirdMingLee

Ben bu klip suresince gecen tum chati timestampli bir sekilde cekmek istiyorum.

Node.js ve Puppeteer kullaniyorum su anda, nasil yapabilecegimi gosteren olursa Python da kullanabilirim.

Simdi soyle bir sorunum var, bu kliplerde chat videoplayer ile butunlesik akiyor playerin da devam etmesi lazim html'e dokmesi icin. videonun sonuna getirirsem basit bir sekilde query selector ile alabiliyorum, fakat ben hangi saniyede ne girildi seklinde otomasyon bir scrapper yazmaya calisiyorum ki bircok cliple calissin.

Nasil yapabilecegime dair fikri olan var mi?

[sanssizsansli]

ben olsam copy paste yaparım ne uğraşcam

[SpiderS_DangeR]

Networke bakarsan saniyede 1 falan bi url'e post request atiyo, onun icinde chat mesajlari donuyo, elbet orda bi yerde timestamp de vardir.
https://www.dropbox.com/s/t943k48mo6rlgge/Screen%20Shot%202018-08-31%20at%2023.14.21.png?dl=0

Yani web scraping olarak degil de kendin bi requestleri sirasiyla python'dan falan gondererek alabilirsin gibi mesajlari.

[senko]

hadi ya chat'ler böyle mi çalışıyor
ordaki url'i saniye de bir refresh et gibi?

[SpiderS_DangeR]

en azindan replay de boyle, canlisinda websocket falan vardir heralde

[paradoksalkedi]

hmm. cok az bilgim olmasina ragmen basimdan buyuk ise girmisim gibi :D

simdi baska klibe girip network tabindan izledim,
https://clips.twitch.tv/ManlyAcceptableTortoiseArgieB8

bunda mesela 58 tane comment *gozukuyor ama videoda 4 tane var. (data>video>comment>edges).

hmm. :D

[pulkas]

https://www.uipath.com/
https://www.octoparse.com/
https://a9t9.com/


----> https://help.twitch.tv/customer/portal/articles/1302780-twitch-irc


https://github.com/martynsmith/node-irc <-----

[paradoksalkedi]

o parse sitelerinden ziyade kendim yazmam lazim.

clipler de iirc'den donmedigi icin onlari kullanamiyorum yoksa api falan hallederdim sanirim.

get requesti ile api'dan chati cekiyor gibi ama sayfada alttaki clipleri falan da cekiyo galiba anlamaddim su get requestlerini biraz incelemem lazim sanirim. yoksa scraplenecek is degil galiba.

[paradoksalkedi]

https://stackoverflow.com/questions/48475925/how-would-i-get-all-links-or-clips-from-a-specific-channel-on-twitch-in-python?answertab=votes#tab-top

şöyle bir şey buldum, cevapta aslında twitchin gql sunucusuna requesti güzel göndermiş direkt çekiyor.

benim yapamadığım şey ise chrome dev>network'ten requesti bulamamak. şu üstteki koddaki "json_req"i nasıl almış network tabından incleyerek mesela? :(

[paradoksalkedi]

npm paketi buldum çözdüm ez.