Jump to content
paradoksalkedi

Twitch Clip'ten chati text datasi olarak cekmek Web Scraping

Öne çıkan mesajlar

§ 31 Ağu 2018, 19:29
Selam,

Simdi elimde bir twitch clibi var. mesela su diyelim:
https://clips.twitch.tv/BenevolentPunchyLyrebirdMingLee

Ben bu klip suresince gecen tum chati timestampli bir sekilde cekmek istiyorum.

Node.js ve Puppeteer kullaniyorum su anda, nasil yapabilecegimi gosteren olursa Python da kullanabilirim.

Simdi soyle bir sorunum var, bu kliplerde chat videoplayer ile butunlesik akiyor playerin da devam etmesi lazim html'e dokmesi icin. videonun sonuna getirirsem basit bir sekilde query selector ile alabiliyorum, fakat ben hangi saniyede ne girildi seklinde otomasyon bir scrapper yazmaya calisiyorum ki bircok cliple calissin.

Nasil yapabilecegime dair fikri olan var mi?

Bu mesajı paylaş


Bu mesajın linki
Sosyal ağlarda paylaş
§ 31 Ağu 2018, 19:33
ben olsam copy paste yaparım ne uğraşcam

Bu mesajı paylaş


Bu mesajın linki
Sosyal ağlarda paylaş
§ 31 Ağu 2018, 20:17
Networke bakarsan saniyede 1 falan bi url'e post request atiyo, onun icinde chat mesajlari donuyo, elbet orda bi yerde timestamp de vardir.
https://www.dropbox.com/s/t943k48mo6rlgge/Screen%20Shot%202018-08-31%20at%2023.14.21.png?dl=0

Yani web scraping olarak degil de kendin bi requestleri sirasiyla python'dan falan gondererek alabilirsin gibi mesajlari.

Bu mesajı paylaş


Bu mesajın linki
Sosyal ağlarda paylaş
§ 31 Ağu 2018, 20:20
hadi ya chat'ler böyle mi çalışıyor
ordaki url'i saniye de bir refresh et gibi?

Bu mesajı paylaş


Bu mesajın linki
Sosyal ağlarda paylaş
§ 31 Ağu 2018, 20:25
en azindan replay de boyle, canlisinda websocket falan vardir heralde

Bu mesajı paylaş


Bu mesajın linki
Sosyal ağlarda paylaş
§ 31 Ağu 2018, 20:57
hmm. cok az bilgim olmasina ragmen basimdan buyuk ise girmisim gibi :D

simdi baska klibe girip network tabindan izledim,
https://clips.twitch.tv/ManlyAcceptableTortoiseArgieB8

bunda mesela 58 tane comment *gozukuyor ama videoda 4 tane var. (data>video>comment>edges).

hmm. :D

Bu mesajı paylaş


Bu mesajın linki
Sosyal ağlarda paylaş
§ 31 Ağu 2018, 22:16
https://www.uipath.com/
https://www.octoparse.com/
https://a9t9.com/


----> https://help.twitch.tv/customer/portal/articles/1302780-twitch-irc


https://github.com/martynsmith/node-irc <-----

Bu mesajı paylaş


Bu mesajın linki
Sosyal ağlarda paylaş
§ 31 Ağu 2018, 23:20
o parse sitelerinden ziyade kendim yazmam lazim.

clipler de iirc'den donmedigi icin onlari kullanamiyorum yoksa api falan hallederdim sanirim.

get requesti ile api'dan chati cekiyor gibi ama sayfada alttaki clipleri falan da cekiyo galiba anlamaddim su get requestlerini biraz incelemem lazim sanirim. yoksa scraplenecek is degil galiba.

Bu mesajı paylaş


Bu mesajın linki
Sosyal ağlarda paylaş
§ 01 Eyl 2018, 11:49
https://stackoverflow.com/questions/48475925/how-would-i-get-all-links-or-clips-from-a-specific-channel-on-twitch-in-python?answertab=votes#tab-top

şöyle bir şey buldum, cevapta aslında twitchin gql sunucusuna requesti güzel göndermiş direkt çekiyor.

benim yapamadığım şey ise chrome dev>network'ten requesti bulamamak. şu üstteki koddaki "json_req"i nasıl almış network tabından incleyerek mesela? :(

Bu mesajı paylaş


Bu mesajın linki
Sosyal ağlarda paylaş

Yorum yazmak için üye olun veya giriş yapın

Yorum yazmak için üye olmanız lazım

Üye ol

Kayıt olun ve aramıza katılın!

Yeni bir hesap oluştur

Giriş yap

Zaten üyemiz misin? O halde giriş yap

Hemen giriş yap

×
×
  • Yeni Oluştur...