Jump to content
Forumu Destekleyenlere Katılın ×
Paticik Forumları
2000 lerden beri faal olan, çok şukela bir paylaşım platformuyuz. Hoşgeldiniz.

Twitch Clip'ten chati text datasi olarak cekmek Web Scraping


paradoksalkedi

Öne çıkan mesajlar

Selam,

Simdi elimde bir twitch clibi var. mesela su diyelim:
https://clips.twitch.tv/BenevolentPunchyLyrebirdMingLee

Ben bu klip suresince gecen tum chati timestampli bir sekilde cekmek istiyorum.

Node.js ve Puppeteer kullaniyorum su anda, nasil yapabilecegimi gosteren olursa Python da kullanabilirim.

Simdi soyle bir sorunum var, bu kliplerde chat videoplayer ile butunlesik akiyor playerin da devam etmesi lazim html'e dokmesi icin. videonun sonuna getirirsem basit bir sekilde query selector ile alabiliyorum, fakat ben hangi saniyede ne girildi seklinde otomasyon bir scrapper yazmaya calisiyorum ki bircok cliple calissin.

Nasil yapabilecegime dair fikri olan var mi?
Link to comment
Sosyal ağlarda paylaş

Networke bakarsan saniyede 1 falan bi url'e post request atiyo, onun icinde chat mesajlari donuyo, elbet orda bi yerde timestamp de vardir.
https://www.dropbox.com/s/t943k48mo6rlgge/Screen%20Shot%202018-08-31%20at%2023.14.21.png?dl=0

Yani web scraping olarak degil de kendin bi requestleri sirasiyla python'dan falan gondererek alabilirsin gibi mesajlari.
Link to comment
Sosyal ağlarda paylaş

o parse sitelerinden ziyade kendim yazmam lazim.

clipler de iirc'den donmedigi icin onlari kullanamiyorum yoksa api falan hallederdim sanirim.

get requesti ile api'dan chati cekiyor gibi ama sayfada alttaki clipleri falan da cekiyo galiba anlamaddim su get requestlerini biraz incelemem lazim sanirim. yoksa scraplenecek is degil galiba.
Link to comment
Sosyal ağlarda paylaş

https://stackoverflow.com/questions/48475925/how-would-i-get-all-links-or-clips-from-a-specific-channel-on-twitch-in-python?answertab=votes#tab-top

şöyle bir şey buldum, cevapta aslında twitchin gql sunucusuna requesti güzel göndermiş direkt çekiyor.

benim yapamadığım şey ise chrome dev>network'ten requesti bulamamak. şu üstteki koddaki "json_req"i nasıl almış network tabından incleyerek mesela? :(
Link to comment
Sosyal ağlarda paylaş

×
×
  • Yeni Oluştur...