Hızlı Bir Şekilde Sayfalardan Veri Toplamak

[bingildak]

selamlar,

yanlış bölümde genel olarak html yardımı altında 2-3 soru sormuştum, doğru bölümde sorularıma devam ediyorum.

şimdi projemiz için bir sürü ürün görselini markaların global sayfalarından almamız gerekiyor.

görsel ve ürün sayısı çok fazla. bir üründe atıyorum 30 tane renk oluyor. 30 renk palet görselinin bir de ayrı boyutları var. ortalama her üründe 50-60 ufak-orta boyutlu görsel gibi bir şey diyebiliriz. total ürün sayısı bir markada 150-200 gibi ve 4 marka mevcut.

önceden yaptığım işte görsel sayıları bu kadar yüksek olmadığı için inspect der, linkten açar save eder kategorize ederdim. fakat bu kadar çok sayıda görseli böyle yaparsam bu iş bitmek bilmez.

bütün olarak sayfanın içeriği ve görsellerini indirmenin hızlı bir yolu var mıdır? winhttrack kullandım ama o palet görselleri gelmedi mesela. sayfada jpg olarak görünüyor ama indirilen klasörlerde hiç jpg dosyası yok.

çilem daha bunları indirmekle bitmiyor, isimlendirilmesi ve kategorilenmesi var. ondan bu indirme sürecini ne kadar hızlandırabilirsem sürec o kadar kolaylaşacak.

şimdiden çok teşekkür ettim

örnek sayfa olarak : http://www.shiseido.com/perfect-rouge/9990000000039,en_US,pd.html&cgid=makeup-lips-lipstick&&dwvar_9990000000039_color=00039_RS452

[moriarty]

sana güzel bi crawler lazım

[ad3m]

Image crawler googleladım ilk link denedim verdiğin linkten imajları topluyor çok basit bir uygulama bakıver işte.

http://sourceforge.net/projects/imagecrawler/?source=navbar

[bingildak]

kullandım ama sitedeki o palet imajlarını almadı, bağlantılı sayfaları da dahil et dedim bu sefer kendinden geçti yüzlerce görsel gelmeye başladı fakat verdiğim url'deki o palet görselleri hala gelmedi.

[roket adam]

Bi yere ilan ver, 50 liraya yapacak 30 tane öğrenci bulursun.

[bingildak]

çevirileri outsource ediyoruz zaten ya bunu veriyi toplamak ve kategori etmekle bitmiyor, daha sistem girişi olacak - sistem girişinde yine freelancer'a iş verecez.

toplama işini en azından ben yapabilirim diye düşünüyorum. düzgün bir tool gerekiyor sadece.

[pontipati]

websiteleri offline gezmek için programlar var. atıyom diyosun anasayfa+altsayfalar vs. ayarlıyosun onları kurcala derim

[bingildak]

siteyi direkt chrome üzerinden "save website as - all" diyorum.

bütün palet görselleri + seçili ana ürün görseli geliyor ama palet üzerine bastığımızda değişen diğer renklere ait ana ürün görselleri gelmiyor... onlar gelse hiçbir şeye gerek kalmadan bu şekilde hallederdim.

offline downloader denedim şimdi bir tane, o da çekemiyor.

scriptle değişiyor diye mi çekemiyor acaba? siteyi açıp inspect ettiğinde de mesela o görseller görünmüyor ama tıkladığında açıldıktan sonra images altında beliriyor o dosyalarda.

[ad3m]

Abi palet görsel dediğin thumbnail mı oluyor anlamadım ben?

[Cd-]

Cüzi bi ücrete bi crawler yazarım =)

[bingildak]

görselle anlatayım:

https://www.dropbox.com/s/8rijq7g17ax0jaj/Capture.JPG

1'deki renkler palet renkleri, fakat bunlar css koduyla generate edildiği için almama gerek yok, benim için önemli olan 2'deki gelen imajlar. 1'deki renk sayısı kadar 2'de imaj geliyor. ayrıca her renk için 3'de farklı ürün görseli var. her renge tıkladığın ana ürün görseli (3) de değişiyor.

bana bütün 2'deki renk imajları ve bütün 3'deki ürün imajları gerekiyor.

2'dekileri sayfayı download ettiğimde alıyorum direkt chrome üzerinden download page dediğimde. fakat 3'dekiler sadece renklere tıklandığında yüklendiği için sadece seçili olan tek bir dosya geliyor.

bir şekilde bütün renklere ait ürün görsellerini de almam gerekiyor, toplu bir şekilde.

[ad3m]

Adres verir misin görseldeki tarz bir sitenin deneme yapayım.

[bingildak]

http://www.makeupforever.com/int/en-int/make-up/face/foundation/hd-foundation

[ad3m]

Firefoxa FoxySpider yüklüyorsun

Yeniden başlattıktan sonra Çember içinde bir örümceğimsi icona sağ clickle Crawler kısmından limiti 1000 yap (yada kafana göre) Content kısmından sadece image kısmını aktif et inspect all mime types seç images larger than 16*16 yapıp uygula.

Sonra tekrar bu icona middle click at (crawl etmek istediğin sayfada iken) crawl pages within this url yi seç urlyi kontrol et doğruysa ok'e bas ve işine bak.

Cpu canavarı fakat sonuçlar etkileyici bir extension için.

İşine yararsa bağış yap adamlara banada bir malbuş sdf

[bingildak]

aynı problem var abi yine :

https://www.dropbox.com/s/sm9gftl634sh836/3123.JPG

download edilmiş hali bu. ürün görsellerinin (önceki gönderdiğimde 3 ile işaretli olan) farklı renklerini indirmiyor. sadece 2 tanesi geliyor. diğerleri siyah gif dosyaları olarak görünüyor. sizeları doğru ama imajın içeriği yok - siyah gif dosyası olarak geliyor.

eğer diğer renklerin ürün görselleri sadece tıklandığında aktif oluyor ve download ediliyorsa bunu nasıl tetikleyebiliriz? offline downloader'da alamıyor çünkü bu dosyaları. site açıkken görünen neyse default olarak onu alıyor. renk paletindeki icona tıklandığında ana imaj değişiyor (download ediliyor). bunu offline downloader yakalamıyor.

erişmeye çalıştığım görsellerin url'i şu şekilde eğer herhangi bir şekilde size anlam ifade ediyorsa :

farm1.static.makeupforever.com/sites/default/files/styles/sku__field_image_main__full/public/sku/37873/image_main/hd_foundation_37873.png?itok=9jrPE7n1

[ad3m]

Abi çünkü onları css ile renklendiriyor print screen yapıp alabilirsin ancak başka bir alternatif var mı bilmiyorum.

[ad3m]

Yani yuvarlak daha doğrusu palet dediğin renkler css ile renklendiriliyor.

[bingildak]

yok abi css olanları demiyorum :
https://www.dropbox.com/s/6pgggnz7f4zmy34/12341.JPG

imajda 1'deki icon'a bastığında 2'deki imaj yükleniyor.

eğer 1'deki icon'a basmazsan sayfa default olarak 2'deki imajı yüklemiyor. yüklemediği içinde biz sayfayı download ettiğimizde sadece default açıldığında orada olan görsel geliyor.

ben 1'deki css kodlarıyla gelen iconları download etmek istemiyorum, amaç 2'de tıklandığı zaman gelen görselleri download etmek.

firefox'da spider'ı çalıştırmadan önce 1'deki iconları tıklayarak bütün renkler için ürün görsellerini yüklemesini sağladım sonra download dedim ama yine sadece 1 tanesi geldi, diğerleri siyah gif'ler olarak görünüyor. boyutları doğru ama içeriği yok.

[pulkas]

Sana macro lazım.Diablo 3 te bi kaç tane item capture programı vardı.Ekranın sadece belli bölgesi için yada belli id deki itemları capture eden.

deki element tagını okuyup oradaki resmi capture edecek.cssle renk değiştirme olayı için mause macrosu olacak.O sağdaki renk paletini imleç gezerken imlecin renkten renge giderken ki sürede hesaba katılıp crop mroplu capture yapacak.