muratcorlu / eksirss

Ekşi Sözlük başlıklarını RSS ile takip etme aparatı

ekşirss

EkşiSözlük başlıkları RSS kaynağı - https://eksirss.muratcorlu.com

eksirss's Issues

Ekşi'de olmayan başlıkların ele alınması

Ekşisözlük'te olmayan bir başlık girildiğinde bu konuda bir bilgilendirme yapılmalı

Artık çalışmıyor

Selamlar. 3 haftadır çalışmadığını yeni fark ettim. Bilginize.

çok fazla entry girilen başlıklarda tüm entry'lerin çekilmemesi

merhaba, bir süredir fark ediyorum eğer bir başlığa iki günde 300-400 entry giriliyorsa, bu entry'lerin en az yarısı rss olarak gelmiyor.

örneğin bu başlık için 300 civarı entry girilmiş ik, günde ama rss bunların yarısını bile çekmemiş.

https://eksisozluk.com/whatsapp--2239546

https://eksirss.muratcorlu.com/feed/?t=whatsapp

Güncellenmeyen RSS başlıkları

Merhaba,

Kontrol ediyorum uzun zamandır uygulamayı. Bazı başlıkların bir hafta kadar geride kaldığını görüyorum. Neden olabilir?

Geride kalmış RSS: https://eksirss.muratcorlu.com/feed/?t=gss%20prim%20borcu
Ekşi: https://eksisozluk.com/gss-prim-borcu--3557449?a=tracked&snapshot=65442192

Geride kalmış RSS: https://eksirss.muratcorlu.com/feed/?t=bein%20sports
Ekşi: https://eksisozluk.com/bein-sports--4719236?a=tracked&snapshot=65551734

Örnekler daha da çoğaltılabilir.

Entry içindeki relative linkler absolute hale getirilmeli

Entry'lerdeki diğer başlıklara verilen linkler baris manco herhalde <a class="b" href="/?q=stoic">stoic</a> biriydi örneğindeki gibi relative şekilde veriliyor. Bunların https://eksisozluk.com/?q=stoic şekline çevrilmesi lazım.

Datastore read/write sayılarını azaltma

Datastore'un günlük ücretsiz yazma kotası 20k, okuma kotası da 50k. Şu anda günde yaklaşık 80k write, 80k da read yapıyoruz. Bu sayıları kota içerisinde tutabilirsek projenin masraf çıkarmasını engeleyebiliriz. :)

Bazı şeyler için Memcached kullanımını biraz daha artırmak bir çözüm olabilir.

Entry'deki boşluk ve linklerin çalışmaması konusu

Merhaba,

Kullanmış olduğum bir bot, RSS'ler üzerinden data çekiyor ancak rss'teki BR taglarını ve linkleri doğru şekilde parse edemiyor. Bunun sebebinin de rss'in hiçbir html elementini vermemesi, sadece description'u vermesi olduğunu söylüyorlar.

Çözüm olarak da, ''HTML'i CDATA bölümündeki açıklama etiketlerine yerleştirilmelidir'' diyorlar.

RSS'ten alınan içerik böyle görünüyor. Kırmızı ile çizdiğim yerde boşluk olması lazım normalde: http://prntscr.com/dy41nw

RSS'te o alanda BR tagı var aslında. https://eksirss.muratcorlu.com/feed/?t=google%20pixel SS: http://prntscr.com/dy426j

Çözülebilir bir şey mi acaba bu ?

Ekşideki başlık sayfa sayısı düşünce yeni entryler çekilmiyor

İlginç bir durum olmuş. Data Store'da şöyle bir kayıt var:

URL'de p=3975 diyor ancak o başlıkta şu anda 3971 sayfa var. 3975'inci sayfayı çağırınca da boş sayfa geliyor, o yüzden bu sayfaya gelene kadar entryler çekilemeyecek gibi görünüyor. :)

Sanırım şu son sayfaya mı bakıyoruz kontrolüne bu istisnai durumu da eklemek lazım.

Eski tarihli entry'lerin gelmesi konusu

Merhaba,

Aslında proje yeniden ayağa kalktığından beridir başıma geliyordu ama bu bir problem midir yoksa akışın olağan bir parçası mıdır anlayamamıştım.

Bazı başlıklara ait çok eski entry'ler üçer beşer gece yarısı ulaşıyor. Örneğin aşağıdaki rss'e ait 2013 2014'e ait entry'ler dün gece gelmiş. Buna benzer başlıkları da çok gördüm. https://eksirss.muratcorlu.com/feed/?t=el+kaide

Neden eski tarihli entry'ler çekiliyor olabilir ? Genelde gece yarısı oluyor bu iş.