diff --git a/docs/DERS_BASVURU_DOGRULAMA_15_11.md b/docs/DERS_BASVURU_DOGRULAMA_15_11.md new file mode 100644 index 0000000..c5f80a4 --- /dev/null +++ b/docs/DERS_BASVURU_DOGRULAMA_15_11.md @@ -0,0 +1,80 @@ +# İlanı görmek ile başvuruyu doğrulamak + +Bu değişiklik yerel çalışma kopyasındadır; commit, push veya canlı veritabanı güncellemesi yapılmamıştır. + +## Neden ayrı bir tablo? + +`ilanlar.aktif`, ilanın kaynak listesinde takip edilip edilmediğini tutar. Kaynak listesi eski olabilir. +`ilan_dogrulamalari` ise başvuruya ilişkin kanıtı tutar. Aynı ilan listede görünüp başvurusu kapalı olabilir. + +- `durum`: acik / kapali / belirsiz. +- `neden`: kararın gerekçesi; ilan metni veya anahtar saklanmaz. +- `ilk_kontrol`: doğrulama takibinin başlangıcı. +- `kontrol_zamani`: son detay sayfası kontrol denemesi (başarısız denemeler dahil). +- `acik_dogrulama_zamani`: son açık kanıtı; başarısız kontrol bunu ilerletmez. +- `gorulmeme_sayisi`: son görülmeden beri ilanı içermeyen başarılı kaynak listelerinin sayısı. + +## Akış + +1. `depo/ilanlar.py`: ilan listede yeniden görülürse kayıp sayacı sıfırlanır. +2. ATS'nin açık listesinde bulunmak açık kanıtıdır. Detay sayfasından alınmış kapanış kanıtını tek başına silemez. +3. Başarılı listede ilk yokluk belirsizdir; ikinci yokluk `aktif=False` yapar. Hatalı tarama sayacı artırmaz. +4. Günlük `calistir`, ayrıntı çıkarımından sonra ve yayın/bültenden önce `dogrulama.py` adımını çağırır. +5. En çok 120 öğrenci ilanı, dört iş parçacığıyla kontrol edilir; detay kontrolleri arasında en az 24 saat vardır. +6. `isleme/basvuru.py` HTML'den kanıt çıkarır: tek H1 ilan başlığıyla eşleşen detay sayfasında kısa ve açık kapanış + ifadesi veya etkin başvuru bağlantısı/form kontrolü bulunmalı. Yönlendirme sonrası genel kariyer sayfasında ise + yalnızca aynı başlıklı tek iş kartının kendi etkin başvuru bağlantısı açık kanıtıdır. Başka kartların düğmeleri + sayılmaz. Lever gibi H1 kullanmayan ATS'lerde ilan başlığı ile aynı ilan adresine özgü başvuru bağlantısı birlikte + aranır; başvuru formu adreslerinde URL'deki ilan başlığı, sayfa metni ve etkin form birlikte kontrol edilir. + 200 yanıtı veya yalnızca başlık açık kanıtı değildir. +7. `depo.yayinlanacak_ilanlar`, kapalı ilanı site ve bültenden eler. Üç gündür açık kanıtı olmayan takipteki kayıtlar + da geçici olarak yayından düşer; silinmez. Başarılı kontrolle geri gelebilir. +8. JSON'daki `dogrulama` bilgisi siteye taşınır; belirsiz ilanlarda "Başvuru durumu doğrulanamadı" görünür. + +Üç gün ve 120 ilan ilk uygulamanın politika değerleridir, evrensel doğrular değildir. Canlıya geçmeden önce +kaynak başına belirsiz sonuç oranı ve kuyruk kapasitesi gözden geçirilmelidir. Kapalı durum sonraki ağ hatasında +unutulmaz; kapanış nedeni korunur, son deneme zamanı ilerler. + +## Sınırlar + +- İlk sürüm HTML okur; JavaScript çalıştırmaz, başvuru göndermez, CSS dosyalarını hesaplamaz. İşaretlenmiş gizli + ve disabled içerikleri; nav/header/footer/aside ve related/recommended alanlarını atlar. +- Çok ilanlı #çapa sayfaları, belirsiz kart yapıları ve tekil başlığı doğrulanamayan sayfalar belirsiz kalır. + Liste kartı tanıma yalnızca belirgin `article`/`li` işaretli ilan kartları için geçerlidir; her şirket desteklenmez. +- robots.txt korunur. LinkedIn, Kariyer.net, Youthall ve Jooble detayları okunmaz; bu alanlara yönlendirme takip edilmez. +- 403/404/410/429/5xx/timeout tek başına kapanış değildir. İlanın kaynakta kaybolması ile erişim hatası ayrıdır. +- Aynı firma/başlık/kaynak/konumla yeni adrese taşınan ilanın kayıp doğrulaması bekleyen eski kartı gizlenir; + iki adres aynı taramada bulunuyorsa sırf başlıkları aynı diye birleştirilmez. +- Ara tarama ATS listelerini okur; detay doğrulaması günlük işte veya elle `dogrula` komutuyla yapılır. +- Göç `0009` boş yeni tablo ekler; mevcut ilanları silmez. Uygulama göçü normal başlangıçta uygular. +- LLM çağrısı eklenmez; HTTP ve deterministik kurallar kullanılır. + +## Canlı sayfa örneklemi (15.11.2026) + +- GitHub'daki o güncel 55 ilan arasından farklı kaynaklardan 11 ilan sayfası robots.txt kurallarına uyarak salt okunur + kontrol edildi. Sonuç: 8 `acik`, 3 `belirsiz`, 0 `kapali`. Bu küçük örneklem doğruluk oranı ölçümü değildir. +- Workday ve Workable örnekleri HTML'de görünür ilan içeriği vermediği için, Skymod örneği ise tekil başlık ve başvuru + kontrolü eşleşmediği için belirsiz kaldı. Tarayıcı/ATS API desteği ayrı çalışma gerektirir. +- Test başvuru göndermedi, gerçek veritabanına yazmadı ve canlı siteyi değiştirmedi. + +## Öğrenme sırası + +1. `isleme/basvuru.py`: saf fonksiyon; HTML girer, karar çıkar. Ağ/veritabanı yok. +2. `dogrulama.py`: sıradaki kayıtları alır, HTTP ile okur, kararları kaydeder. +3. `depo/dogrulama.py`: kayıt ve yayın politikası. Ağ yok. +4. `__main__.py`: günlük akışta kontrolün nerede çağrıldığı. + +Yerel geçici veritabanları ve sahte HTTP ile test: + +```powershell +.\.venv\Scripts\python.exe -m pytest -q tests/test_basvuru_dogrulama.py tests/test_sema.py +``` + +Elle kullanım (gerçek HTTP isteği ve yapılandırılan veritabanına yazma içerir; test değildir): + +```powershell +.\.venv\Scripts\python.exe -m internreader dogrula --sinir 20 +.\.venv\Scripts\python.exe -m internreader yayinla +``` + +Bu çalışma sırasında bu komutlar canlı verilerde çalıştırılmamıştır. `yayinla` yalnızca çıktı üretir; GitHub'a push etmez. diff --git a/internreader/__main__.py b/internreader/__main__.py index a5933c2..291da69 100644 --- a/internreader/__main__.py +++ b/internreader/__main__.py @@ -36,6 +36,7 @@ from internreader.bulten import bultenleri_gonder from internreader.bulten.gonderim import deneme_gonder, hazirligi_yaz, onay_siniri, onizleme_gonder from internreader.db import oturum_fabrikasi, simdi +from internreader.dogrulama import basvurulari_dogrula from internreader.eposta import gonderici_olustur from internreader.gunluk import kayit_kur from internreader.ice_aktar import eski_onbellegi_ice_aktar, firma_listesini_esitle, firmalari_ice_aktar @@ -52,6 +53,8 @@ def main(argv: list[str] | None = None) -> int: ayristirici = argparse.ArgumentParser(prog="internreader", description="Türkiye staj ilanı toplayıcı") ayristirici.add_argument("--ayrinti", action="store_true", help="ayrıntılı kayıt (DEBUG)") alt = ayristirici.add_subparsers(dest="komut", required=True) + p = alt.add_parser("dogrula", help="başvuru sayfalarını kontrol et (LLM kullanmaz; 24 saatte en çok bir kez)") + p.add_argument("--sinir", type=int, default=120) p = alt.add_parser("ice-aktar", help="firma CSV'sini veritabanına al") p.add_argument("csv", type=Path) @@ -127,7 +130,9 @@ def main(argv: list[str] | None = None) -> int: return 0 oturum = oturum_fabrikasi(ayar.veritabani_url) - if arg.komut == "ice-aktar": + if arg.komut == "dogrula": + print(json.dumps(basvurulari_dogrula(ayar, oturum, sinir=arg.sinir), ensure_ascii=False)) + elif arg.komut == "ice-aktar": firmalari_ice_aktar(oturum, arg.csv, arg.kaynak) if arg.eski_onbellek: eski_onbellegi_ice_aktar(oturum, arg.eski_onbellek) @@ -172,6 +177,7 @@ def main(argv: list[str] | None = None) -> int: boru.ayrintilari_zenginlestir(ayar, oturum, yz=yz, yalnizca_ats=True) if arg.komut == "calistir": boru.ayrintilari_zenginlestir(ayar, oturum, yz=yz) + kayit.info("Başvuru doğrulama: %s", basvurulari_dogrula(ayar, oturum)) boru.yayinla(oturum) if ayar.bulten_elle: # pilot: önizleme Bilal'e gider, bülten "Bülteni gönder" ile elle çıkar hazirligi_yaz(oturum) diff --git a/internreader/ag.py b/internreader/ag.py index b156f48..c77adc1 100644 --- a/internreader/ag.py +++ b/internreader/ag.py @@ -13,6 +13,7 @@ import time import urllib.parse import urllib.robotparser +from collections.abc import Callable import requests from requests.adapters import HTTPAdapter @@ -89,8 +90,12 @@ def izinli_mi(self, url: str) -> bool: return True if rp is None else rp.can_fetch(self.kullanici_ajani, url) # --- istekler --- - def sayfa(self, url: str, robots_kontrolu: bool = True) -> tuple[str, str]: + def sayfa( + self, url: str, robots_kontrolu: bool = True, adres_izinli: Callable[[str], bool] | None = None + ) -> tuple[str, str]: """(son adres, HTML metni) döndürür. robots.txt izin vermezse RobotsEngeli fırlatır.""" + if adres_izinli is not None: + return self._denetimli_sayfa(url, robots_kontrolu, adres_izinli) if robots_kontrolu and not self.izinli_mi(url): raise RobotsEngeli(url) p = urllib.parse.urlparse(url) @@ -101,6 +106,20 @@ def sayfa(self, url: str, robots_kontrolu: bool = True) -> tuple[str, str]: icerik = govdeyi_oku(yanit, SAYFA_AZAMI_BAYT) return yanit.url, metni_coz(icerik, yanit.headers.get("content-type", "")) + def _denetimli_sayfa(self, url: str, robots_kontrolu: bool, adres_izinli: Callable[[str], bool]): + """Doğrulayıcı yönlendirmede yasak kaynağa istek göndermesin; her adreste robots da tekrar denetlenir.""" + for _ in range(6): + if not adres_izinli(url) or (robots_kontrolu and not self.izinli_mi(url)): + raise RobotsEngeli("Adres politikası veya robots engeli") + with self.oturum.get(url, timeout=self.zaman_asimi, stream=True, allow_redirects=False) as yanit: + if yanit.is_redirect: + url = urllib.parse.urljoin(url, yanit.headers["location"]) + continue + yanit.raise_for_status() + icerik = govdeyi_oku(yanit, SAYFA_AZAMI_BAYT) + return yanit.url, metni_coz(icerik, yanit.headers.get("content-type", "")) + raise requests.TooManyRedirects("Doğrulama yönlendirme sınırı aşıldı") + def json_al(self, url: str, basliklar: dict | None = None): """basliklar: isteğe özel başlıklar (ör. arama API'sinin anahtarı); oturumun ortak başlıklarına eklenir.""" with self.oturum.get(url, headers=basliklar, timeout=self.zaman_asimi, stream=True) as yanit: diff --git a/internreader/db.py b/internreader/db.py index 2dfa189..d6d0d46 100644 --- a/internreader/db.py +++ b/internreader/db.py @@ -83,6 +83,20 @@ class IlanKaydi(Taban): __table_args__ = (Index("ix_ilanlar_aktif_ilk_gorulme", "aktif", "ilk_gorulme"),) +class IlanDogrulama(Taban): + """Listede görülme ile başvuru durumunun kanıtı ayrıdır. Eski ilanlar kontrol edilene kadar kayıtsızdır.""" + + __tablename__ = "ilan_dogrulamalari" + kimlik: Mapped[str] = mapped_column(String(16), ForeignKey("ilanlar.kimlik", ondelete="CASCADE"), primary_key=True) + durum: Mapped[str] = mapped_column(String(12), default="belirsiz") + neden: Mapped[str] = mapped_column(String(100), default="henuz_kontrol_edilmedi") + ilk_kontrol: Mapped[datetime] = mapped_column(DateTime(timezone=True), default=simdi) + kontrol_zamani: Mapped[datetime | None] = mapped_column(DateTime(timezone=True)) + # Son kesin AÇIK kanıtı. Erişim hatası veya yalnızca listede görülme bu zamanı yenilemez. + acik_dogrulama_zamani: Mapped[datetime | None] = mapped_column(DateTime(timezone=True)) + gorulmeme_sayisi: Mapped[int] = mapped_column(Integer, default=0) + + class Siniflandirma(Taban): __tablename__ = "siniflandirmalar" kimlik: Mapped[str] = mapped_column(String(16), ForeignKey("ilanlar.kimlik", ondelete="CASCADE"), primary_key=True) diff --git a/internreader/depo/dogrulama.py b/internreader/depo/dogrulama.py new file mode 100644 index 0000000..d87f079 --- /dev/null +++ b/internreader/depo/dogrulama.py @@ -0,0 +1,77 @@ +"""Başvuru kanıtını sakla; liste tazeliği ile doğrulama tazeliğini karıştırma.""" + +from datetime import datetime, timedelta + +from sqlalchemy import select +from sqlalchemy.orm import Session + +from internreader.db import IlanDogrulama, IlanKaydi, Siniflandirma, simdi +from internreader.depo._ortak import utc +from internreader.isleme.basvuru import BasvuruSonucu + +BELIRSIZLIK_SINIRI = timedelta(days=3) +KONTROL_ARALIGI = timedelta(hours=24) + + +def dogrulama_kaydi(oturum: Session, kimlik: str, an: datetime) -> IlanDogrulama: + kayit = oturum.get(IlanDogrulama, kimlik) + if kayit is None: + kayit = IlanDogrulama( + kimlik=kimlik, + durum="belirsiz", + neden="henuz_kontrol_edilmedi", + ilk_kontrol=an, + gorulmeme_sayisi=0, + ) + oturum.add(kayit) + return kayit + + +def dogrulama_yaz(oturum: Session, kimlik: str, sonuc: BasvuruSonucu, an: datetime | None = None) -> None: + an = an or simdi() + kayit = dogrulama_kaydi(oturum, kimlik, an) + kayit.kontrol_zamani = an + # Kesin kapanış, sonraki bağlantı hatasıyla unutulmaz; ancak olumlu kanıtla tekrar açılabilir. + if sonuc.durum == "belirsiz" and kayit.durum == "kapali": + return + kayit.durum, kayit.neden = sonuc.durum, sonuc.neden + if sonuc.durum == "acik": + kayit.acik_dogrulama_zamani = an + + +def dogrulama_yayin_bilgisi(kayit: IlanDogrulama | None, an: datetime) -> dict: + if kayit is None: + return {"durum": "belirsiz", "neden": "henuz_kontrol_edilmedi", "kontrol_zamani": None, "bayat": False} + dayanak = kayit.acik_dogrulama_zamani or kayit.ilk_kontrol + bayat = an - utc(dayanak) >= BELIRSIZLIK_SINIRI + return { + "durum": "belirsiz" if bayat and kayit.durum != "kapali" else kayit.durum, + "neden": "dogrulama_suresi_doldu" if bayat and kayit.durum != "kapali" else kayit.neden, + "kontrol_zamani": utc(kayit.kontrol_zamani).isoformat() if kayit.kontrol_zamani else None, + "acik_dogrulama_zamani": utc(kayit.acik_dogrulama_zamani).isoformat() if kayit.acik_dogrulama_zamani else None, + "bayat": bayat, + } + + +def dogrulama_bekleyenler(oturum: Session, sinir: int, an: datetime) -> list[dict]: + # Yeni ilanlar ve en uzun süredir kontrol edilmeyenler önce. Kapalı olup listede hâlâ duranlar da + # tekrar açılmış olabilir; kontrol edilir. Jooble'ın robots ile yasakladığı detay sayfası okunmaz. + sorgu = ( + select(IlanKaydi, IlanDogrulama) + .join(Siniflandirma, Siniflandirma.kimlik == IlanKaydi.kimlik) + .outerjoin(IlanDogrulama, IlanDogrulama.kimlik == IlanKaydi.kimlik) + .where( + IlanKaydi.aktif.is_(True), + IlanKaydi.gizli.is_(False), + Siniflandirma.ogrenciye_uygun.is_(True), + IlanKaydi.kaynak != "jooble", + ) + .order_by(IlanDogrulama.kontrol_zamani.asc().nulls_first(), IlanKaydi.kimlik) + ) + adaylar = [] + for ilan, kontrol in oturum.execute(sorgu): + if kontrol is None or kontrol.kontrol_zamani is None or utc(kontrol.kontrol_zamani) <= an - KONTROL_ARALIGI: + adaylar.append({"kimlik": ilan.kimlik, "baslik": ilan.baslik, "url": ilan.url}) + if len(adaylar) >= sinir: + break + return adaylar if sinir > 0 else [] diff --git a/internreader/depo/ilanlar.py b/internreader/depo/ilanlar.py index ed79bb5..fe34f26 100644 --- a/internreader/depo/ilanlar.py +++ b/internreader/depo/ilanlar.py @@ -6,8 +6,9 @@ from sqlalchemy import select, update from sqlalchemy.orm import Session -from internreader.db import Firma, IlanAyrinti, IlanKaydi, Siniflandirma, simdi +from internreader.db import Firma, IlanAyrinti, IlanDogrulama, IlanKaydi, Siniflandirma, simdi from internreader.depo._ortak import _parcalar, utc +from internreader.depo.dogrulama import dogrulama_kaydi, dogrulama_yayin_bilgisi from internreader.isleme.guncellik import baslik_yillari, donem_yillari, guncellik, siralama_anahtari, supheli_ilan from internreader.isleme.kategori import ( alanlari_bul, @@ -18,6 +19,7 @@ ) from internreader.isleme.maske import kisisel_veriyi_maskele from internreader.isleme.tekillestirme import ilan_anahtari +from internreader.kaynaklar.ats import TOPLAYICILAR from internreader.model import HEDEF_ROLLER, OGRENCI_SEVIYELERI, Ilan from internreader.yayin import TURKIYE_SAATI @@ -28,8 +30,8 @@ def ilanlari_kaydet( """İlanları ekler/günceller. (yeni ilan kimlikleri, kapandığı anlaşılan ilan sayısı) döndürür. `sayfa_ilanlari_korunsun`: ara tarama kariyer sayfalarını okumaz; o kaynaktan gelen ilanlar görülmedi diye kapanmaz. - Kapanma kuralı: bu çalıştırmada başarıyla taranan bir firmanın, daha önce görülüp bu kez görülmeyen - ilanı kapandı sayılır. Taraması başarısız olan firmanın ilanlarına dokunulmaz (site çöktü diye ilan silinmez). + Kapanma kuralı: başarıyla taranan bir firmada üst üste iki başarılı listede görülmeyen ilan kapanır. + Hata veren tarama sayacı artırmaz. İlan yeniden görülürse sayaç sıfırlanır. Jooble ilanı bu kuralla kapanmaz: haftada bir gelir, aynı adlı firmanın günlük taramasında görülmemesi bir şey söylemez. Uzun süre görülmeyince bakım kapatır (gorulmeyen_jooble_ilanlarini_kapat). """ @@ -53,6 +55,13 @@ def ilanlari_kaydet( kayit.yayin_tarihi = min((t for t in (kayit.yayin_tarihi, i.tarih[:10]) if t), default="") kayit.aciklama, kayit.etiket = kisisel_veriyi_maskele(i.aciklama)[:20_000], i.etiket kayit.son_gorulme, kayit.aktif = an, True + kontrol = dogrulama_kaydi(oturum, kimlik, an) + kontrol.gorulmeme_sayisi = 0 + if kontrol.neden == "iki_basarili_listede_gorulmedi": + kontrol.durum, kontrol.neden = "belirsiz", "listede_yeniden_goruldu" + if i.kaynak in TOPLAYICILAR and kontrol.durum != "kapali": + kontrol.durum, kontrol.neden = "acik", "ats_acik_ilan_listesinde" + kontrol.acik_dogrulama_zamani = an # "Bu çalıştırmada görülmedi" kümeyle bulunur, zaman damgasıyla değil: saat çözünürlüğü kaba olan sistemlerde # (Windows) art arda iki çalıştırma aynı zamanı alabiliyor ve "son_gorulme < an" kapananları kaçırıyordu. @@ -63,7 +72,18 @@ def ilanlari_kaydet( ) if sayfa_ilanlari_korunsun: sorgu = sorgu.where(IlanKaydi.kaynak != "kariyer_sayfasi") - kapanacak += [k for k in oturum.scalars(sorgu) if k not in gelen] + for kimlik in oturum.scalars(sorgu): + if kimlik in gelen: + continue + kontrol = dogrulama_kaydi(oturum, kimlik, an) + kontrol.gorulmeme_sayisi += 1 + if kontrol.gorulmeme_sayisi >= 2: + if kontrol.durum != "kapali": + kontrol.durum, kontrol.neden = "kapali", "iki_basarili_listede_gorulmedi" + kontrol.kontrol_zamani = an + kapanacak.append(kimlik) + elif kontrol.durum != "kapali": + kontrol.durum, kontrol.neden = "belirsiz", "ilk_basarili_listede_gorulmedi" for parca in _parcalar(kapanacak): oturum.execute(update(IlanKaydi).where(IlanKaydi.kimlik.in_(parca)).values(aktif=False)) return yeniler, len(kapanacak) @@ -184,8 +204,29 @@ def yayinlanacak_ilanlar( sorgu = sorgu.where(IlanKaydi.ilk_gorulme <= once.astimezone(UTC)) sonuclar = list(oturum.execute(sorgu)) firmalar = _firma_profilleri(oturum, {ilan.firma for ilan, _, _ in sonuclar}) + kontroller = {} + for parca in _parcalar([ilan.kimlik for ilan, _, _ in sonuclar]): + kontroller.update( + {k.kimlik: k for k in oturum.scalars(select(IlanDogrulama).where(IlanDogrulama.kimlik.in_(parca)))} + ) + # İlan yeni adrese taşınırsa eski adres iki kontrol boyunca kayıtlı kalır. Aynı başlık, kaynak ve konumla + # bu taramada görülen kopyası varsa bekleyen eski adresi ikinci kart olarak yayınlama; kaydı kapatma. + guncel_anahtarlar = { + (ilan_anahtari(i.firma, i.baslik), i.kaynak, i.konum) + for i, _, _ in sonuclar + if i.kimlik in kontroller and kontroller[i.kimlik].gorulmeme_sayisi == 0 + } satirlar = [] for ilan, sinif, ayrinti in sonuclar: + kontrol = kontroller.get(ilan.kimlik) + if ( + kontrol is not None + and kontrol.gorulmeme_sayisi > 0 + and (ilan_anahtari(ilan.firma, ilan.baslik), ilan.kaynak, ilan.konum) in guncel_anahtarlar + and not bayatlar_dahil + ): + continue + dogrulama = dogrulama_yayin_bilgisi(kontrol, an or simdi()) etiket, kaynaklar = firmalar.get(ilan.firma, (set(), set())) etiket = etiket | set(ilan.etiket or []) ayrinti_sozlugu = _ayrinti_sozlugu(ayrinti) @@ -203,6 +244,10 @@ def yayinlanacak_ilanlar( ilan.baslik, utc(ilan.ilk_gorulme).astimezone(TURKIYE_SAATI).date(), ) + if dogrulama["durum"] == "kapali": + durum["bayat"] = "basvuru_kapali" + elif dogrulama["bayat"]: + durum["bayat"] = "basvuru_dogrulanamadi" if not durum["bayat"] and supheli_ilan(ilan.firma, ilan.baslik): durum["bayat"] = "supheli" if durum["bayat"] and not bayatlar_dahil: @@ -217,6 +262,7 @@ def yayinlanacak_ilanlar( "kaynak": ilan.kaynak, "yayin_tarihi": ilan.yayin_tarihi, "ilk_gorulme": utc(ilan.ilk_gorulme).isoformat(), + "dogrulama": dogrulama, "seviye": sinif.seviye, "rol": sinif.rol, "yapay_zeka": sinif.yapay_zeka, diff --git a/internreader/dogrulama.py b/internreader/dogrulama.py new file mode 100644 index 0000000..509a600 --- /dev/null +++ b/internreader/dogrulama.py @@ -0,0 +1,48 @@ +"""Başvuru durumunu düzenli doğrulama: sınırlı paralellik, robots, kaynak yasakları; LLM çağırmaz.""" + +from collections import Counter +from concurrent.futures import ThreadPoolExecutor + +import requests +from sqlalchemy.orm import sessionmaker + +from internreader.ag import HttpIstemci, RobotsEngeli, hata_ozeti +from internreader.ayar import Ayarlar +from internreader.db import simdi +from internreader.depo.dogrulama import dogrulama_bekleyenler, dogrulama_yaz +from internreader.isleme.basvuru import BasvuruSonucu, alan_yasak, sayfayi_dogrula + + +def basvurulari_dogrula(ayar: Ayarlar, oturum: sessionmaker, http: HttpIstemci | None = None, sinir: int = 120) -> dict: + an = simdi() + http = http or HttpIstemci(ayar.kullanici_ajani, ayar.http_zaman_asimi) + with oturum() as o: + adaylar = dogrulama_bekleyenler(o, sinir, an) + + def kontrol(ilan): + url = ilan["url"] + try: + if alan_yasak(url): + return ilan["kimlik"], BasvuruSonucu("belirsiz", "kaynak_politikasi_geregi_okunmadi") + if "#" in url: + return ilan["kimlik"], BasvuruSonucu("belirsiz", "coklu_ilan_sayfasi") + son_url, html = http.sayfa(url, adres_izinli=lambda adres: not alan_yasak(adres)) + if alan_yasak(son_url): + return ilan["kimlik"], BasvuruSonucu("belirsiz", "yasak_kaynaga_yonlendi") + return ilan["kimlik"], sayfayi_dogrula(ilan["baslik"], url, son_url, html) + except RobotsEngeli: + return ilan["kimlik"], BasvuruSonucu("belirsiz", "robots_engeli") + except requests.RequestException as hata: + # 404/410, 403, 429 veya timeout tek başına ilanın kapandığını kanıtlamaz. + return ilan["kimlik"], BasvuruSonucu("belirsiz", hata_ozeti(hata)) + except (ValueError, UnicodeError): + return ilan["kimlik"], BasvuruSonucu("belirsiz", "sayfa_cozumlendi_ama_okunamadi") + + with ThreadPoolExecutor(max_workers=min(4, ayar.is_parcacigi)) as havuz: + sonuclar = list(havuz.map(kontrol, adaylar)) + rapor = Counter() + with oturum.begin() as o: + for kimlik, sonuc in sonuclar: + dogrulama_yaz(o, kimlik, sonuc, an) + rapor[sonuc.durum] += 1 + return {"kontrol_edilen": len(sonuclar), **dict(rapor)} diff --git a/internreader/goc/surumler/0009_basvuru_dogrulama.py b/internreader/goc/surumler/0009_basvuru_dogrulama.py new file mode 100644 index 0000000..435ac19 --- /dev/null +++ b/internreader/goc/surumler/0009_basvuru_dogrulama.py @@ -0,0 +1,39 @@ +"""basvuru_dogrulama + +Revision ID: 0009 +Revises: 0008 +Create Date: 2026-11-15 14:31:47.512943 + +""" + +from collections.abc import Sequence + +import sqlalchemy as sa +from alembic import op + +# revision identifiers, used by Alembic. +revision: str = "0009" +down_revision: str | Sequence[str] | None = "0008" +branch_labels: str | Sequence[str] | None = None +depends_on: str | Sequence[str] | None = None + + +def upgrade() -> None: + """Upgrade schema.""" + op.create_table( + "ilan_dogrulamalari", + sa.Column("kimlik", sa.String(length=16), nullable=False), + sa.Column("durum", sa.String(length=12), nullable=False), + sa.Column("neden", sa.String(length=100), nullable=False), + sa.Column("ilk_kontrol", sa.DateTime(timezone=True), nullable=False), + sa.Column("kontrol_zamani", sa.DateTime(timezone=True), nullable=True), + sa.Column("acik_dogrulama_zamani", sa.DateTime(timezone=True), nullable=True), + sa.Column("gorulmeme_sayisi", sa.Integer(), nullable=False), + sa.ForeignKeyConstraint(["kimlik"], ["ilanlar.kimlik"], ondelete="CASCADE"), + sa.PrimaryKeyConstraint("kimlik"), + ) + + +def downgrade() -> None: + """Downgrade schema.""" + op.drop_table("ilan_dogrulamalari") diff --git a/internreader/isleme/basvuru.py b/internreader/isleme/basvuru.py new file mode 100644 index 0000000..82a188d --- /dev/null +++ b/internreader/isleme/basvuru.py @@ -0,0 +1,203 @@ +"""Başvuru sayfasından muhafazakâr kanıt çıkarımı; ağ ve veritabanından bağımsız. + +200, başlığın listede olması veya yalnızca JobPosting bulunması açık kanıtı değildir. +Yalnızca tek ilanın alanında kapanış veya etkin başvuru kontrolü aranır. Belirsizlikte tahmin edilmez. +""" + +import re +from dataclasses import dataclass +from html.parser import HTMLParser +from typing import Literal +from urllib.parse import parse_qs, urlsplit + + +@dataclass(frozen=True) +class BasvuruSonucu: + durum: Literal["acik", "kapali", "belirsiz"] + neden: str + + +def normal(metin: str) -> str: + return " ".join(metin.replace("İ", "I").casefold().split()) + + +class _Sayfa(HTMLParser): + def __init__(self): + super().__init__(convert_charrefs=True) + self.yigin = [] + self.metin = [] + self.basliklar = [] + self.durum_metinleri = [] + self.kontroller = [] + self.kontrol = None + self.baslik = None + self.kartlar = [] + self.kart_yigini = [] + self.kart_basligi = None + + def handle_starttag(self, tag, attrs): + a = dict(attrs) + atla = tag in {"script", "style", "noscript", "template", "head", "nav", "header", "footer", "aside"} + atla = atla or bool( + re.search(r"related|recommended|similar[-_ ]?jobs", a.get("class", "") + " " + a.get("id", ""), re.I) + ) + gizli = ( + "hidden" in a + or "inert" in a + or a.get("aria-hidden") == "true" + or a.get("aria-disabled") == "true" + or (tag == "fieldset" and "disabled" in a) + or bool(re.search(r"display\s*:\s*none|visibility\s*:\s*hidden", a.get("style", ""), re.I)) + ) + if tag not in {"input", "br", "hr", "img", "meta", "link", "source", "wbr", "area", "embed"}: + self.yigin.append((tag, atla or gizli or any(x[1] for x in self.yigin))) + if atla or gizli or any(x[1] for x in self.yigin): + return + if tag in {"article", "li"} and re.search( + r"(?:^|[\s_-])(?:job|position|opening|vacancy)(?:[\s_-]|$)", + a.get("class", "") + " " + a.get("id", ""), + re.I, + ): + kart = {"basliklar": [], "kontroller": []} + self.kartlar.append(kart) + self.kart_yigini.append((len(self.yigin), kart)) + if tag == "h1": + self.baslik = [] + if tag in {"h2", "h3"} and self.kart_yigini: + self.kart_basligi = [] + if tag in {"button", "a"}: + etkin = "disabled" not in a and a.get("aria-disabled") != "true" + if tag == "button": + etkin = etkin and a.get("type", "").lower() in {"", "button", "submit"} + hedef = a.get("href", "") + self.kontrol = (tag, etkin, hedef, []) + if tag == "input" and a.get("type", "").lower() == "submit": + etkin = "disabled" not in a and any(t == "form" for t, _ in self.yigin) + kontrol = ("input", etkin, "", a.get("value", "")) + self.kontroller.append(kontrol) + if self.kart_yigini: + self.kart_yigini[-1][1]["kontroller"].append(kontrol) + + def handle_endtag(self, tag): + if tag == "h1" and self.baslik is not None: + self.basliklar.append(normal(" ".join(self.baslik))) + self.baslik = None + if tag in {"h2", "h3"} and self.kart_basligi is not None: + if self.kart_yigini: + self.kart_yigini[-1][1]["basliklar"].append(normal(" ".join(self.kart_basligi))) + self.kart_basligi = None + if tag in {"button", "a"} and self.kontrol is not None and self.kontrol[0] == tag: + t, etkin, hedef, metin = self.kontrol + kontrol = (t, etkin, hedef, " ".join(metin)) + self.kontroller.append(kontrol) + if self.kart_yigini: + self.kart_yigini[-1][1]["kontroller"].append(kontrol) + self.kontrol = None + if self.kart_yigini and len(self.yigin) == self.kart_yigini[-1][0] and self.yigin[-1][0] == tag: + self.kart_yigini.pop() + for i in range(len(self.yigin) - 1, -1, -1): + if self.yigin[i][0] == tag: + del self.yigin[i:] + break + + def handle_data(self, data): + if any(x[1] for x in self.yigin): + return + self.metin.append(data) + self.durum_metinleri.append(normal(data).strip(" .!")) + if self.baslik is not None: + self.baslik.append(data) + if self.kart_basligi is not None: + self.kart_basligi.append(data) + if self.kontrol is not None: + self.kontrol[3].append(data) + + +_KAPALI = re.compile( + r"(?:we are )?no longer accepting applications(?: for this (?:position|role|job))?|applications (?:are |have been )?closed|" + r"this (?:job|position|vacancy) (?:is (?:now )?closed|has been (?:filled|closed))|" + r"şu an başvuru kabul etmiyor|artık başvuru kabul (?:etmiyor|edilmiyor)|" + r"başvurular (?:kapanmıştır|kapanmış|kapandı|kapatılmıştır|kapalıdır|sona ermiştir)|" + r"bu (?:ilan|pozisyon) (?:kapanmıştır|kapatılmıştır|için başvurular kapanmıştır)" +) +_BASVUR = re.compile( + r"^(?:apply(?: now| for (?:this (?:job|position|role)|the role))?|submit application|başvur|hemen başvur|başvuruyu gönder)$" +) +_ENGEL = re.compile( + r"verify you are human|checking your browser|just a moment|access denied|captcha|oturum açın|sign in to continue" +) +YASAK_ALANLAR = ("linkedin.com", "kariyer.net", "youthall.com", "jooble.org") + + +def alan_yasak(url: str) -> bool: + alan = (urlsplit(url).hostname or "").lower() + return any(alan == a or alan.endswith("." + a) for a in YASAK_ALANLAR) + + +def _etkin_basvuru(kontroller: list[tuple[str, bool, str, str]]) -> bool: + for tag, etkin, hedef, yazi in kontroller: + if not etkin or not _BASVUR.fullmatch(normal(yazi)): + continue + if tag == "a" and (not hedef or hedef.startswith("#") or urlsplit(hedef).scheme not in {"", "http", "https"}): + continue + return True + return False + + +def _tek_ilan_basligi(basliklar: list[str], baslik: str) -> bool: + if len(basliklar) != 1: + return False + asil = normal(baslik) + h1 = basliklar[0] + return h1 == asil or (h1.startswith(asil + " - ") and "careers" in h1[len(asil) :]) + + +def sayfayi_dogrula(baslik: str, url: str, son_url: str, html: str) -> BasvuruSonucu: + if urlsplit(url).fragment: + return BasvuruSonucu("belirsiz", "coklu_ilan_sayfasi") + once, sonra = urlsplit(url), urlsplit(son_url) + yonlendi = (once.hostname, once.path.rstrip("/")) != (sonra.hostname, sonra.path.rstrip("/")) + liste_yolu = sonra.path.rstrip("/").casefold() in {"/careers", "/career", "/kariyer", "/jobs", "/is-ilanlari"} + sayfa = _Sayfa() + sayfa.feed(html) + metin = normal(" ".join(sayfa.metin)) + if _ENGEL.search(metin): + return BasvuruSonucu("belirsiz", "erisim_dogrulama_veya_giris_engeli") + # Yönlendirmede genel sayfanın metni başka ilana ait olabilir; önce tek ilanı doğrula. + if _tek_ilan_basligi(sayfa.basliklar, baslik) and not (yonlendi and liste_yolu): + if any(_KAPALI.fullmatch(m) for m in sayfa.durum_metinleri): + return BasvuruSonucu("kapali", "ilan_sayfasinda_acik_kapanis_ifadesi") + if _etkin_basvuru(sayfa.kontroller): + return BasvuruSonucu("acik", "ilan_sayfasinda_etkin_basvuru_kontrolu") + elif ( + once.hostname == "jobs.lever.co" + and not yonlendi + and len(once.path.strip("/").split("/")) == 2 + and not sayfa.basliklar + and metin.startswith(normal(baslik) + " ") + and any( + etkin and normal(yazi) == "apply for this job" and hedef.rstrip("/") == url.rstrip("/") + "/apply" + for tag, etkin, hedef, yazi in sayfa.kontroller + if tag == "a" + ) + ): + return BasvuruSonucu("acik", "lever_ilanina_ozel_basvuru_baglantisi") + elif ( + once.hostname == "curiosity.tech" + and once.path.endswith("/careers/apply") + and not yonlendi + and parse_qs(once.query).get("title") == [baslik] + and sayfa.basliklar == ["başvuru formu"] + and normal(baslik) in metin + and _etkin_basvuru(sayfa.kontroller) + ): + return BasvuruSonucu("acik", "ilana_ozel_basvuru_formu") + elif yonlendi: + # Genel kariyer sayfasında yalnızca aynı başlıklı, sınırları belirli tek kartın bağlantısı kanıttır. + eslesenler = [k for k in sayfa.kartlar if k["basliklar"] == [normal(baslik)]] + if len(eslesenler) == 1 and _etkin_basvuru(eslesenler[0]["kontroller"]): + return BasvuruSonucu("acik", "yonlendirilen_listede_eslesen_ilan_karti") + return BasvuruSonucu("belirsiz", "baska_sayfaya_yonlendi") + else: + return BasvuruSonucu("belirsiz", "tek_ilan_basligi_dogrulanamadi") + return BasvuruSonucu("belirsiz", "basvuru_durumu_icin_yeterli_kanit_yok") diff --git a/tests/conftest.py b/tests/conftest.py index ffd3769..6c6a30c 100644 --- a/tests/conftest.py +++ b/tests/conftest.py @@ -56,7 +56,7 @@ def json_al(self, url, basliklar=None): def json_gonder(self, url, govde, basliklar=None): return self._cevap(url, govde, basliklar) - def sayfa(self, url, robots_kontrolu=True): + def sayfa(self, url, robots_kontrolu=True, adres_izinli=None): if url not in self.sayfalar: raise requests.ConnectionError(url) return url, self.sayfalar[url] diff --git a/tests/test_ara_tarama.py b/tests/test_ara_tarama.py index a0baba7..033e90e 100644 --- a/tests/test_ara_tarama.py +++ b/tests/test_ara_tarama.py @@ -80,7 +80,9 @@ def test_ayni_adli_firmanin_sayfa_ilani_ara_taramada_kapanmaz_ats_ilani_kapanir( boru.tara(AYAR, oturum, http=birinci, yz=SahteYz(yz_cevabi([])), yalnizca_ats=True) ikinci = SahteHttp(jsonlar={"api.lever.co": [lever_ilani(1)]}) rapor = boru.tara(AYAR, oturum, http=ikinci, yz=SahteYz(yz_cevabi([])), yalnizca_ats=True) - assert rapor.kapanan_ilan == 1 # panodan kalkan ATS ilanı kapanır + assert rapor.kapanan_ilan == 0 # ilk başarılı listede kayıp: henüz kapanmaz + rapor = boru.tara(AYAR, oturum, http=ikinci, yz=SahteYz(yz_cevabi([])), yalnizca_ats=True) + assert rapor.kapanan_ilan == 1 # iki başarılı listede kayıp with oturum() as o: assert o.get(IlanKaydi, karisik.kimlik).aktif diff --git a/tests/test_basvuru_dogrulama.py b/tests/test_basvuru_dogrulama.py new file mode 100644 index 0000000..7884e46 --- /dev/null +++ b/tests/test_basvuru_dogrulama.py @@ -0,0 +1,266 @@ +"""Başvuru kanıtı: ağ hatası kapanış değildir; yanlış sayfanın metni ilanı kapatmaz.""" + +from datetime import UTC, datetime, timedelta + +import pytest +import requests + +from internreader import depo +from internreader.ag import HttpIstemci, RobotsEngeli +from internreader.ayar import ayarlari_oku +from internreader.db import IlanDogrulama, IlanKaydi +from internreader.depo.dogrulama import dogrulama_yaz +from internreader.dogrulama import basvurulari_dogrula +from internreader.isleme.basvuru import BasvuruSonucu, alan_yasak, sayfayi_dogrula +from internreader.model import Ilan + +URL = "https://acme.test/jobs/123" +BASLIK = "Python Intern" +AN = datetime(2026, 11, 15, 8, tzinfo=UTC) + + +def sayfa(icerik="", baslik=BASLIK): + return f"

{baslik}

{icerik}
" + + +def karar(html, url=URL, son_url=URL): + return sayfayi_dogrula(BASLIK, url, son_url, html) + + +@pytest.mark.parametrize( + "metin", + [ + "This position is closed.", + "We are no longer accepting applications for this role.", + "Başvurular kapanmıştır.", + "Şu an başvuru kabul etmiyor", + ], +) +def test_acik_kapanis_ifadesi(metin): + assert karar(sayfa(f"

{metin}

")).durum == "kapali" + + +def test_200_veya_ilan_basligi_tek_basina_acik_kaniti_degil(): + assert karar(sayfa("

Python ve SQL.

")).durum == "belirsiz" + assert karar(sayfa("")).durum == "belirsiz" + assert karar(sayfa("
")).durum == "belirsiz" + assert karar(sayfa('Apply now')).durum == "belirsiz" + + +def test_etkin_basvuru_ve_kapanis_cakisirsa_kapanis_oncelikli(): + kontrol = '
' + assert karar(sayfa(kontrol)).durum == "acik" + assert karar(sayfa(kontrol + "

Applications are closed.

")).durum == "kapali" + assert karar(sayfa('')).durum == "acik" + assert karar(sayfa('')).durum == "belirsiz" + assert karar(sayfa('
')).durum == "acik" + + +def test_tek_ilan_basligina_kariyer_soneki_eklenebilir(): + html = sayfa('', BASLIK + " - Acme Careers") + assert karar(html).durum == "acik" + assert karar(sayfa("", BASLIK + " - Different job")).durum == "belirsiz" + + +def test_lever_ilanina_ozel_basvuru_baglantisi(): + url = "https://jobs.lever.co/acme/123" + html = '
Python Intern Istanbul Apply for this job
' + assert karar(html, url=url, son_url=url).durum == "acik" + assert karar(html.replace("/123/apply", "/456/apply"), url=url, son_url=url).durum == "belirsiz" + assert karar(html.replace("Python Intern", "Data Intern"), url=url, son_url=url).durum == "belirsiz" + + +def test_bireysel_basvuru_formunda_ilan_basligi_url_ve_sayfada_olmali(): + url = "https://curiosity.tech/tr/careers/apply?title=Python+Intern" + html = '

Başvuru Formu

Python Intern

' + assert karar(html, url=url, son_url=url).durum == "acik" + assert karar(html.replace("Python Intern", "Data Intern"), url=url, son_url=url).durum == "belirsiz" + assert ( + karar( + html, url=url.replace("Python+Intern", "Data+Intern"), son_url=url.replace("Python+Intern", "Data+Intern") + ).durum + == "belirsiz" + ) + + +def test_baska_ilan_footer_gizli_metin_ve_negasyon_kapanis_sayilmaz(): + html = sayfa('

Build a detector for applications closed messages.

Apply now') + html += "" + assert karar(html).durum == "acik" + assert karar(sayfa("")).durum == "belirsiz" + assert karar(sayfa("")).durum == "belirsiz" + assert karar(sayfa('
This position is closed
')).durum == "belirsiz" + assert karar(sayfa('')).durum == "belirsiz" + + +def test_liste_yonlendirme_ve_bot_engeli_belirsiz(): + assert karar(sayfa("This position is closed", "Other job")).durum == "belirsiz" + assert karar(sayfa("This position is closed"), son_url="https://acme.test/careers").durum == "belirsiz" + assert karar(sayfa("This position is closed"), url=URL + "#123").durum == "belirsiz" + assert karar(sayfa("Verify you are human. This position is closed")).durum == "belirsiz" + + +def test_ayni_ilanin_yeni_detay_adresi_dogrulanir(): + yeni_adres = "https://acme.test/jobs/python-intern-123" + assert karar(sayfa('Apply now'), son_url=yeni_adres).durum == "acik" + assert karar(sayfa("

This position is closed.

"), son_url=yeni_adres).durum == "kapali" + + +def test_kariyer_listesine_yonlenince_yalniz_eslesen_kartin_basvurusu_kanit(): + kariyer = "https://acme.test/careers" + html = """

Careers

+

Python Intern

Apply now
+

Data Intern

Apply now
""" + assert karar(html, son_url=kariyer) == BasvuruSonucu("acik", "yonlendirilen_listede_eslesen_ilan_karti") + assert karar(html.replace('Apply now', "Closed"), son_url=kariyer).durum == "belirsiz" + assert ( + karar(html.replace('Apply now', 'Apply now'), son_url=kariyer).durum + == "belirsiz" + ) + assert karar(html.replace('Apply now', ""), son_url=kariyer).durum == "belirsiz" + assert ( + karar( + html + '

Python Intern

Apply now
', + son_url=kariyer, + ).durum + == "belirsiz" + ) + + +def test_eslesen_kart_disindaki_basvuru_baglantisi_acik_sayilmaz(): + html = """

Careers

+

Python Intern

Closed
+

Data Intern

Apply now
+ Apply now""" + assert karar(html, son_url="https://acme.test/careers").durum == "belirsiz" + + +def ilan_kur(oturum, kaynak="kariyer_sayfasi", url=URL): + i = Ilan(firma="Acme", baslik=BASLIK, url=url, kaynak=kaynak) + with oturum.begin() as o: + depo.ilanlari_kaydet(o, [i], set()) + depo.siniflandirma_kaydet(o, {i.kimlik: {"seviye": "staj", "rol": "yazilim", "yapay_zeka": "yok"}}, "test") + return i + + +def test_iki_basarili_kayip_arasindaki_hata_sayilmaz_geri_gelirse_sifirlanir(oturum): + i = ilan_kur(oturum) + with oturum.begin() as o: + assert depo.ilanlari_kaydet(o, [], {"Acme"})[1] == 0 + assert depo.ilanlari_kaydet(o, [], set())[1] == 0 + assert o.get(IlanDogrulama, i.kimlik).gorulmeme_sayisi == 1 + depo.ilanlari_kaydet(o, [i], {"Acme"}) + assert o.get(IlanDogrulama, i.kimlik).gorulmeme_sayisi == 0 + assert depo.ilanlari_kaydet(o, [], {"Acme"})[1] == 0 + assert depo.ilanlari_kaydet(o, [], {"Acme"})[1] == 1 + assert not o.get(IlanKaydi, i.kimlik).aktif + + +def test_kapanis_kaniti_listede_tekrar_gorulunce_ve_hata_olunca_silinmez(oturum): + i = ilan_kur(oturum, "lever") + with oturum.begin() as o: + dogrulama_yaz(o, i.kimlik, BasvuruSonucu("kapali", "ilan_sayfasinda_acik_kapanis_ifadesi"), AN) + depo.ilanlari_kaydet(o, [], {"Acme"}) + depo.ilanlari_kaydet(o, [], {"Acme"}) + depo.ilanlari_kaydet(o, [i], {"Acme"}) + dogrulama_yaz(o, i.kimlik, BasvuruSonucu("belirsiz", "HTTPError 403"), AN + timedelta(days=1)) + with oturum() as o: + assert o.get(IlanDogrulama, i.kimlik).durum == "kapali" + assert depo.yayinlanacak_ilanlar(o, an=AN + timedelta(days=1)) == [] + with oturum.begin() as o: + dogrulama_yaz( + o, i.kimlik, BasvuruSonucu("acik", "ilan_sayfasinda_etkin_basvuru_kontrolu"), AN + timedelta(days=2) + ) + with oturum() as o: + assert len(depo.yayinlanacak_ilanlar(o, an=AN + timedelta(days=2))) == 1 + + +def test_belirsizlik_suresini_basarisiz_kontrol_uzatmaz_ve_sonuc_yayinda_aciklanir(oturum): + i = ilan_kur(oturum) + with oturum.begin() as o: + k = o.get(IlanDogrulama, i.kimlik) + k.ilk_kontrol = AN + dogrulama_yaz(o, i.kimlik, BasvuruSonucu("acik", "ilan_sayfasinda_etkin_basvuru_kontrolu"), AN) + dogrulama_yaz(o, i.kimlik, BasvuruSonucu("belirsiz", "Timeout"), AN + timedelta(days=2)) + with oturum() as o: + yayin = depo.yayinlanacak_ilanlar(o, an=AN + timedelta(days=2)) + assert yayin[0]["dogrulama"]["durum"] == "belirsiz" + assert depo.yayinlanacak_ilanlar(o, an=AN + timedelta(days=3)) == [] + assert ( + depo.yayinlanacak_ilanlar(o, an=AN + timedelta(days=3), bayatlar_dahil=True)[0]["bayat"] + == "basvuru_dogrulanamadi" + ) + + +@pytest.mark.parametrize("kod", [403, 404, 410, 429, 503]) +def test_http_hatasi_kapali_olarak_kaydedilmez(oturum, monkeypatch, kod): + i = ilan_kur(oturum) + monkeypatch.setattr("internreader.dogrulama.simdi", lambda: AN) + yanit = requests.Response() + yanit.status_code = kod + + class Http: + def sayfa(self, url, **kwargs): + raise requests.HTTPError(response=yanit) + + assert basvurulari_dogrula(ayarlari_oku(), oturum, http=Http())["belirsiz"] == 1 + with oturum() as o: + assert o.get(IlanDogrulama, i.kimlik).durum == "belirsiz" + assert o.get(IlanKaydi, i.kimlik).aktif + + +def test_gunluk_islem_kapali_ilani_yayindan_cikarir_ayni_gun_tekrar_istek_atmaz(oturum, monkeypatch): + i = ilan_kur(oturum) + monkeypatch.setattr("internreader.dogrulama.simdi", lambda: AN) + + class Http: + cagrilar = 0 + + def sayfa(self, url, **kwargs): + self.cagrilar += 1 + return url, sayfa("

This position is closed.

") + + http = Http() + assert basvurulari_dogrula(ayarlari_oku(), oturum, http=http)["kapali"] == 1 + assert basvurulari_dogrula(ayarlari_oku(), oturum, http=http)["kontrol_edilen"] == 0 + assert http.cagrilar == 1 + with oturum() as o: + assert depo.yayinlanacak_ilanlar(o, an=AN) == [] + assert o.get(IlanKaydi, i.kimlik).aktif # listede var, ancak başvurusu kapalı + + +def test_yasak_kaynak_dogrulayici_tarafindan_okunmaz(oturum, monkeypatch): + ilan_kur(oturum, url="https://www.linkedin.com/jobs/view/123") + monkeypatch.setattr("internreader.dogrulama.simdi", lambda: AN) + + class Http: + def sayfa(self, *args, **kwargs): + pytest.fail("Yasak kaynağa istek atıldı") + + assert basvurulari_dogrula(ayarlari_oku(), oturum, http=Http())["belirsiz"] == 1 + + +def test_yasak_kaynaga_yonlendirmede_hedefe_robots_dahil_istek_atilmaz(monkeypatch): + http = HttpIstemci("test") + monkeypatch.setattr(http, "izinli_mi", lambda url: True) + cagrilar = [] + + class Yanit: + is_redirect = True + headers = {"location": "https://linkedin.com/jobs/123"} + + def __enter__(self): + return self + + def __exit__(self, *args): + pass + + def get(url, **kwargs): + cagrilar.append(url) + assert kwargs["allow_redirects"] is False + return Yanit() + + monkeypatch.setattr(http.oturum, "get", get) + with pytest.raises(RobotsEngeli): + http.sayfa(URL, adres_izinli=lambda u: not alan_yasak(u)) + assert cagrilar == [URL] diff --git a/tests/test_depo.py b/tests/test_depo.py index e817e3f..c4684bd 100644 --- a/tests/test_depo.py +++ b/tests/test_depo.py @@ -15,7 +15,10 @@ def test_yeni_guncellenen_ve_kapanan_ilanlar(oturum): with oturum.begin() as o: # ikinci gün: u/2 kalkmış, u/3 eklenmiş yeni, kapanan = depo.ilanlari_kaydet(o, [ilan("https://u/1"), ilan("https://u/3")], {"F"}) - assert len(yeni) == 1 and kapanan == 1 + assert len(yeni) == 1 and kapanan == 0 # tek kayıp kontrol kapatmaz + with oturum.begin() as o: + _, kapanan = depo.ilanlari_kaydet(o, [ilan("https://u/1"), ilan("https://u/3")], {"F"}) + assert kapanan == 1 def test_taramasi_basarisiz_firmanin_ilanlari_kapatilmaz(oturum): diff --git a/tests/test_elle_onay.py b/tests/test_elle_onay.py index 399c446..84147e3 100644 --- a/tests/test_elle_onay.py +++ b/tests/test_elle_onay.py @@ -22,6 +22,7 @@ from internreader.db import Bulten, IlanKaydi, motor_olustur, oturum_fabrikasi, simdi from internreader.model import Ilan from internreader.sema import alembic_ayari, semayi_hazirla +from tests.conftest import SahteHttp from tests.test_bulten import AYAR, HEPSI, SahteGonderici, abone_ekle, ilan_ekle ADRES = "bilal.onizleme@ornek.com" @@ -46,6 +47,8 @@ def komut_ortami(monkeypatch, tmp_path): monkeypatch.setenv("INTERNREADER_GIZLI_ANAHTAR", "test-anahtari") g = SahteGonderici() gercek_yayinla = boru.yayinla + gercek_dogrula = komut.basvurulari_dogrula + monkeypatch.setattr(komut, "basvurulari_dogrula", lambda a, o: gercek_dogrula(a, o, http=SahteHttp())) monkeypatch.setattr(komut, "gonderici_olustur", lambda _: g) monkeypatch.setattr(komut, "CIKTI", tmp_path / "cikti") monkeypatch.setattr(komut, "firma_listesini_esitle", lambda *_: None) diff --git a/web/src/components/Bulten.tsx b/web/src/components/Bulten.tsx index d2d7665..ef235a2 100644 --- a/web/src/components/Bulten.tsx +++ b/web/src/components/Bulten.tsx @@ -500,6 +500,7 @@ export default function Bulten({ ilanlar: gomulu, guncelleme: gomuluTarih }: Pro {tarihBilgisi(i).map((t) => ( {t} ))} + {i.dogrulama?.durum === "belirsiz" && Başvuru durumu doğrulanamadı} {i.yapay_zeka !== "yok" && yapay zekâ}

{i.ayrinti?.ozet && ( diff --git a/web/src/veri/tipler.ts b/web/src/veri/tipler.ts index e92e3e3..f2ccb45 100644 --- a/web/src/veri/tipler.ts +++ b/web/src/veri/tipler.ts @@ -43,6 +43,13 @@ export interface Ilan { surekli_acik?: boolean; ilan_turu?: "is" | "egitim" | "yarisma"; // genel CV sayfaları yayınlanmaz seviye_etiketi?: string; // kartta yazacak ad: "Eğitim programı", "Yarışma", "Tüm seviyeler"... + dogrulama?: { + durum: "acik" | "kapali" | "belirsiz"; + neden: string; + kontrol_zamani: string | null; + acik_dogrulama_zamani?: string | null; + bayat: boolean; + }; } export interface IlanListesi {