checkpoint: pipeline + 27k/h baseline before sitemap discovery

2026-04-18 16:34:09 +03:00
parent a8c5f8aa41
commit 5999c2e42d
30 changed files with 4993 additions and 61 deletions
--- a/iaai_scraper/worker/tasks.py
+++ b/iaai_scraper/worker/tasks.py
@@ -608,7 +608,10 @@ def sync_listing_task(
        )
        if force_bootstrap_full_scan:
            _set_full_scan_done(redis_client, False)
-            _enqueue_bootstrap_followup("soft_time_limit_exceeded", count_as_failure=False)
+            # SoftTimeLimit считаем failure для circuit breaker:
+            # если сегмент систематически не укладывается в time limit,
+            # нельзя крутить followup бесконечно.
+            _enqueue_bootstrap_followup("soft_time_limit_exceeded", count_as_failure=True)
        # Partial progress уже записан в БД через finish_sync_run.
        # Не retry — следующий запуск продолжит обработку по расписанию.
        return {