remove iaai scraper and old tests
This commit is contained in:
23
.dockerignore
Normal file
23
.dockerignore
Normal file
@@ -0,0 +1,23 @@
|
|||||||
|
__pycache__/
|
||||||
|
.pytest_cache/
|
||||||
|
.venv/
|
||||||
|
venv/
|
||||||
|
|
||||||
|
.coverage
|
||||||
|
coverage.xml
|
||||||
|
|
||||||
|
*.pyc
|
||||||
|
*.pyo
|
||||||
|
*.pyd
|
||||||
|
*.log
|
||||||
|
*.db
|
||||||
|
|
||||||
|
.env
|
||||||
|
.git/
|
||||||
|
.vscode/
|
||||||
|
|
||||||
|
*.egg-info/
|
||||||
|
dist/
|
||||||
|
build/
|
||||||
|
artifacts/
|
||||||
|
tokens_data/
|
||||||
28
.env.example
Normal file
28
.env.example
Normal file
@@ -0,0 +1,28 @@
|
|||||||
|
# ===== Encar Scraper Config =====
|
||||||
|
|
||||||
|
# Логирование
|
||||||
|
ENCAR_LOG_LEVEL=INFO
|
||||||
|
|
||||||
|
# База данных PostgreSQL
|
||||||
|
ENCAR_DATABASE_URL=postgresql+psycopg2://encar:encar@postgres:5432/encar_db
|
||||||
|
ENCAR_DATABASE_ECHO=false
|
||||||
|
ENCAR_DATABASE_POOL_SIZE=5
|
||||||
|
ENCAR_DATABASE_MAX_OVERFLOW=10
|
||||||
|
ENCAR_DATABASE_POOL_RECYCLE_SECONDS=1800
|
||||||
|
|
||||||
|
# Redis
|
||||||
|
ENCAR_REDIS_URL=redis://redis:6379/1
|
||||||
|
|
||||||
|
# Celery
|
||||||
|
CELERY_BROKER_URL=redis://redis:6379/1
|
||||||
|
CELERY_RESULT_BACKEND=redis://redis:6379/1
|
||||||
|
CELERY_TASK_SOFT_TIME_LIMIT=14400
|
||||||
|
CELERY_TASK_TIME_LIMIT=14520
|
||||||
|
CELERY_BROKER_VISIBILITY_TIMEOUT=15000
|
||||||
|
CELERY_WORKER_CONCURRENCY=4
|
||||||
|
CELERY_WORKER_MAX_TASKS_PER_CHILD=50
|
||||||
|
|
||||||
|
# Encar Beat — полный прогон каждые 60 минут
|
||||||
|
ENCAR_BEAT_INTERVAL_MINUTES=60
|
||||||
|
# 0 = без лимита, парсит ВСЕ авто
|
||||||
|
ENCAR_BEAT_LIMIT=0
|
||||||
6
.gitattributes
vendored
Normal file
6
.gitattributes
vendored
Normal file
@@ -0,0 +1,6 @@
|
|||||||
|
# Force LF for shell scripts (critical for Docker on Windows)
|
||||||
|
*.sh text eol=lf
|
||||||
|
entrypoint.sh text eol=lf
|
||||||
|
|
||||||
|
# Default for other files
|
||||||
|
* text=auto
|
||||||
20
.gitignore
vendored
Normal file
20
.gitignore
vendored
Normal file
@@ -0,0 +1,20 @@
|
|||||||
|
__pycache__/
|
||||||
|
.pytest_cache/
|
||||||
|
.coverage
|
||||||
|
coverage.xml
|
||||||
|
.venv/
|
||||||
|
venv/
|
||||||
|
*.pyc
|
||||||
|
*.pyo
|
||||||
|
*.pyd
|
||||||
|
*.log
|
||||||
|
*.db
|
||||||
|
storage_state.json
|
||||||
|
.vscode/
|
||||||
|
*.egg-info/
|
||||||
|
dist/
|
||||||
|
build/
|
||||||
|
artifacts/
|
||||||
|
celerybeat-schedule*
|
||||||
|
tokens_data/
|
||||||
|
.env
|
||||||
Reference in New Issue
Block a user