fix docker scraping
improve batch sync add postgres upsert fix sync locking improve listing sync speed up scraper clean up project prepare for github update docker setup
This commit is contained in:
@@ -27,10 +27,12 @@ Docker **не нужен**. Данные хранятся в SQLite-файле `
|
||||
git clone <repo-url>
|
||||
cd iaai_scraper_project
|
||||
pip install -e .
|
||||
playwright install chromium
|
||||
playwright install firefox
|
||||
iaai init-db
|
||||
```
|
||||
|
||||
`iaai init-db` актуален для SQLite/локального CLI-режима. Для PostgreSQL используйте Alembic-миграции (`alembic upgrade head` или сервис `migrate` в Docker).
|
||||
|
||||
Готовый `.env` уже в репозитории и настроен на SQLite ничего менять не нужно.
|
||||
|
||||
### Запуск парсера
|
||||
@@ -157,6 +159,8 @@ iaai sync-vehicle "https://www.iaai.com/VehicleDetail/45089484~US"
|
||||
iaai sync-listing --limit 10
|
||||
```
|
||||
|
||||
`iaai init-db` используйте для SQLite/локальных тестов. В PostgreSQL-сценарии применяйте миграции Alembic.
|
||||
|
||||
## Структура
|
||||
|
||||
```text
|
||||
@@ -267,8 +271,6 @@ uv run pytest -q
|
||||
- `only_new`
|
||||
- `limit`
|
||||
|
||||
Так же используются: `lane`, `only_new`, `limit`.
|
||||
|
||||
### Секция `filters`
|
||||
|
||||
Поддерживаются поля:
|
||||
|
||||
Reference in New Issue
Block a user