fix readme
This commit is contained in:
12
README.md
12
README.md
@@ -5,13 +5,13 @@
|
|||||||
|
|
||||||
## Как устроен сайт и его защита
|
## Как устроен сайт и его защита
|
||||||
|
|
||||||
IAAI не использует Cloudflare или Akamai, но у них своя защита:
|
У IAAI стоит **Imperva Incapsula** — внешний WAF и anti-bot.
|
||||||
|
|
||||||
- **Детект автоматизации** — проверяют `navigator.webdriver`, `chrome.runtime`, WebGL-рендерер, `hardwareConcurrency` и прочие browser fingerprint параметры. Если видят Playwright/Puppeteer — блокируют.
|
- **Anti-bot** — headless Chromium без прокси часто режется.
|
||||||
- **Rate limiting** — после нескольких быстрых запросов подряд начинают отдавать пустые страницы или редиректить. Нет явного 429, просто перестают отдавать данные.
|
- **Динамическая подгрузка** — часть данных приходит через XHR (`/Search`, `/VehicleDetail`), часть есть в HTML.
|
||||||
- **Geo-блокировка** — часть контента доступна только с US/CA IP. С европейских адресов листинг может быть пустым.
|
- **Cookie consent** — при первом заходе показывают баннер.
|
||||||
- **Динамическая подгрузка** — карточки машин подгружаются через XHR (`/Search`, `/VehicleDetail`), часть данных приходит в JSON, часть рендерится на сервере. Нельзя просто дёрнуть HTML нужен полноценный браузер с JS.
|
|
||||||
- **Cookie consent** — при первом заходе показывают баннер, без принятия кук часть функционала не работает.
|
Поэтому в проекте используется Playwright, паузы между действиями и прокси.
|
||||||
|
|
||||||
|
|
||||||
## Запуск
|
## Запуск
|
||||||
|
|||||||
Reference in New Issue
Block a user