Robot CartCompass

Stránka pro provozovatele webů, na kterých se v záznamech objevil náš robot.

Kdo jsme a co děláme

CartCompassBot čte veřejně dostupné letáky a katalogy obchodů, aby je CartCompass mohl porovnat s cenami z jiných obchodů. Stahujeme jen stránky a soubory, které web nabízí každému návštěvníkovi, a nic za přihlášením.

Jak se chováme

Představujeme se hlavičkou User-Agent s odkazem na tuto stránku.
Před stahováním zpravidla čteme váš robots.txt a co zakazuje, nestahujeme; řídíme se i zápisem Crawl-delay (nejvýš 30 s mezi požadavky).
Stahujeme zpravidla jednou denně, v noci a s nízkou zátěží – požadavky na jeden web jdou za sebou, ne naráz.
Ochranu proti robotům (např. výzvu Cloudflare) neobcházíme; web v takovém případě na hodinu odložíme.

Jak nás zablokovat

Do robots.txt svého webu stačí přidat:

User-agent: CartCompassBot
Disallow: /

Změnu zohledníme při nejbližším stahování (nejpozději do hodiny od načtení souboru).

Kontakt

Máte dotaz nebo chcete, abychom váš web přestali stahovat? Napište na info@consultx.cz. Víc o tom, odkud ceny máme, najdete v části Jak počítáme.