GEO / visibilità IA

Accesso al crawler AI

L'accesso del crawler AI controlla se importanti crawler AI e di ricerca sono bloccati dalle regole dei robot, dallo stato della pagina, dalle impostazioni noindex o da altri vincoli di accesso.

L'accesso del crawler AI controlla se i sistemi di recupero AI e i crawler di ricerca possono scoprire e recuperare una pagina. È un prerequisito per molti miglioramenti della visibilità dell'IA.

La relazione dovrebbe distinguere il blocco intenzionale da quello accidentale. Un sito può scegliere di limitare alcuni crawler, ma tale decisione dovrebbe essere esplicita.

Nel report, usate questo elemento come evidenza. Non trattatelo come regola autonoma a meno che il contesto della pagina non supporti la stessa conclusione.

Gruppi di problemi in questo modulo

Queste etichette corrispondono ai gruppi espandibili nella panoramica del modulo GEO. Aggiungete con l'id del problema dall'URL del report per passare da un problema di pagina alla stessa sezione qui.

Crawler access data unavailable

This report does not include AI Crawler Access analyzer data for these pages. Re-run the report to populate robots, policy, discovery, and retrieval readiness checks.

Fix robots policy and bot access

Pages where robots/meta directives may block or confuse AI retrieval crawlers. Separate retrieval access from training restrictions.

Expose LLM policy guidance

Publish llms.txt (or equivalent) at the site origin for AI crawler permissions. Fix once on the start page — not per crawled URL.

Improve crawler discovery paths

Pages missing sitemap hints or enough contextual internal links for retrieval crawlers to discover canonical and deep content.

Add canonical URL signals

Pages missing canonical URL hints, making it harder for AI crawlers to resolve duplicate URL variants consistently.

Come interpretarlo

Le pagine pubbliche importanti restituiscono risposte HTTP riuscite e non vengono bloccate accidentalmente da robots.txt o noindex.
Le policy del crawler sono documentate, riviste e allineate con la strategia aziendale per la visibilità dell'intelligenza artificiale.
Le regole specifiche del bot vengono testate dopo la distribuzione e non si presume che funzionino.

robots.txt esempio

User-agent: GPTBot
Allow: /guides/
Disallow: /account/

User-agent: *
Allow: /

Errori comuni

Bloccare un intero percorso in robots.txt senza rendersi conto che lì risiedono contenuti importanti.
Utilizzare noindex sulle pagine che l'azienda si aspetta vengano citate dai sistemi di ricerca o di intelligenza artificiale.
Consentire l'accesso ai crawler ovunque senza rivedere la proprietà dei contenuti, le licenze e i vincoli sulla privacy.

Riferimenti utili

Domande frequenti

Dovrebbero essere consentiti tutti i crawler AI?

No. L'abilitazione dei crawler AI dipende dalla strategia del sito e dalla posizione della licenza dei contenuti.

Il contenuto può essere classificato o essere citato se è bloccato?

È molto meno probabile che i contenuti bloccati vengano scoperti, aggiornati o citati da sistemi che si basano sulla scansione.