Chi decide cosa ti consiglia un agente AI? Un pilota di audit black-box su scarpe e vino
Read this article in English →
In breve
- Abbiamo costruito un esperimento pilota per verificare se il "merito tecnico" di un sito e-commerce (dati strutturati, sitemap, permessi per i crawler AI) è associato alla frequenza con cui un agente AI lo raccomanda.
- Su due categorie merceologiche (scarpe da running, vino), il pattern osservato è coerente: il venditore più raccomandato non è mai quello con il punteggio tecnico più alto. L'analisi quantitativa verificata punto per punto è presentata solo per il vino (N=10); per le scarpe riportiamo l'osservazione qualitativa, senza tabella numerica, per un limite di verifica dichiarato in Sezione "Risultati".
- Un modello statistico bayesiano non rileva evidenza di correlazione tra punteggio tecnico e frequenza di raccomandazione — ma la stima non è stabile su un campione così piccolo (N=10), un limite che dichiariamo esplicitamente.
- Il finding più solido non è statistico: misurare tecnicamente la "prontezza AI" di un sito è più difficile di quanto sembri, perché i colossi del commercio online sono spesso invisibili agli strumenti di audit automatico, per ragioni diverse da caso a caso.
- Prima dell'esperimento, abbiamo condotto una verifica sistematica dei conflitti di interesse tra i fornitori di servizi "GEO/AEO" (ottimizzazione per i motori di risposta AI) e classificato l'evidenza disponibile in letteratura in tre livelli di affidabilità.
Il problema: nessuno può verificare perché un agente AI consiglia un venditore
Quando un assistente AI risponde a "dove compro delle scarpe da running", propone dei nomi. Non sappiamo, e oggi nessuno può verificarlo in modo indipendente, se quei nomi emergono per qualità del prodotto, per notorietà del brand, per completezza tecnica del sito, o per una combinazione che nemmeno chi ha addestrato il modello saprebbe scomporre con precisione.
Esiste già un'infrastruttura di tracciabilità per la transazione: protocolli come AP2 collegano intento d'acquisto, carrello e pagamento con firme crittografiche verificabili. Non esiste un'infrastruttura equivalente per la decisione che precede la transazione — il momento in cui l'agente sceglie chi consigliare. Il Digital Services Act europeo impone trasparenza sui sistemi di raccomandazione, ma è stato scritto pensando a piattaforme social e marketplace tradizionali, non ad agenti d'acquisto autonomi.
Prima di poter parlare di conformità normativa, serve però una domanda più semplice: è anche solo possibile, con gli strumenti oggi disponibili, misurare se il merito tecnico di un sito conta per queste raccomandazioni? Questo articolo racconta un tentativo di rispondere, e cosa abbiamo imparato nel farlo — comprese le volte in cui ci siamo sbagliati lungo il percorso.
La ricerca a monte: chi vende "ottimizzazione GEO/AEO", e su quali basi
Prima di costruire qualunque esperimento, abbiamo condotto una verifica sistematica del panorama di fornitori che vendono servizi di ottimizzazione per la visibilità sugli assistenti AI (spesso indicati come GEO — Generative Engine Optimization — o AEO — Answer Engine Optimization). Il metodo applicato a ciascun fornitore ha seguito tre controlli, nell'ordine:
- Affiliazione accademica dichiarata — l'autore/i di eventuali paper o ricerche citate hanno un ruolo commerciale nell'azienda che li cita come prova?
- Relazione commerciale con le fonti citate — quando un fornitore cita "ricerca indipendente" a sostegno delle proprie tesi, quella fonte vende servizi simili o correlati?
- Catena di citazioni — le fonti citate si citano a vicenda in un circolo chiuso, dando l'illusione di consenso indipendente dove in realtà è lo stesso piccolo gruppo di attori commerciali?
Questa verifica ha permesso di classificare l'evidenza disponibile pubblicamente in tre livelli, applicando lo stesso criterio a ogni affermazione raccolta tramite ricerca sistematica (metodo STORM, con verifica incrociata su OpenAlex per l'affiliazione accademica reale degli autori citati):
| Livello | Definizione | Trattamento |
|---|---|---|
| Tier 1 | Convergente tra fonti con incentivi opposti (es. crawlability, coerenza dei dati strutturati, correlazione con il ranking Google come proxy misurabile) | Utilizzabile come base per raccomandazioni tecniche |
| Tier 2 | Ipotesi plausibile ma sostenuta da una sola fonte, spesso commerciale | Da testare con dati propri prima di adottarla |
| Tier 3 | Attivamente contesa tra fornitori concorrenti, o priva di fonti indipendenti dal venditore | Esclusa fino a evidenza propria |
La maggior parte delle promesse specifiche di ottimizzazione "per fare apparire il tuo sito nelle risposte AI" ricade in Tier 2 o Tier 3: plausibili, ma non verificate in modo indipendente dal venditore che le propone. Poche cose — la coerenza dei dati strutturati, la crawlability tecnica di base — ricadono in Tier 1, cioè hanno evidenza convergente da fonti con interessi opposti tra loro.
Questa classificazione ha motivato la domanda alla base del pilota descritto sotto: se anche le leve Tier 1 (dati strutturati, leggibilità tecnica) fossero implementate perfettamente, c'è evidenza osservabile che questo cambi la frequenza con cui un agente AI raccomanda un sito?
Il pilota: metodo
Abbiamo costruito una pipeline in Python composta da quattro fasi sequenziali, applicata a due categorie merceologiche distinte (scarpe da running e vino) per verificare se le osservazioni si ripetessero in domini diversi.
Fase 1 — Raccolta delle raccomandazioni
Un agente AI (gemini-flash-lite-latest, interrogato in modalità a sola memoria — nessuna ricerca web in tempo reale) ha ricevuto due tipi di query, ripetute 20 volte ciascuna per catturare la varianza del modello:
- Traccia "opacity": una query neutra ("i migliori siti dove comprare X"), senza vincoli.
- Traccia "merit" (10 varianti): query che escludono esplicitamente per nome i colossi noti (Amazon, Decathlon, Zalando per le scarpe; Amazon, Tannico per il vino), per verificare se il modello conosce comunque player di nicchia quando è costretto a citarli.
Nota metodologica dichiarata: il modello è stato selezionato dopo aver verificato, tramite script diagnostico, che la chiave API in uso è associata a un ambiente "canary/beta" con accesso a modelli non standard. L'alias -latest non corrisponde a una versione con numero fissato: il modello sottostante può cambiare nel tempo per decisione del fornitore, indipendentemente da modifiche alla pipeline. Questo limita la riproducibilità esatta dell'esperimento nel tempo.
Fase 2 — Estrazione strutturata
Lo stesso modello (gemini-flash-lite-latest), in un ruolo distinto di estrattore (LLM-as-a-judge), ha convertito il testo libero delle risposte in dati strutturati: primo venditore citato, elenco completo dei venditori menzionati per ripetizione.
Fase 3 — Misurazione tecnica
Ogni venditore identificato è stato scansionato con l'Evaluator di Agentabile, che misura dati strutturati (schema.org/JSON-LD), presenza di sitemap e robots.txt con regole per crawler AI noti, e compatibilità con i protocolli di acquisto agentico (UCP/ACP) dove rilevante.
Fase 4 — Verifica manuale e pulizia
Questa fase, non pianificata inizialmente con questo livello di dettaglio, si è rivelata la più determinante per la qualità del dataset finale — ed è raccontata a parte, nella sezione successiva, perché è di per sé un risultato.
Un risultato inatteso: quanto è difficile misurare tecnicamente un sito dall'esterno
Durante la raccolta dati, tre categorie di problemi hanno prodotto punteggi tecnici falsamente bassi o del tutto errati, ciascuna verificata singolarmente prima di essere corretta o esclusa dal dataset finale:
| Problema | Causa verificata | Esempio | Trattamento |
|---|---|---|---|
| Timeout di rete intermittente, causa non distinguibile con certezza da un blocco anti-bot senza diagnosi più approfondita (4 tentativi su 6 falliti per timeout, i 2 riusciti hanno prodotto punteggi coerenti tra loro) | Il sito risponde con timeout al fetcher automatico | Amazon.it | Escluso dalla misurazione quantitativa, riportato solo nella traccia descrittiva |
| Rendering lato client (SPA) | Risposta HTTP 200 valida, ma HTML iniziale quasi vuoto (contenuto costruito da JavaScript dopo il caricamento) | Zalando.it (1 pagina fetchata); Les Caves de Pyrene (14 caratteri di testo estratto sull'intera homepage) | Escluso se non misurabile; incluso come punteggio 0 legittimo se verificato con evidenza concreta |
| Risoluzione nome→URL errata | Il meccanismo automatico di associazione tra nome del venditore citato dall'LLM e il suo sito web ha prodotto match sbagliati | Un nome citato come "Pavin" risolto erroneamente verso un sito web di uno studio dentistico | Verificato manualmente uno per uno; escluso se ambiguo tra più candidati non equivalenti |
Su 12 venditori inizialmente identificati nel dominio vino, 2 sono stati esclusi per ambiguità nella risoluzione dell'URL — non varianti dello stesso sito, ma nomi commerciali brevi che collidevano con aziende del tutto estranee al settore. Il dataset finale verificato conta N=10 venditori misurabili per il vino.
Questo processo di pulizia è, a nostro avviso, il finding più generalizzabile del pilota: l'auditing tecnico automatico di terze parti ha limiti strutturali reali, distinti tra loro (difesa attiva vs. architettura non pensata per essere letta senza browser), che richiedono verifica caso per caso — non si possono assumere risolti da uno strumento, per quanto ben progettato.
Risultati
Dominio scarpe da running
Traccia opacity (query neutra, 20 ripetizioni):
| Venditore | Prima menzione | Menzioni totali |
|---|---|---|
| Amazon | 11 | 20 |
| Nike | 5 | 14 |
| Maxi Sport | 2 | 17 |
| Decathlon | 1 | 14 |
Traccia merit (10 query con esclusione esplicita dei colossi): l'agente ha rivelato una coda lunga di negozi specializzati (Maxi Sport, Top4Running, DF Sport Specialist, Koala Sport, Sportler e altri), con lo stesso pattern qualitativo osservato nel vino — nessuna relazione evidente tra frequenza di menzione e punteggio tecnico dei venditori. Non presentiamo qui una tabella di correlazione numerica per questo dominio: a differenza del vino, dove ogni singolo venditore è stato verificato individualmente (Sezione precedente), per le scarpe solo due casi anomali sono stati diagnosticati singolarmente. Con il numero di errori di risoluzione URL e punteggi falsati scoperti nel vino nonostante una verifica capillare, non ci sentiamo di presentare la tabella scarpe con lo stesso grado di affidabilità — preferiamo ometterla piuttosto che rischiare di pubblicare dati non verificati con lo stesso rigore.
Dominio vino
Traccia opacity (query neutra, 20 ripetizioni):
| Venditore | Prima menzione | Menzioni totali |
|---|---|---|
| Tannico | 2 | 20 |
| Callmewine | 1 | 20 |
| Vino75 | 6 | 6 |
| Vino.com | 5 | 5 |
| Amazon | 4 | 4 |
Traccia merit (10 query con esclusione esplicita) — correlazione con il punteggio tecnico, N=10 venditori misurabili verificati:
| Venditore | Menzioni | Punteggio tecnico (Visibility) |
|---|---|---|
| Callmewine | 169 | 29.0 |
| XtraWine | 81 | 55.0 |
| Tannico | 60 | 55.0 |
| SignorVino | 60 | 29.0 |
| Enoteca Properzio | 44 | 55.0 |
| Les Caves de Pyrene | 40 | 0.0 |
| Vino75 | 32 | 14.0 |
| Vinix | 24 | 63.0 |
| Enoteca Naturale | 20 | 57.0 |
| Svinando | 9 | 29.0 |
In entrambi i domini, i venditori con il punteggio tecnico più alto non sono quelli più menzionati. Nel vino, i due punteggi tecnici più alti in assoluto (Vinix 63.0, Enoteca Naturale 57.0) appartengono ai due venditori meno menzionati della tabella.
Analisi statistica e i suoi limiti
Sul dataset vino (l'unico con N sufficiente per un modello, seppur al limite inferiore della soglia minima che ci eravamo dati) abbiamo applicato una regressione di Poisson bayesiana, con un controllo di robustezza che raccomandiamo come pratica standard per chiunque replichi questo tipo di analisi su campioni piccoli:
| Configurazione | Coefficiente (beta) | Intervallo di credibilità 94% | Include lo zero |
|---|---|---|---|
| Dataset completo (N=10) | -0.056 | [-0.124, 0.011] | Sì |
| Senza il venditore più menzionato (N=9) | +0.080 | [-0.006, 0.167] | Sì |
In entrambe le configurazioni, l'intervallo include lo zero: nessuna delle due stime fornisce evidenza statistica di correlazione, positiva o negativa. Ma il segno del coefficiente si inverte rimuovendo un solo venditore dal campione — la prova più diretta che, con N=10, la stima puntuale non è stabile e non andrebbe presentata come un numero affidabile di per sé.
Un controllo aggiuntivo (posterior predictive check) conferma la stessa cautela: il modello sul dataset completo sottostima drasticamente la variabilità reale osservata nei dati (un caso di overdispersion causato dal peso sproporzionato del venditore più menzionato come singola osservazione estrema).
Cosa conclude, onestamente, questo pilota
In questo campione esplorativo — due domini, un solo modello AI (in configurazione atipica, dichiarata), N=10 nel dominio con analisi statistica — non emerge un pattern coerente tra prontezza tecnica di un sito e frequenza con cui viene raccomandato da un agente AI. I venditori più citati non sono sistematicamente quelli con il miglior punteggio tecnico.
Questo non equivale a dire che il merito tecnico sia irrilevante in generale: il campione è troppo piccolo, il modello testato è uno solo (e in modalità a sola memoria, senza ricerca web in tempo reale — un meccanismo diverso da come operano assistenti come ChatGPT o Perplexity quando navigano il web), e un fattore di confondimento plausibile (la maturità complessiva di un'azienda produce sia un sito migliore sia più notorietà, senza che l'uno causi l'altra) non è stato isolato in questo disegno sperimentale.
Quello che il pilota mostra con più solidità è un fatto diverso, e forse più utile: oggi non esiste un modo affidabile e indipendente di verificare su quali basi un agente AI sceglie chi raccomandare — né per un ricercatore esterno, né, come abbiamo sperimentato in prima persona, in modo pienamente automatizzato nemmeno per chi costruisce gli strumenti di misurazione.
Prossimi passi
Un campione più ampio (idealmente 30-50+ venditori misurabili per categoria, su più categorie merceologiche, con più modelli AI a versione fissata, e uno scanner capace di rendering JavaScript reale per ridurre il numero di siti "invisibili" per motivi architetturali) sarebbe necessario prima di trarre conclusioni quantitative robuste. Questo lavoro va inteso come validazione di metodo — una base da cui partire, non un punto di arrivo.
Fonti
- Google Cloud, Announcing Agent Payments Protocol (AP2), 16 settembre 2025 — annuncio ufficiale del protocollo AP2 e dei partner di lancio (Mastercard, PayPal, American Express, Coinbase, Etsy e oltre 60 altri). https://cloud.google.com/blog/products/ai-machine-learning/announcing-agents-to-payments-ap2-protocol
- Specifica tecnica e repository di riferimento AP2 (Apache 2.0). https://ap2-protocol.org
- Regolamento (UE) 2022/2065 del Parlamento europeo e del Consiglio del 19 ottobre 2022 relativo a un mercato unico dei servizi digitali (Digital Services Act), GU L 277 del 27.10.2022, pag. 1–102, Articolo 27 (Trasparenza dei sistemi di raccomandazione). Testo ufficiale consolidato, EUR-Lex, identificativo CELEX 32022R2065. https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=uriserv:OJ.L_.2022.277.01.0001.01.ENG
- Dati Agentabile: risultati di scansione citati nelle tabelle raccolti tra il 16 e il 19 agosto 2026, dataset grezzo disponibile su richiesta.
Metodologia, dati grezzi e codice della pipeline disponibili su richiesta. Questo articolo evita deliberatamente termini come "dimostra" o "conferma" in relazione ai risultati quantitativi, coerentemente con la natura esplorativa e il campione ridotto del pilota descritto.