Il numero che vedi non è il numero che ha detto il modello
Ogni probabilità del sito passa per un'unica funzione prima di arrivare a te. Ecco cosa cambia, e perché preferiamo raccontartelo.
Dietro la scheda di una partita ci sono otto livelli di modello, addestrati separatamente e calcolati molto prima che tu la apra. Lasciati da soli, si contraddicono. Non spesso, né di molto, ma in modi impossibili da difendere appena li vedi scritti uno accanto all'altro.
Per questo non vengono lasciati da soli. Ogni probabilità servita da questo sito (la tabella della partita, lo screener, la vista di confronto e il prezzo a cui viene liquidato il tuo pronostico) esce da un'unica funzione che prima le riconcilia. Lascia una traccia di controllo: il valore grezzo, il valore servito e la regola che è stata applicata.
Tre cose che corregge
La prima è aritmetica. I punti cartellino (gialli più due per ogni rosso) non possono mai avere meno probabilità di superare una linea rispetto al totale dei cartellini, e il totale dei cartellini non può mai averne meno dei soli gialli. È un'identità, non un'opinione. Tre livelli addestrati separatamente la stavano violando nella stessa schermata.
La seconda è una questione di a chi credere. Alcuni mercati si ricavano analiticamente da altri (i rapporti tra primo tempo e finale, la porta inviolata) e altri vengono addestrati direttamente sul risultato. Quando una derivazione non coincide con uno specialista addestrato, vince lo specialista e la derivazione viene riallineata a lui. Questa conta più di quanto sembri: il mercato addestrato è anche quello che liquida il tuo pronostico. Se la tabella ti mostrasse il numero derivato, scommetteresti a un prezzo e verresti liquidato a un altro.
La terza è un bias che abbiamo misurato e che non ci è piaciuto. In un turno di coppa nazionale tra due club di divisioni diverse, il modello dava al favorito quasi sedici punti percentuali in più rispetto al consenso di Pinnacle e Betfair. In tutto il resto restava entro un paio di punti, compresi i turni continentali tra club di paesi diversi, che erano il gruppo di controllo e sono risultati puliti. Così, in un turno di coppa nazionale tra divisioni diverse, il favorito viene riportato a metà strada verso il tetto storico che abbiamo davvero misurato. La correzione abbassa soltanto, non alza mai.
“Un modello che sbaglia con sicurezza in una situazione specifica è peggio di uno che ci prende vagamente ovunque, perché non vedi quando sta succedendo.
Perché succede in un solo punto
Sarebbe più facile rattoppare ogni schermata man mano che qualcuno se ne accorge. È anche così che un sito finisce per contraddirsi senza fare rumore: una correzione applicata alla scheda della partita non arriva allo screener, e i due non sono d'accordo sulla stessa partita nello stesso pomeriggio.
Per questo la riconciliazione sta nell'unico punto da cui leggono tutte le superfici, e uno script di controllo verifica quelle identità su ogni previsione servita. In questo momento le dà tutte per coerenti. Il giorno in cui non sarà più così, qualcosa non va, e preferiamo scoprirlo dallo script.
I tassi dietro la correzione di coppa vengono generati dal nostro corpus di partite, non scritti a mano. Se lo schema di fondo cambia, cambiano con lui.