Presentiamo Timestral

Oggi rilasciamo Timestral, la nostra prima famiglia di modelli di fondazione per serie temporali. Il nostro modello più grande, con soli 209M di parametri, si posiziona al primo posto in tutti e tre i principali benchmark pubblici del settore, GIFT-Eval, TIME e fev-bench, superando lo stato dell'arte precedente con soli due terzi dei parametri del modello.

Timestral offre previsioni probabilistiche multivariate e supporta covariate solo passate e a futuro noto. La nostra famiglia di modelli si colloca sul fronte di Pareto tra accuratezza di previsione e dimensione del modello, garantendo prestazioni di punta a ogni dimensione. I risultati sono già visibili oggi sulle leaderboard GIFT-Eval e TIME.

Modelli di fondazione per serie temporali (TSFM)

Le serie temporali sono uno dei tipi di dati più diffusi in ambito aziendale, dalla telemetria dei sensori alle metriche di osservabilità. Le previsioni basate su questi dati orientano le decisioni in materia di pianificazione della capacità, energia, catene di fornitura, rischio e manutenzione. In ambito finanziario, le previsioni e la generazione di segnali sono il cuore dell'attività, e gran parte dei dati sottostanti, da prezzi e volumi a tassi e spread, si presenta sotto forma di serie temporali.

I modelli classici come ARIMA e la regressione lineare rimangono strumenti consolidati per la previsione di serie temporali. Questi modelli vengono adattati a una singola serie e apprendono solo dalla storia di quella serie.

I modelli di deep learning come PatchTST aggiungono la capacità di apprendere pattern non lineari attraverso molte serie correlate, ma vengono in genere ancora addestrati da zero su ogni set di dati, quindi ciò che apprendono non si trasferisce ai nuovi domini.

I modelli di fondazione per serie temporali portano l'approccio del pre addestramento a questo tipo di dati. Addestrato su un corpus ampio e diversificato, il nostro modello apprende pattern che si trasferiscono tra le serie, generando previsioni zero-shot su dati mai visti prima, anche in domini in cui i dati sono scarsi.

Risultati dei benchmark

Abbiamo valutato Timestral sui tre principali benchmark pubblici di previsione: GIFT-Eval, TIME e fev-bench. Tra i modelli pre-addestrati e zero-shot, si classifica al primo posto in tutte e cinque le metriche. Questi risultati derivano da un singolo checkpoint, senza ensemble.

GIFT-Eval, le prime dieci delle 80 voci comparabili pre-addestrate e zero-shot. Più basso è, meglio è.

TIME, le prime dieci delle 31 voci in classifica. Più basso è, meglio è per entrambe le metriche.

FEV-bench, le prime dieci delle 33 voci in classifica, in base al punteggio di abilità SQL. Più alto è, meglio è.

Timestral eccelle anche nel mantenere previsioni coerenti su orizzonti di previsione più lunghi. Ciò si ottiene tramite un addestramento a contesto lungo su 32k step temporali durante la seconda fase di addestramento.

Una famiglia di modelli ottimizzata per ogni esigenza

Timestral è stato ottimizzato come famiglia di quattro modelli: 4M, 20M, 108M e 209M parametri. I modelli più grandi migliorano le prestazioni di previsione, mentre quelli più piccoli sono più rapidi ed economici. Tutti e quattro condividono la stessa architettura e la stessa ricetta di addestramento. Ogni dimensione si colloca sul fronte di Pareto tra accuratezza e dimensione del modello: per ogni dimensione di modello, nessun modello pubblico produce previsioni migliori.

Punteggio rispetto alla dimensione del modello su GIFT-Eval, TIME e fev-bench. Più basso è, meglio è. Il nostro modello da 20M supera Chronos-2, sei volte più grande, su GIFT-Eval e TIME. Il nostro modello da 209M supera TimesFM-3 e Falcon-2.0 con meno parametri.

Timestral non necessita di una GPU in inferenza. Su una CPU standard, la previsione a un giorno a partire da tre settimane di storico con cadenza di 15 minuti richiede 9 ms con il modello da 4M e 140 ms con il modello da 209M. Su un singolo core, occorrono da 10 a 360 ms. A questa velocità, prevedere 100.000 serie ogni 15 minuti richiede da 1 a 32 core CPU, a seconda della dimensione del modello.

Questi valori sono ottenuti con PyTorch puro, senza ottimizzazioni per l'inferenza.

Un esempio industriale

Si consideri uno stabilimento industriale con migliaia di sensori distribuiti sulle apparecchiature. Timestral può migliorare le previsioni su questi dati in diversi modi.

Previsione multivariata. La vibrazione, la temperatura e la pressione di una pompa non variano in modo indipendente. Un aumento di una di esse spesso spiega o causa una variazione in un'altra. Timestral modella congiuntamente le serie correlate e può quindi sfruttare tali dipendenze invece di prevedere ogni sensore isolatamente.

Previsione probabilistica. Un singolo valore previsto potrebbe non mostrare il quadro completo. Timestral prevede un insieme completo di quantili, così i team possono vedere quanto è ampia l'incertezza, impostare soglie di avviso che la riflettano e pianificare la manutenzione in base al rischio anziché a un singolo numero.

Covariate categoriali. Alcune covariate assumono valori da un insieme di categorie anziché numeri continui, come il giorno della settimana o lo stato di una macchina (in funzione, inattiva, in manutenzione). Codificarle come numeri imporrebbe un ordine o una scala che non hanno. Timestral le utilizza direttamente come input categoriali per migliorare le previsioni.

Covariate a futuro noto. Alcuni fattori che determinano il comportamento dei sensori sono noti in anticipo, come i piani di produzione, le fermate pianificate e le previsioni meteo. Timestral può condizionarsi su di essi per migliorare la qualità delle previsioni, così un aumento del carico pianificato risulta atteso anziché essere segnalato come una sorpresa.

Dal modello al sistema

Timestral è un modello numerico che può essere eseguito all'interno delle pipeline di monitoraggio esistenti o essere affiancato ai nostri modelli linguistici in flussi di lavoro agentici multimodali.

Nello stabilimento, potrebbe funzionare così:

1. Timestral in esecuzione continua sui flussi dei sensori dello stabilimento, che rileva le anomalie appena si verificano.

2. Quando segnala un'anomalia su una pompa, un agente genera gli embedding dei segnali e li confronta con gli embedding di dati storici dei sensori per individuare guasti simili verificatisi in passato.

3. L'agente avvia quindi sotto-agenti per eseguire un'analisi delle cause radice, attingendo al contesto di quello stabilimento, come i registri di manutenzione, i registri di turno e le note degli operatori, i manuali delle apparecchiature, gli ordini di lavoro precedenti e le letture delle apparecchiature correlate.

4. L'agente redige una diagnosi proposta sulla base dei risultati, corredata da evidenze a supporto e da possibili passi successivi.

Il responsabile dello stabilimento riceve una diagnosi e un piano supportati dai dati dei sensori, anziché un semplice avviso.

Segnaposto per la demo

Principali contributi tecnici

Diverse idee sono state combinate per ottenere questi risultati. Ciascuna è descritta in dettaglio nel report tecnico.

1. Previsione a orizzonte disaccoppiato. I decoder causali addestrati con mascheramento contiguo delle patch, come in Toto 2.0 e TimesFM-3, mascherano i valori da prevedere, che appaiono quindi come valori mancanti e vengono anche persi come contesto per le previsioni successive. Il nostro approccio, DHF, separa le due cose: la storia completa resta nella sequenza e i token di previsione appresi leggono la storia che li precede. Ogni valore osservato funge così sia da target sia da contesto, i veri vuoti restano contrassegnati come mancanti e le lunghezze degli orizzonti di addestramento e l'augmentation dei dati mancanti possono essere regolate in modo indipendente.

2. Attenzione consapevole delle covariate. A ogni serie di input viene assegnato un ruolo: variabile target, covariata solo passata o covariata a futuro noto. Le covariate a futuro noto sono visibili sull'intera finestra mentre i target restano causali, e le informazioni fluiscono solo dalle covariate ai target. Timestral può quindi utilizzare un calendario di festività o una previsione meteo senza che il futuro del target stesso fuoriesca nella previsione.

3. Priorità ai dati sintetici. La maggior parte dei dati di addestramento utilizzati è sintetica. Un generatore univariato composizionale campiona componenti di trend, stagionalità e rumore diverse e in evoluzione nel tempo, per poi combinarle in una serie univariata. Generatori univariati aggiuntivi coprono cambi di regime, spostamenti di livello, dati di conteggio e clustering della volatilità. Le serie multivariate vengono quindi costruite propagando radici univariate attraverso modelli causali strutturali casuali con meccanismi non lineari.
   Vogliamo aggiungere altro (o meno?) sui dati sintetici qui

4. Addestramento in due fasi. Timestral viene innanzitutto pre-addestrato su larga scala su dati puramente sintetici con una dimensione del contesto di 8192, per poi essere post-addestrato su una miscela di dati reali e sintetici con un contesto 4 volte più lungo. L'obiettivo è una pinball loss su 21 quantili, un'approssimazione discreta del CRPS.

Un modello che può essere adattato

I benchmark pubblici misurano le prestazioni generali, ma i dati di produzione possono avere una struttura notevolmente diversa. Possono inoltre variare nel tempo, man mano che i mercati cambiano regime, le apparecchiature si degradano e i pattern della domanda mutano. Il valore duraturo sta nella possibilità di adattare un modello ai dati del proprio dominio e di continuare a riaddestrarlo al mutare della distribuzione.

Per le organizzazioni che vogliono andare oltre, Timestral è disponibile tramite Mistral Forge, la stessa pipeline di addestramento che utilizziamo per i nostri modelli linguistici. Supporta:

• Inferenza zero-shot pronta all'uso.

• Fine-tuning su dati proprietari, per specializzarsi su un dominio preservando le prestazioni generali.

• Estensioni architetturali, come covariate specifiche del dominio.

• Controllo sui dati di pre addestramento, consentendo cut-off netti dei dati di addestramento per il backtesting. Possiamo inoltre utilizzare dati sintetici per addestrare un modello interamente sintetico, addestrato senza alcun dato reale, che ottiene comunque prestazioni vicine a quelle dei nostri modelli SoTA.

La pipeline completa può essere implementata sull'hardware dei nostri clienti, inclusi gli ambienti air-gapped.

I prossimi passi

Nelle prossime settimane pubblicheremo un repository GitHub con un forecaster e un notebook, così potrà eseguire Timestral sui propri dati. Potrà inoltre consultare i risultati completi nel report tecnico. Per problemi di previsione più specializzati o per collaborare alla ricerca, non esiti a contattarci.