VAST Data Platform, approccio rivoluzionario all'elaborazione intensiva di dati (intro al White Paper). 

Fornisce un'infrastruttura software completa per la gestione di tutti gli aspetti dei dati, dall'acquisizione e archiviazione all'analisi con deep learning. 

Questo sistema consente un accesso e un'elaborazione dei dati senza interruzioni da qualsiasi luogo e su qualsiasi infrastruttura.

Ecco una panoramica delle funzionalità chiave di VAST Data Platform:

• Gestione Unificata dei Dati: combina dati non strutturati e strutturati utilizzando un nuovo approccio, consentendo l'archiviazione, l'elaborazione e la distribuzione come piattaforma singola.

• Alte Prestazioni e Capacità:la piattaforma rende accessibili e convenienti enormi quantità di dati, eliminando la necessità di gerarchie di storage complesse.

• Transazionale e Analitica: può gestire contemporaneamente flussi di dati in tempo reale e analisi di dati a lungo termine.

• Coerente a livello globale e performante a livello locale: garantisce un accesso ai dati coerente e prestazioni elevate indipendentemente dalla posizione.

• Semplice e Robusta: progettata per scalabilità e affidabilità, anche a livello di exabyte.

La VAST Data Platform arriva in un momento in cui il deep learning sta guadagnando terreno. Mentre le tradizionali piattaforme di analisi dei dati si concentrano sulla business intelligence, mancano delle funzionalità per le applicazioni di deep learning. 
VAST colma questa lacuna fornendo una piattaforma progettata specificamente per le esigenze dell'IA e del deep learning.

L'ascesa della piattaforma dati per il deep learning

Il data analytics e il reporting aziendale risalgono ormai a 40 anni fa, a un'epoca in cui aziende come Teradata e SAS Institute nacquero alla fine degli anni '70 per aiutare le organizzazioni a dare un senso ai propri dati. 
Ora che i dati sono diventati il ​​nuovo petrolio, questo settore è esploso per supportare le esigenze della trasformazione digitale in tutti i settori e nel settore pubblico. 
Entro il 2026, IDC prevede che il mercato dei software e dei servizi cloud per big data e analisi supererà i 180 miliardi di dollari, raddoppiando le sue dimensioni in soli cinque anni*. (*IDC Worldwide Big Data and Analytics Software Forecast, 2022–2026)

Mentre i primi giorni dell'analisi dei dati erano caratterizzati da clienti che assemblavano pacchetti software indipendenti e li implementavano su infrastrutture di storage e computing aziendali, i framework di calcolo e lo storage sono diventati unificati e semplificati su hardware on-premise e cloud commodity con l'avvento di tecnologie come Apache Hadoop, Snowflake Platform e Databricks Lakehouse Platform. 
Queste nuove piattaforme, spesso basate su cloud, hanno migliorato l'esperienza di analisi fornendo un ambiente unificato alle organizzazioni per archiviare ed elaborare facilmente i dati. 
Abstraendo l'infrastruttura e fornendo strumenti per il ridimensionamento automatico del calcolo e l'ottimizzazione basata sui costi, si rivolgono anche più a data engineer e data scientist che a professionisti dell'infrastruttura.

Facciamo un salto avanti al 2010, 30 anni dopo l'avvento dell'analisi dei dati, una nuova forma di statistica applicata stava emergendo nelle startup che stavano pionieristiche nell'uso delle reti neurali per elaborare i dati in un modo ispirato al cervello umano. 
Aziende di intelligenza artificiale come DeepMind Technologies (acquisita da Google nel 2014) e OpenAI (fondata nel dicembre 2015) hanno tracciato la strada verso un nuovo metodo di elaborazione che non era destinato all'intelligence aziendale (BI), ma piuttosto all'automazione guidata dai dati di conversazioni, codifica, visione artificiale, robotica e altro ancora. 
Nel 2022, ChatGPT di OpenAI è stato lo "sparo che si è sentito in tutto il mondo" dell'IA che ha portato un senso di legittimità e praticità all'applicazione dell'IA che ora sta ispirando ogni settore ad abbracciare l'automazione basata sull'IA.
Entro il 2026, IDC prevede che la spesa per i sistemi centrati sull'IA supererà i 300 miliardi di dollari, crescendo fino a raddoppiare le dimensioni del mercato dei big data in un quarto del tempo*. (*IDC Worldwide Artificial Intelligence Spending Guide)

Mentre il mercato dell'analisi e della BI ha avuto 40 anni per semplificare e ottimizzare lo stack di big data, le tecnologie di deep learning sono così nuove che le opzioni infrastrutturali per la creazione di sistemi di training e inferenza per l'IA sono tutt'altro che semplici. 
Il mercato si è in gran parte diviso in due campi:

Da un lato, i primi pionieri dell'IA (tipicamente società di iperscala) hanno avuto risorse per progettare e costruire nuove infrastrutture di training e inferenza per l'IA, queste società spesso ricorrono all'adeguamento di vecchie tecnologie infrastrutturali nei loro ambienti di IA solo per muoversi rapidamente.

D'altra parte, le organizzazioni che non dispongono delle stesse risorse e talenti tecnici si affidano ai fornitori di infrastruttura cloud per fornire loro la ricetta per la formazione di applicazioni di intelligenza artificiale e l'implementazione di infrastrutture per l'inferenza basata sull'IA. 

Come per i fornitori di iperscala, molti degli strumenti prescritti sono nati in un'era precedente all'emergere di librerie di intelligenza artificiale come Tensorflow e Pytorch. 

Nonostante le affermazioni di semplicità, la "febbre dell'oro" dell'infrastruttura cloud per l'IA pone l'onere dell'integrazione direttamente sulle spalle dell'utente cloud, e queste tecnologie non hanno nemmeno lontanamente la semplicità che le piattaforme dati offrono alle organizzazioni di big data.

Caso emblematico, ecco un'architettura di riferimento ADAS (Advanced Driver Assistance System) fornita da un fornitore cloud leader:

[immagine dell'architettura di riferimento ADAS fornita da un fornitore cloud leader]

Quindi, il divario tra deep learning e piattaforme dati è ormai chiaro e presente. 

Perché le attuali piattaforme dati non possono rispondere alle esigenze del deep learning moderno? In sostanza, questi sistemi non sono stati progettati per archiviare ed elaborare i ricchi set di dati che vengono acquisiti dal mondo naturale. 

Le piattaforme dati più diffuse oggi sono state concepite per modernizzare il reporting aziendale, non per l'automazione guidata dall'IA. 

In verità, se il deep learning non fosse mai esistito, l'adozione delle piattaforme dati odierne non sarebbe cambiata in quanto questi sistemi si concentrano principalmente sulla modernizzazione del data warehouse. 

Sebbene siano state adattate per affrontare alcuni aspetti dei casi d'uso del machine learning e del deep learning, persistono ancora delle lacune fondamentali.

Ecco alcuni dei limiti delle piattaforme dati tradizionali per il deep learning:

• Supporto limitato per dati non strutturati: gran parte dei dati preziosi per il deep learning proviene da fonti non strutturate come immagini, video, testo e segnali sensoriali. 
  Le piattaforme dati tradizionali sono ottimizzate per dati strutturati e tabulari, il che significa che richiedono una preparazione e un pre-processing dei dati che richiedono molto tempo prima che possano essere utilizzati per il deep learning.

• Elaborazione batch lenta: molte piattaforme dati tradizionali elaborano i dati in batch, il che significa che i dati vengono aggregati e analizzati in lotti.
  Questo approccio non è adatto al deep learning, che spesso richiede l'elaborazione dei dati in tempo reale o quasi-reale per garantire l'accuratezza e l'aggiornamento dei modelli.

• Scalabilità limitata: le piattaforme dati tradizionali possono avere difficoltà a scalare orizzontalmente per gestire i massicci set di dati necessari per addestrare i modelli di deep learning. 
  Ciò può comportare tempi di training lunghi e costi elevati.

• Complesse da gestire: le piattaforme dati tradizionali possono essere complesse da configurare e gestire, soprattutto per le organizzazioni che non dispongono di competenze specialistiche in data science e deep learning.

La VAST Data Platform è progettata per superare queste limitazioni e fornire una soluzione completa per il deep learning. 

Offre funzionalità come:

• Supporto nativo per dati non strutturati: la VAST Data Platform può archiviare ed elaborare in modo nativo dati non strutturati, eliminando la necessità di una preparazione dei dati che richiede molto tempo.

• Elaborazione in tempo reale: la piattaforma può elaborare i dati in tempo reale o quasi-reale, consentendo l'addestramento e l'aggiornamento rapidi dei modelli di deep learning.

• Scalabilità elastica: la VAST Data Platform può scalare orizzontalmente per gestire set di dati di qualsiasi dimensione, riducendo i tempi di training e i costi.

• Gestione semplificata: la piattaforma è progettata per essere facile da usare e gestire, anche per le organizzazioni con competenze limitate in data science e deep learning.

Con queste funzionalità, la VAST Data Platform consente alle organizzazioni di sfruttare appieno il potenziale del deep learning per applicazioni come la visione artificiale, la elaborazione del linguaggio naturale, la robotica e altro ancora.

Quanto riportato qui è solo una minima parte di un completo White Paper da scaricare al link sotto.

INFO: https://vastdata.com/whitepaper/#TheRiseoftheDeepLearningDataPlatform