In passato, le aziende si affidavano tradizionalmente ai data warehouse per immagazzinare una vasta gamma di dati provenienti da diverse fonti.

Questi data warehouse sono stati progettati per facilitare il processo decisionale fornendo intelligenza derivata da tali dati.

Tuttavia, con l’evolversi della tecnologia, le esigenze relative ai dati sono cambiate radicalmente, in risposta all’aumento della velocità, del volume e della complessità dei dati stessi.

Sul mercato esistono diverse soluzioni rilevanti, ma approfondiremo una di esse: Snowflake.

Snowflake è un data warehouse basato su cloud che offre tutte le funzionalità di un data warehouse tramite un’unica piattaforma, eliminando la necessità di diverse integrazioni di sistema.

Rispetto a un data warehouse tradizionale, è relativamente semplice da avviare, conveniente e offre la possibilità di scalare rapidamente.

Grazie alla separazione tra lo storage e l’elaborazione, Snowflake consente la condivisione e la scalabilità dei dati.

Inoltre, semplifica le complessità del cloud, consentendo ai clienti di caricare, integrare, elaborare, analizzare e condividere i propri dati in modo efficiente.

Snowflake compete con le soluzioni offerte da Databricks, Amazon Redshift, Microsoft Synapse Fabric e Google Big Data nel data warehousing. Sostituisce Teradata, Hadoop ed Exadata.

Snowflake in sé non è una piattaforma di machine learning, ma la sua architettura basata su cloud e la sua scalabilità lo rendono un ambiente ideale per sfruttare gli algoritmi ML.

Questo perché il machine learning utilizza molti dati e richiede un rapido accesso a set di dati di grandi dimensioni per fornire risultati efficaci. 

Le soluzioni di warehousing basate su cloud di Snowflake possono supportare l’infrastruttura necessaria per i progetti ML grazie alla sua semplice scalabilità, alla capacità di interrogare rapidamente i dati e all’efficienza in termini di costi. Inoltre, le funzionalità di elaborazione dati di Snowflake come Spark e altri strumenti consentono di ottimizzare l’addestramento dei modelli e la gestione del ciclo di vita.

Snowflake è progettato per archiviare e analizzare set di dati di grandi dimensioni. Sebbene non possieda funzionalità native di machine learning fornisce l’infrastruttura necessaria per le iniziative di machine learning.

Snowflake supporta il caricamento, la pulizia, la trasformazione e l’interrogazione di grandi volumi di dati strutturati e semistrutturati. 

Questi dati possono essere utilizzati per addestrare e rendere operativi modelli di machine learning (ML) con strumenti esterni. 

È possibile eseguire query SQL per estrarre, filtrare, aggregare e trasformare i dati in funzionalità adatte agli algoritmi di apprendimento automatico.

Snowflake offre connettori e vari strumenti per l’analisi esplorativa dei dati. Supporta inoltre Python , funzioni definite dall’utente , procedure memorizzate , funzioni esterne e API Snowpark per la preelaborazione e trasformazione dei dati. 

Snowpark  ML funge da libreria Python e framework fondamentale per flussi di lavoro ML completi all’interno di Snowflake, comprendendo funzionalità sia per lo sviluppo del modello che per le operazioni. 

Sfruttando Snowpark ML, gli utenti possono utilizzare framework Python ben noti per attività di preelaborazione, ingegneria delle funzionalità e formazione. 

Ciò facilita l’implementazione e l’amministrazione dei modelli interamente all’interno di Snowflake, eliminando la necessità di trasferimenti di dati, silos o compromessi in termini di governance.

Snowday 2023 – Snowflake

Il data warehouse basato su cloud di Snowflake aiuta le aziende a raccogliere i propri dati da un’ampia gamma di piattaforme informatiche in modo che possano essere facilmente elaborati da app di terze parti. 

Snowflake inoltre ha annunciato Snowflake Cortex all’evento Snowday del 2023. 

Cortex offre agli utenti l’accesso a funzionalità serverless di intelligenza artificiale e ML e democratizza l’uso dell’analisi avanzata eliminando la complessa codifica e infrastruttura che di solito va di pari passo con GenAI. La funzione di riepilogo Cortex è supportata da Llama 2, che è stato addestrato su dati disponibili al pubblico.

Il vantaggio : invece di spostare i tuoi dati su altri servizi che ospitano un LLM per te, i clienti Snowflake possono utilizzare LLM dove i loro dati già risiedono: nel loro account Snowflake.

Per continuare il suo impegno di investire su AI , Snowflake ha recentemente acquisito alcune società che stanno contribuendo a portare l’intelligenza artificiale avanzata e il deep learning nel Data Cloud:

Neeva è un’azienda fondata per rendere la ricerca ancora più intelligente su larga scala. Neeva ha creato un’esperienza di ricerca unica e trasformativa che sfrutta l’intelligenza artificiale generativa e altre innovazioni per consentire agli utenti di eseguire query e scoprire dati in nuovi modi.

Snowflake prevede di infondere e sfruttare queste innovazioni nel Data Cloud a vantaggio dei propri clienti, partner e sviluppatori. Neeva consente inoltre a Snowflake di attingere ad alcune delle tecnologie di ricerca più all’avanguardia disponibili per portare la ricerca e la conversazione in Snowflake a un nuovo livello.

Streamlit è una libreria open source che trasforma gli script Python in app Web condivisibili in pochi minuti. Non è necessaria alcuna esperienza front-end e le app sono scritte in puro Python. Negli ultimi anni, Streamlit è diventato lo standard per lo sviluppo di app dati basate su Python, con un’adozione dell’80% tra le aziende Fortune 50 e centinaia di migliaia di sviluppatori. Steamlit è una piattaforma di riferimento per sperimentare e creare app di intelligenza artificiale generativa basate su LLM.

MYST.AI la piattaforma MYST.AI è creata appositamente per casi d’uso e previsioni di serie temporali, consentendo un flusso di lavoro unico che consente al team di implementare modelli di previsione in pochi minuti. Anche questo è tutto alimentato dall’intelligenza artificiale.

Applica è una piattaforma AI per la comprensione dei documenti che, secondo Snowflake, migliorerà la capacità dei suoi clienti di ottenere approfondimenti da dati non strutturati. Con questa acquisizione, i clienti di Snowflake possono sfruttare i dati non strutturati nello Snowflake Data Cloud in modo più efficiente.

LeapYear consente di utilizzare e condividere in modo sicuro i dati nella sua forma più granulare. Facilitano il lavoro con prodotti contenenti dati sensibili e aiutano anche nella monetizzazione dei dati.

SnowConvert è la suite principale di strumenti per migrare in modo efficiente i database sul cloud. Questo proviene da Mobilize.Net.

Come lo fanno? Risolvono uno dei problemi più difficili di qualsiasi migrazione al cloud, ovvero la ” conversione del codice “. È uno strumento fondamentale per la migrazione a Snowflake. SnowConvert automatizza il processo di conversione del codice per far funzionare le cose su Snowflake più velocemente. Non si tratta di una conversione “trova e sostituisci”, ma di una ricreazione semantica completa del codice funzionalmente equivalente in Snowflake.