Snowflake, leader nella gestione dei dati su cloud, sta esplorando una collaborazione strategica con Anthropic, noto pioniere nello sviluppo di modelli di intelligenza artificiale (AI). L’obiettivo sarebbe quello di integrare le capacità di intelligenza artificiale avanzata di Anthropic con l’infrastruttura di dati scalabile di Snowflake, permettendo alle imprese di accelerare lo sviluppo e la messa in produzione di applicazioni AI di nuova generazione.
Tag: snowflake
Snowflake sta cercando di capitalizzare la crescente domanda di sviluppo di software basato sull’intelligenza artificiale, annunciando oggi nuovi strumenti per supportare gli sviluppatori nella creazione di pipeline, modelli e applicazioni durante la sua conferenza annuale degli utenti. Snowflake, azienda leader nel cloud dati AI, ha rivelato che i notebook Snowflake sono ora disponibili in anteprima pubblica.
Secondo Snowflake, il modello di intelligenza artificiale aperto, che l’azienda definisce “LLM di livello aziendale”, è ottimizzato per carichi di lavoro aziendali complessi, superando diversi benchmark di settore in termini di generazione di codice SQL, seguito di istruzioni e altro ancora.
Snowflake ha osservato che fornirà il modello LLM con una licenza Apache 2.0 che consente l’uso personale, di ricerca e commerciale senza restrizioni.
“Questo è un momento spartiacque per Snowflake, con il nostro team di ricerca sull’intelligenza artificiale che innova in prima linea nell’intelligenza artificiale”,
Sridhar Ramaswamy, CEO di Snowflake.
Per un utilizzo immediato, Arctic è disponibile per l’inferenza serverless in Snowflake Cortex, un servizio gestito che offre soluzioni di machine learning e intelligenza artificiale nel Data Cloud.
Il modello sarà disponibile anche sul catalogo API di AWS, Hugging Face, Lamini, Microsoft Azure, NVIDIA Perplexity , Together AI e altro ancora, ha osservato la società.
Snowflake ha affermato che fornirà anche modelli di codice, insieme a opzioni flessibili di inferenza e formazione in modo che gli utenti possano iniziare rapidamente a personalizzare Arctic utilizzando i loro framework preferiti. Questi includeranno NIM NVIDIA con NVIDIA TensorRT-LLM, vLLM e Hugging Face.
Oltre ad Arctic LLM, la famiglia di modelli Snowflake Arctic include anche Arctic embed, una famiglia di modelli di incorporamento di testo recentemente annunciata.
L’azienda ha notato che la famiglia di cinque modelli è disponibile su Hugging Face per un uso immediato e sarà presto disponibile come parte di Snowflake Cortex.
I servizi di GENAI hanno preso d’assalto il mondo dal lancio di ChatGPT di OpenAI supportato da Microsoft nel 2022. A livello globale, le aziende hanno lanciato i propri LLM in grado di fornire servizi come generazione di contenuti, immagini, video e voce , solo per citarne alcuni.
Emu Video di Meta Platforms Emu Edit, AudioCraft , SeamlessM4T e Llama 2, Tongyi Qianwen 2.0 e Tongyi Wanxiang di Alibaba, Ernie Bot di Baidu, lo strumento di conversione testo-immagine di OpenAI DALL·E 3 , Gemini di Google, l’unità Alphabet, Gauss di Samsung e il modello di Getty Images chiamato Generative AI di Getty Images, sono alcuni dei LLM, tra i tanti, che sono stati lanciati.
In passato, le aziende si affidavano tradizionalmente ai data warehouse per immagazzinare una vasta gamma di dati provenienti da diverse fonti.
Questi data warehouse sono stati progettati per facilitare il processo decisionale fornendo intelligenza derivata da tali dati.
Tuttavia, con l’evolversi della tecnologia, le esigenze relative ai dati sono cambiate radicalmente, in risposta all’aumento della velocità, del volume e della complessità dei dati stessi.
Sul mercato esistono diverse soluzioni rilevanti, ma approfondiremo una di esse: Snowflake.
Snowflake è un data warehouse basato su cloud che offre tutte le funzionalità di un data warehouse tramite un’unica piattaforma, eliminando la necessità di diverse integrazioni di sistema.
Rispetto a un data warehouse tradizionale, è relativamente semplice da avviare, conveniente e offre la possibilità di scalare rapidamente.
Grazie alla separazione tra lo storage e l’elaborazione, Snowflake consente la condivisione e la scalabilità dei dati.
Inoltre, semplifica le complessità del cloud, consentendo ai clienti di caricare, integrare, elaborare, analizzare e condividere i propri dati in modo efficiente.
Snowflake compete con le soluzioni offerte da Databricks, Amazon Redshift, Microsoft Synapse Fabric e Google Big Data nel data warehousing. Sostituisce Teradata, Hadoop ed Exadata.
Snowflake in sé non è una piattaforma di machine learning, ma la sua architettura basata su cloud e la sua scalabilità lo rendono un ambiente ideale per sfruttare gli algoritmi ML.
Questo perché il machine learning utilizza molti dati e richiede un rapido accesso a set di dati di grandi dimensioni per fornire risultati efficaci.
Le soluzioni di warehousing basate su cloud di Snowflake possono supportare l’infrastruttura necessaria per i progetti ML grazie alla sua semplice scalabilità, alla capacità di interrogare rapidamente i dati e all’efficienza in termini di costi. Inoltre, le funzionalità di elaborazione dati di Snowflake come Spark e altri strumenti consentono di ottimizzare l’addestramento dei modelli e la gestione del ciclo di vita.
Snowflake è progettato per archiviare e analizzare set di dati di grandi dimensioni. Sebbene non possieda funzionalità native di machine learning fornisce l’infrastruttura necessaria per le iniziative di machine learning.
Snowflake supporta il caricamento, la pulizia, la trasformazione e l’interrogazione di grandi volumi di dati strutturati e semistrutturati.
Questi dati possono essere utilizzati per addestrare e rendere operativi modelli di machine learning (ML) con strumenti esterni.
È possibile eseguire query SQL per estrarre, filtrare, aggregare e trasformare i dati in funzionalità adatte agli algoritmi di apprendimento automatico.
Snowflake offre connettori e vari strumenti per l’analisi esplorativa dei dati. Supporta inoltre Python , funzioni definite dall’utente , procedure memorizzate , funzioni esterne e API Snowpark per la preelaborazione e trasformazione dei dati.
Snowpark ML funge da libreria Python e framework fondamentale per flussi di lavoro ML completi all’interno di Snowflake, comprendendo funzionalità sia per lo sviluppo del modello che per le operazioni.
Sfruttando Snowpark ML, gli utenti possono utilizzare framework Python ben noti per attività di preelaborazione, ingegneria delle funzionalità e formazione.
Ciò facilita l’implementazione e l’amministrazione dei modelli interamente all’interno di Snowflake, eliminando la necessità di trasferimenti di dati, silos o compromessi in termini di governance.
Il data warehouse basato su cloud di Snowflake aiuta le aziende a raccogliere i propri dati da un’ampia gamma di piattaforme informatiche in modo che possano essere facilmente elaborati da app di terze parti.
Snowflake inoltre ha annunciato Snowflake Cortex all’evento Snowday del 2023.
Cortex offre agli utenti l’accesso a funzionalità serverless di intelligenza artificiale e ML e democratizza l’uso dell’analisi avanzata eliminando la complessa codifica e infrastruttura che di solito va di pari passo con GenAI. La funzione di riepilogo Cortex è supportata da Llama 2, che è stato addestrato su dati disponibili al pubblico.
Il vantaggio : invece di spostare i tuoi dati su altri servizi che ospitano un LLM per te, i clienti Snowflake possono utilizzare LLM dove i loro dati già risiedono: nel loro account Snowflake.
Per continuare il suo impegno di investire su AI , Snowflake ha recentemente acquisito alcune società che stanno contribuendo a portare l’intelligenza artificiale avanzata e il deep learning nel Data Cloud:
Neeva è un’azienda fondata per rendere la ricerca ancora più intelligente su larga scala. Neeva ha creato un’esperienza di ricerca unica e trasformativa che sfrutta l’intelligenza artificiale generativa e altre innovazioni per consentire agli utenti di eseguire query e scoprire dati in nuovi modi.
Snowflake prevede di infondere e sfruttare queste innovazioni nel Data Cloud a vantaggio dei propri clienti, partner e sviluppatori. Neeva consente inoltre a Snowflake di attingere ad alcune delle tecnologie di ricerca più all’avanguardia disponibili per portare la ricerca e la conversazione in Snowflake a un nuovo livello.
Streamlit è una libreria open source che trasforma gli script Python in app Web condivisibili in pochi minuti. Non è necessaria alcuna esperienza front-end e le app sono scritte in puro Python. Negli ultimi anni, Streamlit è diventato lo standard per lo sviluppo di app dati basate su Python, con un’adozione dell’80% tra le aziende Fortune 50 e centinaia di migliaia di sviluppatori. Steamlit è una piattaforma di riferimento per sperimentare e creare app di intelligenza artificiale generativa basate su LLM.
MYST.AI la piattaforma MYST.AI è creata appositamente per casi d’uso e previsioni di serie temporali, consentendo un flusso di lavoro unico che consente al team di implementare modelli di previsione in pochi minuti. Anche questo è tutto alimentato dall’intelligenza artificiale.
Applica è una piattaforma AI per la comprensione dei documenti che, secondo Snowflake, migliorerà la capacità dei suoi clienti di ottenere approfondimenti da dati non strutturati. Con questa acquisizione, i clienti di Snowflake possono sfruttare i dati non strutturati nello Snowflake Data Cloud in modo più efficiente.
LeapYear consente di utilizzare e condividere in modo sicuro i dati nella sua forma più granulare. Facilitano il lavoro con prodotti contenenti dati sensibili e aiutano anche nella monetizzazione dei dati.
SnowConvert è la suite principale di strumenti per migrare in modo efficiente i database sul cloud. Questo proviene da Mobilize.Net.
Come lo fanno? Risolvono uno dei problemi più difficili di qualsiasi migrazione al cloud, ovvero la ” conversione del codice “. È uno strumento fondamentale per la migrazione a Snowflake. SnowConvert automatizza il processo di conversione del codice per far funzionare le cose su Snowflake più velocemente. Non si tratta di una conversione “trova e sostituisci”, ma di una ricreazione semantica completa del codice funzionalmente equivalente in Snowflake.