dabochen

Designer, ingegnere, fondatore di fabrie.com

Questo è un progetto che ho realizzato per aiutarmi a capire come funziona GPT.

https://github.com/dabochen/spreadsheet-is-all-you-need

È piuttosto divertente giocarci, soprattutto quando stai cercando di capire cosa sta succedendo esattamente all’interno di un trasformatore.
Questo mi ha aiutato a visualizzare l’intera struttura e il flusso di dati.
Tutti i meccanismi, i calcoli, le matrici all’interno sono completamente interattivi e configurabili.

Mentre leggevo gli LLM, mi sono reso conto che i meccanismi interni di un trasformatore sono fondamentalmente una serie di calcoli di matrici collegati in un certo ordine.

Ho iniziato a chiedermi se l’intero processo potesse essere rappresentato in un foglio di calcolo poiché tutti i calcoli sono abbastanza semplici. Sono un pensatore visivo, non potrei pensare a un modo migliore per farlo. Q

uindi, con alcuni tentativi ed errori, ho scritto l’intera pipeline di inferenza dell’architettura nanoGPT in un unico foglio di calcolo.
Dimentica Python, si è scoperto cheil foglio di calcolo è tutto ciò di cui hai bisogno.