Modulo M5Stack LLM (modello linguistico di grandi dimensioni) (AX630C)

Modulo LLM è un modulo di inferenza di Modello di Linguaggio di Grandi Dimensioni (LLM) integrato offline, progettato per dispositivi terminali che richiedono interazioni efficienti e intelligenti. Che si tratti di case intelligenti, assistenti vocali o controllo industriale, il Modulo LLM offre un'esperienza AI fluida e naturale senza fare affidamento sul cloud, garantendo privacy e stabilità. Integrato con il framework StackFlow e le librerie Arduino/UiFlow , le funzionalità intelligenti possono essere facilmente implementate con poche righe di codice.

Alimentato dall'avanzato processore SoC AX630C , integra una NPU 3.2 TOP ad alta efficienza con supporto nativo per i modelli Transformer, gestendo complesse attività di intelligenza artificiale con sollievo. Dotato di 4 GB LPDDR4 di memoria (1 GB disponibile per le applicazioni utente, 3 GB dedicati all'accelerazione hardware) e  Memoria eMMC da 32 GB, supporta il caricamento parallelo e l'inferenza sequenziale di più modelli, garantendo un multitasking fluido. Il chip principale è prodotto utilizzando il processo a 12 nm di TSMC, con un consumo energetico in autonomia di circa 1,5 W, che lo rende altamente efficiente e adatto al funzionamento a lungo termine.

È dotato di microfono, altoparlante, scheda di memoria TF,  USB OTG e spia di stato RGB integrati, soddisfacendo le diverse esigenze applicative con il supporto per l'interazione vocale e il trasferimento dei dati. Il modulo offre un'espansione flessibile: lo slot per scheda SD integrato supporta aggiornamenti firmware a freddo/a caldo e l'interfaccia di comunicazione UART  semplifica la connessione e il debug, garantendo ottimizzazione ed espansione continua delle funzionalità del modulo. La porta USB supporta la commutazione automatica master-slave, fungendo sia da porta di debug sia da consentendo la connessione a dispositivi USB aggiuntivi come le fotocamere. Gli utenti possono acquistare il kit di debug LLM per aggiungere una porta Ethernet da 100 Mbps e una porta seriale del kernel, utilizzandola come SBC.

Il modulo è compatibile con più modelli e viene fornito preinstallato con il modello linguistico Qwen2.5-0.5B . È dotato di KWS (parola sveglia), ASR (riconoscimento vocale), LLM (modello linguistico di grandi dimensioni) e TTS Funzionalità  (sintesi vocale), con supporto per chiamate autonome o pipeline trasferimento automatico per uno sviluppo conveniente. Il supporto futuro include i modelli Qwen2.5-1.5B, Llama3.2-1B e InternVL2-1B, consentendo aggiornamenti dei modelli hot per tenere il passo con le tendenze della comunità e soddisfare varie attività complesse di intelligenza artificiale. Le funzionalità di riconoscimento visivo includono il supporto per CLIP, YoloWorld e futuri aggiornamenti per DepthAnything, SegmentAnything e altri modelli avanzati per migliorare il riconoscimento e l'analisi intelligenti.

Plug and play conhost M5, il modulo LLM offre un'esperienza di interazione IA facile da usare. Gli utenti possono integrarlo rapidamente nei dispositivi intelligenti esistenti senza impostazioni complesse, abilitando funzionalità intelligenti e migliorando l'intelligenza del dispositivo. Questo prodotto è adatto per assistenti vocali offline, conversione da testo a voce, controllo domestico intelligente, robot interattivi e altro ancora.

Caratteristiche

• Inferenza offline, potenza di calcolo di precisione 3.2T@INT8
• KWS integrato (parola sveglia), ASR (riconoscimento vocale), LLM (modello linguistico di grandi dimensioni), TTS (generazione di sintesi vocale)
• Elaborazione parallela multimodello
• Memoria eMMC integrata da 32 GB e memoria LPDDR4 da 4 GB
• Microfono e altoparlante integrati
• Comunicazione seriale
• Aggiornamento del firmware della scheda SD
• Supporta il debug ADB
• Spia luminosa RGB
• Sistema Ubuntu integrato
• Supporta la funzionalità OTG
• Compatibile con Arduino/UIFlow

Include

• 1x Modulo LLM

Applicazioni

• Assistenti vocali offline
• Conversione testo-voce
• Controllo intelligente della casa
• Robot interattivi

Specifiche