M5Stack LLM (groot taalmodel) Module (AX630C)

Module LLM is een geïntegreerde offline Large Language Model (LLM)-inferentiemodule die is ontworpen voor eindapparaten die efficiënte en intelligente interactie vereisen. Of het nu gaat om slimme huizen, stemassistenten of industriële besturing, Module LLM biedt een soepele en natuurlijke AI-ervaring zonder afhankelijk te zijn van de cloud, waardoor privacy en stabiliteit worden gegarandeerd. Geïntegreerd met het StackFlow framework en Arduino/UiFlow bibliotheken kunnen slimme functies eenvoudig worden geïmplementeerd met slechts een paar regels code.

Aangedreven door de geavanceerde AX630C SoC-processor, integreert het een zeer efficiënte NPU van 3,2 TOP met native ondersteuning voor Transformer-modellen, waarmee complexe AI-taken kunnen worden afgehandeld gemak. Uitgerust met 4 GB LPDDR4 geheugen (1 GB beschikbaar voor gebruikersapplicaties, 3 GB gereserveerd voor hardwareversnelling) en  32 GB eMMC opslag, ondersteunt parallel laden en sequentiële inferentie van meerdere modellen, waardoor soepele multitasking wordt gegarandeerd. De hoofdchip is vervaardigd met behulp van het 12 nm-proces van TSMC, met een energieverbruik tijdens de looptijd van ongeveer 1,5 W, waardoor hij zeer efficiënt en geschikt is voor langdurig gebruik.

Het beschikt over een ingebouwde microfoon, luidspreker, TF-opslagkaart, USB OTG en RGB-statuslampje, en voldoet aan diverse toepassingsbehoeften met ondersteuning voor spraakinteractie en gegevensoverdracht. De module biedt flexibele uitbreidingsmogelijkheden: de ingebouwde SD-kaartsleuf ondersteunt koude/warme firmware-upgrades, en de UART communicatie-interface vereenvoudigt de verbinding en foutopsporing, waardoor continue optimalisatie en uitbreiding van de modulefunctionaliteit. De USB-poort ondersteunt automatische master-slave-schakeling en dient zowel als debugging-poort als voor aansluiting op extra USB-apparaten zoals camera's. Gebruikers kunnen de LLM-foutopsporingskit aanschaffen om een ​​100 Mbps Ethernet-poort en een seriële kernelpoort toe te voegen, en deze als SBC te gebruiken.

De module is compatibel met meerdere modellen en wordt vooraf geïnstalleerd geleverd met het Qwen2.5-0.5B taalmodel. Het bevat KWS (wake word), ASR (spraakherkenning), LLM (groot taalmodel) en TTS  (tekst-naar-spraak) functionaliteiten, met ondersteuning voor zelfstandige oproepen of pijplijn automatische overdracht voor gemakkelijke ontwikkeling. Toekomstige ondersteuning omvat de modellen Qwen2.5-1.5B, Llama3.2-1B en InternVL2-1B, waardoor hot-modelupdates mogelijk zijn om gelijke tred te houden met trends in de gemeenschap en verschillende complexe AI-taken mogelijk te maken. Mogelijkheden voor visieherkenning omvatten ondersteuning voor CLIP, YoloWorld en toekomstige updates voor DepthAnything, SegmentAnything en andere geavanceerde modellen om intelligente herkenning en analyse te verbeteren.

Plug-and-play met M5-hosts biedt Module LLM een gebruiksvriendelijke AI-interactie-ervaring. Gebruikers kunnen het snel integreren in bestaande slimme apparaten zonder complexe instellingen, waardoor slimme functionaliteit mogelijk wordt en de apparaatintelligentie wordt verbeterd. Dit product is geschikt voor offline stemassistenten, tekst-naar-spraak-conversie, smart home control, interactieve robots en meer.

Functies

• Offline gevolgtrekking, 3,2T@INT8 precisierekenkracht
• Geïntegreerde KWS (wake word), ASR (spraakherkenning), LLM (groot taalmodel), TTS (tekst-naar-spraakgeneratie)
• Parallelle verwerking van meerdere modellen
• Ingebouwde 32 GB eMMC-opslag en 4 GB LPDDR4-geheugen
• Ingebouwde microfoon en luidspreker
• Seriële communicatie
• Firmware-upgrade voor SD-kaart
• Ondersteunt ADB-foutopsporing
• RGB-indicatielampje
• Ingebouwd Ubuntu-systeem
• Ondersteunt OTG-functionaliteit
• Compatibel met Arduino/UIFlow

Inclusief

• 1x Module LLM

Toepassingen

• Offline spraakassistenten
• Tekst-naar-spraakconversie
• Slimme huisbesturing
• Interactieve robots

Specificaties