M5Stack LLM-Modul (großes Sprachmodell) (AX630C)

Modul LLM ist ein integriertes Offline-LLM-Inferenzmodul (Large Language Model), das für Endgeräte entwickelt wurde, die eine effiziente und intelligente Interaktion erfordern. Ob für Smart Homes, Sprachassistenten oder Industriesteuerungen, Module LLM bietet ein reibungsloses und natürliches KI-Erlebnis, ohne auf die Cloud angewiesen zu sein, und sorgt so für Privatsphäre und Stabilität. Integriert in das StackFlow Framework und Arduino/UiFlow Bibliotheken können intelligente Funktionen einfach mit nur wenigen Codezeilen implementiert werden.

Angetrieben von dem fortschrittlichen AX630C SoC-Prozessor integriert er einen 3,2 TOPs hocheffizienten NPU mit nativer Unterstützung für Transformer-Modelle, die komplexe KI-Aufgaben mühelos bewältigen. Ausgestattet mit 4GB LPDDR4 Speicher (1GB verfügbar für Benutzeranwendungen, 3GB für Hardwarebeschleunigung) und 32GB eMMC Speicher unterstützt er das parallele Laden und die sequenzielle Inferenz mehrerer Modelle, was ein reibungsloses Multitasking gewährleistet. Der Hauptchip wird mit dem 12-nm-Prozess von TSMC hergestellt, mit einem Stromverbrauch von etwa 1,5 W, was ihn hocheffizient und für den langfristigen Betrieb geeignet macht.

Es verfügt über ein integriertes Mikrofon, einen Lautsprecher, eine TF-Speicherkarte, USB OTG und eine RGB-Statusleuchte und erfüllt vielfältige Anwendungsanforderungen mit Unterstützung für Sprachinteraktion und Datenübertragung. Das Modul bietet flexible Erweiterungsmöglichkeiten: Der integrierte SD-Kartensteckplatz unterstützt Kalt-/Hot-Firmware-Upgrades und die UART Kommunikationsschnittstelle vereinfacht die Verbindung und das Debugging und sorgt so für Sicherheit Kontinuierliche Optimierung und Erweiterung der Modulfunktionalität. Der USB-Anschluss unterstützt die automatische Master-Slave-Umschaltung und dient sowohl als Debugging-Anschluss als auch zum Anschluss weiterer USB-Geräte wie Kameras. Benutzer können das LLM-Debugging-Kit erwerben, um einen 100-Mbit/s-Ethernet-Port und einen seriellen Kernel-Port hinzuzufügen und ihn als SBC zu verwenden.

Das Modul ist mit mehreren Modellen kompatibel und wird mit dem Sprachmodell Qwen2.5-0.5B vorinstalliert. Es verfügt über KWS (Wake Word), ASR (Spracherkennung), LLM (großes Sprachmodell) und TTS  (Text-to-Speech)-Funktionen mit Unterstützung für eigenständige Anrufe oder Pipeline automatische Übertragung für eine bequeme Entwicklung. Zukünftige Unterstützung umfasst die Modelle Qwen2.5-1.5B, Llama3.2-1B und InternVL2-1B, wodurch aktuelle Modellaktualisierungen möglich sind, um mit Community-Trends Schritt zu halten und verschiedene komplexe KI-Aufgaben zu bewältigen. Zu den Funktionen zur visuellen Erkennung gehören die Unterstützung von CLIP, YoloWorld und zukünftige Updates für DepthAnything, SegmentAnything und andere erweiterte Modelle, um die intelligente Erkennung und Analyse zu verbessern.

Plug-and-Play mit M5-Hosts, Modul LLM bietet ein benutzerfreundliches KI-Interaktionserlebnis. Benutzer können es ohne komplexe Einstellungen schnell in bestehende Smart-Geräte integrieren, wodurch intelligente Funktionen ermöglicht und die Geräteintelligenz verbessert werden. Dieses Produkt eignet sich für Offline-Sprachassistenten, Text-in-Sprache-Konvertierung, Smart-Home-Steuerung, interaktive Roboter und mehr.

Merkmale

• Offline-Inferenz, 3.2T@INT8 Präzisionsrechenleistung
• Integriertes KWS (Wake Word), ASR (Spracherkennung), LLM (großes Sprachmodell), TTS (Text-to-Speech-Generierung)
• Parallelverarbeitung mit mehreren Modellen
• Integrierter 32 GB eMMC-Speicher und 4 GB LPDDR4-Speicher
• Integriertes Mikrofon und Lautsprecher
• Serielle Kommunikation
• Firmware-Upgrade für SD-Karte
• Unterstützt ADB-Debugging
• RGB-Anzeigelampe
• Integriertes Ubuntu-System
• Unterstützt OTG-Funktionalität
• Kompatibel mit Arduino/UIFlow

Inklusive

• 1x Modul LLM

Anwendungen

• Offline-Sprachassistenten
• Text-to-Speech-Konvertierung
• Smart-Home-Steuerung
• Interaktive Roboter

Technische Daten