Module LLM (modèle de langage large) M5Stack (AX630C)

Le Module LLM est un module d'inférence LLM (Large Language Model) hors ligne intégré conçu pour les terminaux qui nécessitent une interaction efficace et intelligente. Que ce soit pour les maisons intelligentes, les assistants vocaux ou le contrôle industriel, Module LLM offre une expérience d'IA fluide et naturelle sans dépendre du cloud, garantissant ainsi confidentialité et stabilité. Intégré au framework StackFlow et Arduino/UiFlow bibliothèques, les fonctionnalités intelligentes peuvent être facilement implémentées avec seulement quelques lignes de code.

Alimenté par le processeur SoC avancé AX630C , il intègre un NPU 3.2 TOPs à haut rendement avec prise en charge native des modèles Transformer, gérant des tâches d'IA complexes avec facilité. Équipé de 4 Go de mémoire LPDDR4  (1 Go disponible pour les applications utilisateur, 3 Go dédiés à l'accélération matérielle) et  32 Go de stockage eMMC , il prend en charge le chargement parallèle et l'inférence séquentielle de plusieurs modèles, garantissant un multitâche fluide. La puce principale est fabriquée à l'aide du processus 12 nm de TSMC, avec une consommation électrique d'exécution d'environ 1,5 W, ce qui la rend très efficace et adaptée à un fonctionnement à long terme.

Il comprend un microphone intégré, un haut-parleur, une carte de stockage TF, USB OTG et un voyant d'état RVB, répondant à divers besoins d'applications avec prise en charge de l'interaction vocale et du transfert de données. Le module offre une extension flexible : l'emplacement pour carte SD intégré prend en charge les mises à niveau du micrologiciel à froid/à chaud, et l'interface de communication UART  simplifie la connexion et le débogage, garantissant optimisation et extension continues des fonctionnalités du module. Le port USB prend en charge la commutation automatique maître-esclave, servant à la fois de port de débogage et permettant la connexion à des périphériques USB supplémentaires tels que des appareils photo. Les utilisateurs peuvent acheter le kit de débogage LLM pour ajouter un port Ethernet 100 Mbps et un port série du noyau, en l'utilisant comme SBC.

Le module est compatible avec plusieurs modèles et est livré préinstallé avec le modèle de langage Qwen2.5-0.5B . Il comprend KWS (mot de réveil), ASR (reconnaissance vocale), LLM (grand modèle de langage) et TTS Fonctionnalités  (texte en parole), avec prise en charge des appels autonomes ou pipeline transfert automatique pour un développement pratique. La prise en charge future inclut les modèles Qwen2.5-1.5B, Llama3.2-1B et InternVL2-1B, permettant des mises à jour de modèles à chaud pour suivre les tendances de la communauté et s'adapter à diverses tâches d'IA complexes. Les capacités de reconnaissance visuelle incluent la prise en charge de CLIP, YoloWorld et les futures mises à jour de DepthAnything, SegmentAnything et d'autres modèles avancés pour améliorer la reconnaissance et l'analyse intelligentes.

Plug and play avec les hôtes M5, le module LLM offre une expérience d'interaction IA facile à utiliser. Les utilisateurs peuvent l'intégrer rapidement aux appareils intelligents existants sans paramètres complexes, permettant ainsi des fonctionnalités intelligentes et améliorant l'intelligence des appareils. Ce produit convient aux assistants vocaux hors ligne, à la conversion texte-parole, au contrôle de la maison intelligente, aux robots interactifs, etc.

Caractéristiques

• Inférence hors ligne, puissance de calcul de précision 3.2T@INT8
• KWS (wake word), ASR (reconnaissance vocale), LLM (grand modèle de langage), TTS (génération de synthèse vocale) intégrés
• Traitement parallèle multimodèle
• Stockage eMMC intégré de 32 Go et mémoire LPDDR4 de 4 Go
• Microphone et haut-parleur intégrés
• Communication série
• Mise à niveau du micrologiciel de la carte SD
• Prend en charge le débogage ADB
• Voyant lumineux RVB
• Système Ubuntu intégré
• Prend en charge la fonctionnalité OTG
• Compatible avec Arduino/UIFlow

Comprend

• 1x Module LLM

Applications

• Assistants vocaux hors ligne
• Conversion de texte en parole
• Contrôle de la maison intelligente
• Robots interactifs

Caractéristiques