Zestaw modułu M5Stack LLM (duży model językowy) (AX630C)

Modułowy zestaw LLM to inteligentny modułowy zestaw skoncentrowany na aplikacjach inferencji AI offline i interfejsach komunikacji danych. Integruje moduły Module LLM oraz Module13.2 LLM Mate, aby sprostać wymaganiom inferencji AI offline i interakcji danych w różnych scenariuszach.

Moduł LLM to zintegrowany, offline'owy moduł inferencji dużego modelu językowego (LLM) zaprojektowany specjalnie dla urządzeń terminalowych, które wymagają efektywnej i inteligentnej interakcji. Niezależnie od tego, czy chodzi o aplikacje inteligentnego domu, asystentów głosowych, czy sterowanie przemysłowe, Moduł LLM zapewnia płynne i naturalne doświadczenie AI bez konieczności korzystania z chmury, gwarantując prywatność, bezpieczeństwo i stabilność.

Moduł Module13.2 LLM Mate zapewnia różnorodne funkcje interfejsu ułatwiające integrację i rozbudowę systemu. Osiąga zasilanie kaskadowe z Module LLM za pomocą interfejsu M5BUS; wbudowany układ konwersji USB CH340N oferuje funkcjonalność debugowania USB-do-serial, podczas gdy interfejs Type-C służy do wyjścia logów USB. Dodatkowo, interfejs RJ45 współpracuje z wbudowanym transformatorem sieciowym, rozszerzając do portu Ethernet 100 Mbps oraz głównego portu szeregowego (obsługującego aplikacje SBC); interfejs FPC-8P łączy się bezpośrednio z Module LLM, zapewniając stabilną komunikację szeregową; ponadto, zarezerwowany jest pad lutowniczy HT3.96*9P do rozbudowy DIY.

Moduł LLM integruje framework StackFlow wraz z bibliotekami Arduino/UiFlow, umożliwiając implementację inteligencji brzegowej za pomocą zaledwie kilku linii kodu. Zasilany zaawansowanym procesorem AiXin AX630C SoC i wyposażony w wysokowydajny NPU dostarczający 3,2 TOPS z natywnym wsparciem dla modeli Transformer, bez trudu radzi sobie ze skomplikowanymi zadaniami AI. Wyposażony w 4GB pamięci LPDDR4 (1GB dla aplikacji użytkownika i 3GB dedykowane do akceleracji sprzętowej) oraz 32GB pamięci eMMC, obsługuje równoległe ładowanie wielu modeli i łańcuchowe wnioskowanie, zapewniając płynne wielozadaniowość. Przy zużyciu energii operacyjnej wynoszącym zaledwie około 1,5W, jest znacznie bardziej energooszczędny niż podobne produkty, co czyni go idealnym do długotrwałej pracy.

Moduł LLM jest kompatybilny z wieloma modelami i jest fabrycznie zainstalowany z dużym modelem językowym Qwen2.5-0.5B, wyposażonym w wbudowane funkcje, w tym KWS (słowo wybudzające), ASR (rozpoznawanie mowy), LLM (duży model językowy) oraz TTS (zamiana tekstu na mowę). Obsługuje również szybkie aktualizacje oprogramowania i pakietów modeli oparte na apt. Po zainstalowaniu wtyczki openai-api staje się kompatybilny ze standardowym API OpenAI, wspierając czat, uzupełnianie rozmów, zamianę mowy na tekst oraz tekstu na mowę w różnych trybach aplikacji. Oficjalne repozytorium apt oferuje bogate zasoby dużych modeli — w tym deepseek-r1-distill-qwen-1.5b, InternVL2_5-1B-MPO, Llama-3.2-1B, Qwen2.5-0.5B oraz Qwen2.5-1.5B — a także modele tekst-na-mowę (whisper-tiny, whisper-base, melotts) oraz modele wizualne (takie jak yolo11 i inne modele SOTA). Repozytorium jest nieustannie aktualizowane, aby wspierać najnowocześniejsze zastosowania modeli, spełniając wymagania złożonych zadań AI.

Moduł LLM Kit to rozwiązanie typu plug-and-play, które w połączeniu z hostem M5 zapewnia natychmiastowe interaktywne doświadczenie AI. Użytkownicy mogą bezproblemowo zintegrować go z istniejącymi inteligentnymi urządzeniami bez uciążliwej konfiguracji, szybko włączając inteligentne funkcje i poprawiając wydajność urządzenia. Ten produkt jest idealny do asystentów głosowych offline, konwersji tekstu na mowę, sterowania inteligentnym domem, interaktywnych robotów i nie tylko.

Funkcje

• Wnioskowanie offline, 3,2 TOPS przy precyzji INT8
• Zintegrowane KWS (wykrywanie słowa wywołującego), ASR (rozpoznawanie mowy), LLM (duży model językowy), TTS (synteza mowy)
• Równoległe przetwarzanie wielu modeli
• Wbudowana pamięć eMMC 32GB i pamięć LPDDR4 4GB
• Wbudowany mikrofon i głośnik
• Komunikacja szeregowa
• Aktualizacja oprogramowania układowego karty SD
• Obsługuje debugowanie ADB
• Dioda LED stanu RGB
• Wbudowany system Ubuntu
• Obsługuje funkcję OTG
  

Zawiera

• 1 x Moduł LLM
• 1 x Moduł LLM Mate
• 2 x przewód FPC-8P
  

Aplikacje

• Asystenci głosowi offline
• Konwersja tekstu na mowę
• Sterowanie inteligentnym domem
• Interaktywne roboty

Specyfikacje