Pred pár dňami spoločnosť Google v blogovom príspevku oznámila spustenie Coral NPU , open-source platformy , ktorá kombinuje špecializovaný hardvérový akcelerátor pre umelú inteligenciu s kompletnou sadou softvérových nástrojov.
Coral NPU sa javí ako priekopnícka architektúra, ktorá vznikla v úzkej spolupráci medzi spoločnosťami Google Research a Google DeepMind. Výsledkom tohto spoločného úsilia bol návrh, ktorý kladie umelú inteligenciu do centra pozornosti a predstavuje míľnik vo vývoji novej generácie systémov edge AI.
Coral NPU: Architektúra založená na umelej inteligencii
Základným princípom návrhu Coral NPU je schopnosť udržiavať AI v prevádzke bez prerušenia s minimálnou spotrebou energie. Coral NPU je preto navrhnutý tak, aby nepretržite spúšťal aplikácie AI bez toho, aby to ohrozilo výdrž batérie zariadení. Jeho základná verzia dosahuje výkon 512 miliárd operácií za sekundu (GOPS) s iba niekoľkými miliwattami spotreby energie, čo je pozoruhodne nízka hodnota v porovnaní s inými akcelerátormi na trhu.
Táto architektúra bola dôkladne optimalizovaná tak, aby umožňovala celodenné riešenia umelej inteligencie v nositeľných zariadeniach a iných zariadeniach citlivých na autonómiu.
Jeho architektúra navyše umožňuje výrobcom prispôsobiť a upraviť dizajn podľa potrieb ich vlastných systémov na čipe (SoC). Spoločnosť Synaptics bude prvou spoločnosťou, ktorá integruje túto technológiu do svojej novej série procesorov Astra SL2610, určených pre zariadenia internetu vecí, a to vrátane subsystému Torq NPU založeného na technológii Coral.
Flexibilita a efektívnosť Coral NPU z neho robia ideálny nástroj na spracovanie obrazu, zvuku a rozpoznávania . Medzi jeho najvýznamnejšie aplikácie patrí vizuálna rekonštrukcia, rozpoznávanie tváre a objektov, preklad a transkripcia v reálnom čase a ovládanie gestami alebo hlasom. Dokáže tiež detekovať aktivitu používateľa (ako je chôdza, beh alebo spánok) a prispôsobiť sa okolitému fyzickému prostrediu.
Vďaka týmto funkciám sľubuje Coral NPU vytvorenie novej generácie inteligentných spotrebiteľských zariadení, ako sú hodinky, headsety a okuliare s rozšírenou realitou, ktoré dokážu spúšťať pokročilú umelú inteligenciu priamo na zariadení bez nutnosti spoliehať sa na cloud.
Technický výkon poháňaný RISC-V
Srdce procesora Coral NPU je založené na 32-bitovej architektúre RV32IMF_Zve32x RISC-V, ktorú dopĺňa zbernica AXI4 a štvorstupňový pipeline, ktorý umožňuje efektívne vykonávanie inštrukcií. Jeho dizajn kombinuje odosielanie v poradí a dokončovanie mimo poradia so skalárnym a vektorovým prístupom pre vyváženie výkonu a efektívnosti.
Systém ponúka SIMD operácie pre paralelné spracovanie 128-bitových vektorových dát spolu s 8 KB inštrukčnej pamäte a 32 KB dátovej pamäte. Túto konfiguráciu dopĺňajú tri hlavné komponenty:
- Skalárne jadro RISC-V, programovateľné v jazyku C, zodpovedné za správu toku dát a ultranízku spotrebu energie.
- Vektorový koprocesor SIMD, kompatibilný s rozšíreniami RVV v1.0, navrhnutý na paralelné spracovanie veľkých objemov informácií.
- Maticový koprocesor optimalizovaný na urýchlenie základných operácií násobenia a sčítania (MAC) v neurónových sieťach.
Otvorený a kompatibilný vývojový ekosystém
Spoločnosť Google spolu so spustením Coral NPU poskytla kompletné vývojové prostredie , ktoré obsahuje kompilátory modelov umelej inteligencie (IREE a TFLM), kompilátor jazyka C a simulátor pre vývojárov.
NPU je kompatibilný s najpopulárnejšími frameworkami umelej inteligencie , ako sú TensorFlow, JAX a PyTorch, a umožňuje kompiláciu modelov do univerzálnej medzireprezentácie, ktorú backend LLVM nakoniec preloží do inštrukcií RISC-V.
Touto iniciatívou spoločnosť Google nielenže podporuje zavádzanie otvoreného hardvéru pre umelú inteligenciu, ale tiež kladie základy pre ekosystém spolupráce, v ktorom môžu výrobcovia, vývojári a komunita open source inovovať na spoločnej platforme.
Ak sa chcete o tom dozvedieť viac , mali by ste vedieť, že tento projekt je licencovaný pod licencovaním Apache 2.0 a môžete si preštudovať dokumentáciu a nástroje , ktoré spoločnosť Google ponúka vývojárom a dizajnérom.