framework Savant
Fa poques setmanes compartim aquí al blog una mica d'informació sobre Savant el qual és framework d'anàlisi de vídeo que facilita lús de NVIDIA DeepStream per resoldre problemes daprenentatge automàtic. El motiu de parlar-ne és que fa poc es va donar a conèixer el llançament de la nova versió de «Savant 0.2.4«, en la qual s'han integrat noves característiques i s'han ampliat els casos d'ús d'aquest fantàstic framework.
Per als que desconeixen del marc, han de saber que aquest s'encarrega de tota la feina amb GStreamer o FFmpeg, el que permet concentrar-se en crear canalitzacions de sortida optimitzades mitjançant la sintaxi declarativa (YAML) i les funcions de Python.
Après amaga tots els aspectes interns de Gstreamer al desenvolupador i proporciona eines pràctiques per implementar aplicacions de IA de transmissió a la vida real. Utilitza el model estàndard de Nvidia PeopleNet per detectar persones i les seves cares i sobretot en llocs on s'apliquen normes de privadesa el framework permet el rastreig i desenfocament de les cares.
Què hi ha de nou a Savant 0.2.4?
Tal com esmentem a l'inici, aquest nou llançament arriba amb noves característiques que han ampliat els casos d'ús del framework i dels quals s'esmenta que per exemple ara Savant pot ser utilitzat en predicció d'edat/gènere, que demostra l'ús de YoloV5-Face, treballant amb un model d'atribut personalitzat que prediu l'edat i el sexe, i transformacions afins a GPU basades en trets facials usant OpenCV-CUDA i Python.
Un altre cas d'ús és la codificació de vídeo condicional, que demostra una canalització que es basa en fotogrames i codifica la transmissió de vídeo només a comanda (a l'exemple, només quan el model detecta objectes); mostra com evitar la despesa de recursos informàtics quan una determinada condició externa requereix marcs.
també ara és possible utilitzar Savant per manejar múltiples fluxos RTSP, demostrant una canalització simple que processa dos fluxos RTSP i és que Savant és molt diferent del que els usuaris esperen en termes de processament dinàmic de subprocessos, s'implementa una canalització simple que processa diversos subprocessos alhora per mostrar com funciona.
Per la part de les noves característiques afegides es destaca la representació i codificació condicionals per reduir el trànsit i utilitzar eficientment els recursos de CPU/GPU, així com també un nou adaptador de font RTSP basat en FFmpeg que funciona molt millor que GStreamer quan les transmissions inclouen fotogrames B i un nou adaptador universal basat en FFmpeg que pot funcionar amb totes les entrades compatibles amb FFmpeg.
A més d'això es destaca que es va identificar un error en la implementació de la funcionalitat NVENC en els dispositius Jetson:NVENC que generava una seqüència incorrectament els fotogrames codificats si la velocitat de fotogrames real en la transmissió no és igual a la configurada, cosa que sol passar quan es treballa amb transmissions RTSP o quan els fotogrames es perden a causa de certes condicions . A Savant, el problema es resol mitjançant una solució en reordenar els fotogrames quan calgui. L'error apareix a DeepStream 6.2 i es va informar a NVIDIA, que va reconèixer l'error i el corregirà a la propera versió de DeepStream.
Dels altres canvis que es destaquen d'aquesta nova versió:
- Durant el desenvolupament, es va introduir la pràctica de rastrejar possibles regressions de rendiment en fusionar cada tiquet.
- La migració dels components interns de Savant de Python a Rust va continuar: la biblioteca de funcions principals de Savant-rs implementada amb un codi provat exhaustivament.
- Els components basats a Python s'estan reemplaçant gradualment amb components basats a Rust per garantir que Savant funcioni sense un bloqueig global (GIL) sempre que sigui possible i que el codi sigui d'alta qualitat.
- Adaptadors documentats per treballar amb dades.
Es van afegir exemples de lús del preprocessament dimatges.
Es va crear una secció sobre com configurar un entorn de desenvolupament a VS Code.
Finalment, cal esmentar que els desenvolupadors planegen en el proper llançament de Savant 0.2.5, integrar més codi Rust perquè les canalitzacions depenguin menys de GIL. També està previst oferir noves funcions relacionades amb la configuració dinàmica de canalitzacions i el desenvolupament perimetral, i afegir-ne de tres a quatre nous exemples que cobreixin funcions bàsiques i avançades.
Si estàs interessat en poder conèixer més sobre això, pots consultar els detalls al següent enllaç.