Savant 0.2.7 ja va ser alliberat i arriba amb moltes característiques noves

Exemples dús de Savant

Es va donar a conèixer el llançament de la nova versió de Savant 0.2.7 inclou diverses correccions d'errors, quatre demostracions novai altres millores, inclosa documentació i avaluacions comparatives.

Per als que desconeixen del marc, han de saber que aquest s'encarrega de tota la feina amb GStreamer o FFmpeg, el que permet concentrar-se en crear canalitzacions de sortida optimitzades mitjançant la sintaxi declarativa (YAML) i les funcions de Python.

Article relacionat:

Savant, un framework per a l'anàlisi de vídeo

Après amaga tots els aspectes interns de Gstreamer al desenvolupador i proporciona eines pràctiques per implementar aplicacions de IA de transmissió a la vida real. Utilitza el model estàndard de Nvidia PeopleNet per detectar persones i les seves cares i sobretot en llocs on s'apliquen normes de privadesa, el framework permet el rastreig i desenfocament de les cares

Principals novetats de Savant 0.2.7

Aquesta nova versió de Savant 0.2.7 presenta una sèrie de característiques importants de les quals es destaca la integració de Prometheus, de manera que l'adaptador de canalització i memòria intermèdia ara pot exportar mètriques d'execució a Prometheus i Grafana, millorant l'observabilitat i el monitoratge de l'exercici i un mode d'execució de «Només Compilació» en el qual els mòduls ara poden compilar models inferits per TRT sense executar la canalització, cosa que millora la previsibilitat en la implementació de les canonades.

També s'ha implementat un adaptador de memòria intermèdia, que implementa un búfer transaccional persistent en disc per a les dades que viatgen entre adaptadors i mòduls, cosa que permet el desenvolupament de canalitzacions robustes i resistents a ràfegues de trànsit.

A més d'això, Savant 0.2.7 ara ofereix noves API's, entre les quals es destaca un ccontrolador «Apagat a PyFunc», la qual és una nova API que facilita la gestió adequada de les operacions de tancament de canonades per alliberar recursos i notificar sistemes externs sobre la terminació, i també l'API d'utilització de cues per a PyFunc amb la qual Savant permet afegir cues entre PyFuncs per implementar processament paral·lel i gestió de ràfegues de trànsit.

D'altra banda, també es destaca a Savant 0.2.7  la incorporació de quatre noves demostracions, que amplien les possibilitats i la versatilitat de la plataforma:

1. Model de Detecció RT-DETR: Aquesta demostració mostra l'aplicació del model de detecció RT-DETR en temps real amb Savant. Encara que aquest model pot ser una mica més lent que el YOLOV8 estàndard, obre noves possibilitats per a la visió per ordinador en temps real, ja que està basat en transformadors.
2. Postprocessament basat en CuPy: Savant 0.2.7 introdueix un accés directe a tensors assignats a GPU i funcions millorades que converteixen aquests tensors entre diferents formats, com OpenCV GpuMat, PyTorch i CuPy. Aquesta millora és especialment útil per a models que impliquen grans tensors i postprocessament complex.
3. Integració de PyTorch: Savant demostra ara la integració de PyTorch en la seva canalització, permetent l'execució d'inferència i postprocessament accelerats per GPU a Python pur sense transferències excessives entre CPU i GPU.
4. Quadres Delimitadors Orientats: La plataforma ara admet quadres delimitadors orientats, cosa que en facilita l'ús en aplicacions que requereixen detecció d'objectes amb angles de rotació.

Dels altres característiques que es destaquen d'aquesta nova versió:

• Filtratge de quadres en entrada i Sortida: Savant ara permet el filtratge de dades per evitar el processament innecessari de fotogrames de vídeo.
• Postprocessament del model a GPU: Savant permet l'accés directe a tensors de sortida del model des de la memòria de la GPU, millorant l'eficiència en el processament de grans tensors.
• Funcions de representació de memòria de GPU: Es proporcionen funcions per a la conversió eficient de buffers de memòria entre diferents formats a la GPU.
• Operacions avançades de modificació d'atributs d'objectes: S'han implementat noves operacions que faciliten la modificació d'atributs d'objectes a Savant.

Per últim i no menys important, val la pena esmentar que Savant 0.2.7 és la darrera versió de funcions de la branca 0.2.X. Les versions següents de la branca 0.2.X seran versions de manteniment i correcció d'errors. El desenvolupament de funcions canvia a la branca 0.3.X basada en DeepStream 6.4 i s'esmenta que no admetrà la família Jetson Xavier perquè Nvidia no els admet amb DS 6.4.

Finalment si estàs interessat a poder conèixer més sobre això sobre aquesta nova versió, pots consultar els detalls en el següent enllaç.