çerçeve savant
Birkaç hafta önce burada blogda paylaşıyoruz hakkında biraz bilgi Video analiz çerçevesi olan Savant bu, makine öğrenimi sorunlarını çözmek için NVIDIA DeepStream kullanımını kolaylaştırır. Bunun hakkında konuşmanın nedeni, son zamanlarda «Savant 0.2.4'ün yeni sürümünün yayınlandığını duyurduYeni özelliklerin entegre edildiği ve bu harika çerçevenin kullanım durumlarının genişletildiği ".
Çerçeveye aşina olmayanlar için şunu bilmelisiniz ki, bu GStreamer veya FFmpeg ile tüm işi halleder, bildirime dayalı (YAML) sözdizimi ve Python işlevlerini kullanarak optimize edilmiş çıktı ardışık düzenleri oluşturmaya odaklanmanıza olanak tanır.
Bilgin Gstreamer'ın tüm dahili içeriğini geliştiriciden gizler ve akış yapay zeka uygulamalarını gerçek hayatta uygulamak için pratik araçlar sağlar. Standart Nvidia PeopleNet modelini kullanır insanları ve yüzlerini algılamak için ve özellikle gizlilik düzenlemelerinin geçerli olduğu yerlerde, çerçeve yüzlerin izlenmesine ve bulanıklaştırılmasına olanak tanır.
Savant 0.2.4'teki yenilikler neler?
Başta da belirttiğimiz gibi, bu yeni sürüm kullanım durumlarını genişleten yeni özelliklerle birlikte gelir çerçevenin ve bahsedildiği, örneğin şimdi Savant yaş/cinsiyet tahmininde kullanılabilir, yaş ve cinsiyeti tahmin eden özel bir öznitelik modeliyle çalışan YoloV5-Face'in kullanımı ve OpenCV-CUDA ve Python kullanılarak yüz özelliklerine dayalı GPU-afin dönüşümleri gösteriliyor.
Başka bir kullanım durumu, koşullu video kodlamadır. çerçeve tabanlı olan ve video akışını yalnızca talep üzerine kodlayan bir işlem hattını gösteren (örnekte, yalnızca model nesneleri algıladığında); belirli bir dış koşul çerçeveler gerektirdiğinde bilgi işlem kaynaklarının boşa harcanmasının nasıl önleneceğini gösterir.
Ayrıca şimdi birden çok RTSP akışını işlemek için Savant'ı kullanmak mümkündür, İki RTSP akışını işleyen basit bir işlem hattını göstererek ve Savant, dinamik iş parçacığı işleme açısından kullanıcıların beklediğinden çok farklı olduğu için, nasıl çalıştığını göstermek için birden çok iş parçacığını aynı anda işleyen basit bir işlem hattı uyguluyoruz.
Eklenen yeni özellikler kısmında, koşullu oluşturma ve kodlama trafiği azaltmak ve CPU/GPU kaynaklarını verimli bir şekilde kullanmak için yeni FFmpeg tabanlı RTSP kaynak adaptörü akışlar B-kareleri ve tüm FFmpeg uyumlu girişlerle çalışabilen yeni bir FFmpeg tabanlı evrensel adaptör içerdiğinde GStreamer'dan çok daha iyi çalışır.
Buna ek olarak, vurgulanır ki NVENC işlevselliğinin uygulanmasında bir hata belirlendi Jetson:NVENC cihazlarında, akıştaki gerçek kare hızı, genellikle RTSP akışlarıyla çalışırken veya belirli koşullar nedeniyle çerçeveler düştüğünde ortaya çıkan, yapılandırılmış olana eşit değilse, kodlanmış çerçeveleri yanlış şekilde aktarır. Savant'ta sorun, gerektiğinde çerçeveleri yeniden düzenleyerek geçici bir çözümle çözülür. Hata, DeepStream 6.2'de görünüyor ve hatayı kabul eden ve bir sonraki DeepStream sürümünde düzeltecek olan NVIDIA'ya bildirildi.
Of the öne çıkan diğer değişiklikler bu yeni sürümün:
- Geliştirme sırasında, her bileti birleştirerek olası performans gerilemelerini izleme uygulaması tanıtıldı.
- Savant dahili bileşenlerinin Python'dan Rust'a taşınması devam etti: Kapsamlı bir şekilde test edilmiş kodla uygulanan Savant-rs temel işlev kitaplığı.
- Python tabanlı bileşenler, Savant'ın mümkün olduğunda küresel kilit (GIL) olmadan çalışmasını ve kodun yüksek kalitede olmasını sağlamak için kademeli olarak Rust tabanlı bileşenlerle değiştiriliyor.
- Verilerle çalışmak için belgelenmiş bağdaştırıcılar.
Görüntü ön işlemeyi kullanma örnekleri eklendi.
VS Code'da bir geliştirme ortamının nasıl kurulacağına dair bir bölüm oluşturuldu.
Son olarak belirtmek gerekir ki, geliştiriciler Savant 0.2.5'in bir sonraki sürümünde daha fazla Rust kodu entegre etmeyi planlayın, böylece işlem hatları GIL'e daha az bağlıdır. Ayrıca, dinamik ardışık düzen yapılandırması ve uç geliştirme ile ilgili yeni özellikler sunulması ve temel ve gelişmiş özellikleri kapsayan üç ila dört yeni örnek eklenmesi planlanmaktadır.
Bu konuda daha fazla bilgi edinmek istiyorsanız, ayrıntılara başvurabilirsiniz. aşağıdaki bağlantı.