Savant 0.2.4 hadir dengan peningkatan fungsionalitas, kasus penggunaan yang diperluas, dan banyak lagi

Sarjana

kerangka kerja Savant

Beberapa minggu lalu kami berbagi di sini di blog sedikit informasi tentang Savant yang merupakan kerangka analisis video yang memudahkan penggunaan NVIDIA DeepStream untuk memecahkan masalah pembelajaran mesin. Alasan untuk membicarakannya adalah baru-baru ini mengumumkan perilisan versi baru «Savant 0.2.4“, di mana fitur-fitur baru telah diintegrasikan dan kasus penggunaan kerangka kerja hebat ini telah diperluas.

Bagi mereka yang tidak terbiasa dengan kerangka kerja, Anda harus tahu ini menangani semua pekerjaan dengan GStreamer atau FFmpeg, memungkinkan Anda untuk berfokus pada pembuatan pipeline keluaran yang dioptimalkan menggunakan sintaks deklaratif (YAML) dan fungsi Python.

Sarjana
Artikel terkait:
Savant, kerangka kerja untuk analisis video

Sarjana menyembunyikan semua internal Gstreamer dari pengembang dan menyediakan alat praktis untuk mengimplementasikan aplikasi AI streaming dalam kehidupan nyata. Menggunakan model standar Nvidia PeopleNet untuk mendeteksi orang dan wajah mereka dan terutama di tempat-tempat di mana peraturan privasi berlaku, framework memungkinkan pelacakan dan pemburaman wajah.

Apa yang baru di Savant 0.2.4?

Seperti yang kami sebutkan di awal, rilis baru ini hadir dengan fitur-fitur baru yang telah memperluas kasus penggunaan kerangka dan yang disebutkan bahwa misalnya sekarang Savant dapat digunakan dalam prediksi usia / jenis kelamin, mendemonstrasikan penggunaan YoloV5-Face, bekerja dengan model atribut khusus yang memprediksi usia dan jenis kelamin, dan transformasi GPU-affine berdasarkan fitur wajah menggunakan OpenCV-CUDA dan Python.

Kasus penggunaan lainnya adalah penyandian video bersyarat, yang mendemonstrasikan pipeline berbasis bingkai dan mengkodekan aliran video hanya berdasarkan permintaan (dalam contoh, hanya saat model mendeteksi objek); menunjukkan cara menghindari pemborosan sumber daya komputasi saat kondisi eksternal tertentu memerlukan bingkai.

Juga sekarang dimungkinkan untuk menggunakan Savant untuk menangani beberapa aliran RTSP, Mendemonstrasikan pipeline sederhana yang memproses dua aliran RTSP dan karena Savant sangat berbeda dari yang diharapkan pengguna dalam hal pemrosesan thread dinamis, kami mengimplementasikan pipeline sederhana yang memproses banyak thread sekaligus untuk menunjukkan cara kerjanya.

Pada bagian dari fitur baru yang ditambahkan, itu menonjol rendering dan pengkodean bersyarat untuk mengurangi lalu lintas dan menggunakan sumber daya CPU/GPU secara efisien, serta a adaptor sumber RTSP berbasis FFmpeg baru yang bekerja jauh lebih baik daripada GStreamer ketika streaming menyertakan bingkai-B dan adaptor universal berbasis FFmpeg baru yang dapat bekerja dengan semua input yang kompatibel dengan FFmpeg.

Selain itu, digarisbawahi bahwa kesalahan diidentifikasi dalam implementasi fungsi NVENC pada perangkat Jetson:NVENC yang salah mengalirkan bingkai yang disandikan jika kecepatan bingkai sebenarnya dalam aliran tidak sama dengan yang dikonfigurasi, yang sering terjadi saat bekerja dengan aliran RTSP atau saat bingkai dijatuhkan karena kondisi tertentu . Di Savant, masalah diselesaikan dengan solusi dengan menyusun ulang frame bila perlu. Bug muncul di DeepStream 6.2 dan telah dilaporkan ke NVIDIA, yang telah mengakui bug tersebut dan akan memperbaikinya di rilis DeepStream berikutnya.

dari perubahan lain yang menonjol dari versi baru ini:

  • Selama pengembangan, praktik pelacakan kemungkinan regresi kinerja dengan menggabungkan setiap tiket diperkenalkan.
  • Migrasi internal Savant dari Python ke Rust berlanjut: Pustaka fungsi inti Savant-rs diimplementasikan dengan kode yang diuji secara ekstensif.
  • Komponen berbasis Python secara bertahap diganti dengan komponen berbasis Rust untuk memastikan bahwa Savant bekerja tanpa kunci global (GIL) jika memungkinkan dan kodenya berkualitas tinggi.
  • Adaptor terdokumentasi untuk bekerja dengan data.
    Menambahkan contoh penggunaan preprocessing gambar.
    Membuat bagian tentang cara menyiapkan lingkungan pengembangan di VS Code.

Terakhir, harus disebutkan bahwa para pengembang rencanakan di rilis berikutnya dari Savant 0.2.5 untuk mengintegrasikan lebih banyak kode Rust sehingga saluran pipa kurang bergantung pada GIL. Direncanakan juga untuk menghadirkan fitur-fitur baru terkait konfigurasi pipeline dinamis dan pengembangan edge, serta menambahkan tiga hingga empat sampel baru yang mencakup fitur dasar dan lanjutan.

Jika Anda tertarik untuk mengetahui lebih banyak tentangnya, Anda dapat berkonsultasi dengan detailnya di link berikut.


tinggalkan Komentar Anda

Alamat email Anda tidak akan dipublikasikan. Bidang yang harus diisi ditandai dengan *

*

*

  1. Penanggung jawab data: Miguel Ángel Gatón
  2. Tujuan data: Mengontrol SPAM, manajemen komentar.
  3. Legitimasi: Persetujuan Anda
  4. Komunikasi data: Data tidak akan dikomunikasikan kepada pihak ketiga kecuali dengan kewajiban hukum.
  5. Penyimpanan data: Basis data dihosting oleh Occentus Networks (UE)
  6. Hak: Anda dapat membatasi, memulihkan, dan menghapus informasi Anda kapan saja.