Buổi giới thiệu SoftISP tại fosdem 2024
Trong khi hội nghị FOSDEM 2024, Hans de Goede, một nhà phát triển Fedora làm việc với Red Hat, Tôi nói về vấn đề hiện tại đã được xác định trong nhiều máy tínhmáy tính xách tay Intel gần đây vì chúng đã thay thế mô-đun máy ảnh USB UVC tiêu chuẩn với cảm biến camera MIPI thô được kết nối với IPU6.
Đề cập đến đó Giao diện MIPI đang được sử dụng thay vì truyền video qua bus USB, vốn phổ biến trong các thiết bị hỗ trợ tiêu chuẩn UVC (Lớp video USB). MIPI cung cấp quyền truy cập vào cảm biến máy ảnh thông qua bộ thu CSI (Giao diện nối tiếp máy ảnh) và Bộ xử lý tín hiệu hình ảnh (ISP) được tích hợp vào CPU.
Cách tiếp cận này cho phép chụp ảnh dựa trên dữ liệu thô trực tiếp từ cảm biến. Intel cung cấp một bộ trình điều khiển độc quyền để hoạt động với camera MIPI trên Linux thông qua IPU6 trên bộ xử lý Intel Tiger Lake, Alder Lake, Raptor Lake và Meteor Lake.
Cả giao diện phần cứng của phần ISP của IPU6 và các thuật toán xử lý hình ảnh được sử dụng đều được coi là bí mật thương mại và cho đến nay, hỗ trợ Linux duy nhất cho IPU6 dựa trên trình điều khiển hạt nhân ngoài cây với ngăn xếp không gian người dùng độc quyền ở trên cùng. hiện có sẵn trên vòng/phút.
Cả Linaro và Red Hat đều xác định việc thiếu hỗ trợ của ISP cho các chip ARM và X86 khác nhau là một vấn đề. Linaro đã bắt đầu một dự án bổ sung thành phần SoftwareISP vào libcamera để cho phép những camera này hoạt động mà không cần phần mềm độc quyền và Red Hat đã hợp tác với Linaro để thực hiện việc này.
Hans, đề cập đến điều đó khó khăn chính trong quá trình phát triển trình điều khiển mở cho máy ảnh MIPI nó nằm trong thực tế là giao diện phần cứng bộ xử lý ISP và thuật toán xử lý ảnh thường được thực hiện trong đó không được các nhà sản xuất CPU tiết lộ và được giữ bí mật thương mại. Để giải quyết vấn đề này, Linaro và Red Hat đã hợp tác để phát triển phần mềm triển khai bộ xử lý hình ảnh có tên SoftISP, cho phép làm việc với camera MIPI mà không cần dựa vào các thành phần độc quyền.
Việc thực hiện SoftISP đã được đề xuất đưa vào dự án libCamera, cung cấp một gói phần mềm để hoạt động với máy quay, máy ảnh và bộ điều chỉnh TV trên hệ thống Linux, Android và ChromeOS. Ngoài SoftISP, ngăn xếp để làm việc với camera MIPI còn bao gồm trình điều khiển cho cảm biến ov2740 hoạt động ở cấp hạt nhân, cũng như mã để hỗ trợ bộ thu CSI trong nhân Linux, một phần của IPU6 của bộ xử lý Intel.
Hiện tại, ngăn xếp SoftISP vẫn chưa được chấp nhận trong nhân Linux hoặc trong dự án libCamera, nhưng sự phát triển hiện được coi là đã đạt đến giai đoạn thích hợp để nhiều người đam mê thử nghiệm. Chức năng của ngăn xếp này đã được thử nghiệm với camera MIPI dựa trên các cảm biến khác nhau của máy tính xách tay Lenovo, Dell và HP.
vì quan tâm đến dự án, Bạn nên biết rằng các gói nhân Linux và libCamera, bao gồm các thay đổi của dự án, hiện có sẵn trong kho lưu trữ COPR để cài đặt trên Fedora 39. Máy chủ phương tiện Pipewire có thể được sử dụng để quay video từ camera MIPI và hỗ trợ camera qua Pipewire đã được tích hợp vào thư viện libwebrtc.
Ngoài ra, điều đáng nói là trong Firefox, khả năng làm việc với camera thông qua Pipewire đã đạt đến trạng thái phù hợp để sử dụng với WebRTC kể từ phiên bản 122. Theo mặc định, chức năng làm việc với camera thông qua Pipewire trong Firefox là bị vô hiệu hóa và yêu cầu tham số «media.webrtc.máy ảnh.allow-pipewire» trong about:config.
Cuối cùng, nếu bạn quan tâm đến việc có thể tìm hiểu thêm về nó, bạn có thể kiểm tra các chi tiết trong liên kết sau.