StableLM và được thiết kế để tạo văn bản và mã hiệu quả
Tin tức đã được phát hành rằng AI ổn định, công ty đứng sau mô hình AI hình ảnh khuếch tán ổn định, đã công bố bộ mô hình ngôn ngữ StableLM đầu tiên.
Với Sự ổn định hy vọng sẽ tái tạo các hiệu ứng của mô hình tổng hợp hình ảnh nguồn mở của nó Khuếch tán ổn định, phát hành vào năm 2022. Với sự tinh chỉnh, StableLM có thể được sử dụng để xây dựng một giải pháp thay thế mã nguồn mở cho ChatGPT.
Đối với những người không quen thuộc với Stability AI, bạn nên biết rằng đây là một công ty có trụ sở tại London tự coi mình là đối thủ nguồn mở của OpenAI, một công ty phát triển các mô hình ngôn ngữ nhân tạo mạnh mẽ nhưng độc quyền như ChatGPT.
Giới thiệu về StableLM
Ổn địnhLM là tên của họ các mô hình ngôn ngữ nhân tạo được tạo bởi Stability AI, có sẵn dưới dạng mã nguồn mở trên GitHub theo giấy phép Creative Commons BY-SA-4.0. StableLM là một mô hình tạo văn bản có thể soạn thảo văn bản của con người và viết chương trình bằng cách dự đoán từ tiếp theo trong một chuỗi. Nó sử dụng một kỹ thuật gọi là "dự đoán chip" liên quan đến việc đoán đoạn từ tiếp theo từ ngữ cảnh do con người cung cấp dưới dạng “gợi ý”.
Giống như các LLM "nhỏ" khác StableLM tuyên bố sẽ đạt được hiệu suất tương tự như mô hình tham chiếu GPT-3 của OpenAI trong khi sử dụng ít thông số chung hơn nhiều (7 tỷ cho StableLM so với 175 tỷ cho GPT-3).
Việc phát hành StableLM dựa trên kinh nghiệm của chúng tôi với các mô hình ngôn ngữ nguồn mở trước đây với EleutherAI, một trung tâm nghiên cứu phi lợi nhuận. Các mô hình ngôn ngữ này bao gồm GPT-J, GPT-NeoX và bộ Pythia, được đào tạo trên tập dữ liệu nguồn mở The Pile.
Ổn địnhLM tuyên bố có hiệu suất tương tự như GPT-3, mô hình ngôn ngữ hỗ trợ ChatGPT, trong khi sử dụng ít tham số hơn nhiều (7 tỷ so với 175 tỷ). Tham số là các biến mà mô hình sử dụng để học từ dữ liệu huấn luyện. Có ít tham số hơn giúp mô hình nhỏ hơn và hiệu quả hơn, điều này có thể giúp chạy dễ dàng hơn trên các thiết bị cục bộ như điện thoại thông minh và máy tính xách tay.
Ổn địnhLM được đào tạo trên một bộ dữ liệu mới dựa trên The Pile, chứa 1,5 nghìn tỷ mã thông báo, gấp khoảng 3 lần kích thước của The Pile. The Pile là một bộ dữ liệu chất lượng cao và đa dạng để đào tạo các mô hình ngôn ngữ.
Ổn định AI đề cập rằng các mẫu đã có sẵn trong kho lưu trữ GitHub và sách trắng đầy đủ sẽ sớm ra mắt, đồng thời mong muốn tiếp tục cộng tác với các nhà phát triển và nhà nghiên cứu khi triển khai bộ StableLM.
Ngoài ra, họ đề cập đến việc khởi chạy chương trình cộng tác mở RLHF và làm việc với các nỗ lực của cộng đồng như Trợ lý mở để tạo bộ dữ liệu nguồn mở cho trợ lý AI.
Cuối cùng nhưng không kém phần quan trọng, Nói về các bản phát hành AI ổn định, chúng ta cũng có thể nhấn mạnh rằng nó đã công bố bản phát hành beta của SDXL (viết tắt của Stable Diffusion Extra Large), một mô hình trí tuệ nhân tạo mới có khả năng tạo ra hình ảnh từ các mô tả văn bản. SDXL là phần bổ sung mới nhất cho bộ Khuếch tán ổn định, cũng bao gồm các mẫu SD, SDT và SDC.
SDXL khác với các mô hình khác về kích thước và khả năng của nó. Với 2300 tỷ tham số, SDXL lớn hơn 2,5 lần so với mẫu SD ban đầu chỉ có 890 triệu. Các tham số bổ sung này cho phép SDXL tạo ra hình ảnh tuân thủ tốt hơn các mẫu phức tạp. Ví dụ: SDXL có thể tạo văn bản có thể đọc được trên hình ảnh hoặc tạo chân dung chân thực nổi bật của các nhân vật hư cấu.
SDXL hiện đang ở giai đoạn thử nghiệm trong DreamStudio và các ứng dụng hình ảnh phổ biến khác như NightCafe Creator. Giống như tất cả các mô hình AI ổn định, SDXL sẽ sớm được phát hành dưới dạng nguồn mở để có khả năng truy cập tối ưu. Ổn định AI thông báo rằng SDXL được phép sử dụng cho mục đích thương mại và phi thương mại, miễn là bạn tuân thủ các nguyên tắc đạo đức và pháp lý.
Cuối cùng, nếu bạn quan tâm có thể biết thêm về nó, bạn có thể tham khảo chi tiết Trong liên kết sau đây.