বিস্ফোরণ এআই এর উদ্বোধন করেছিল ফ্রি লাইব্রেরির নতুন সংস্করণ A স্পাইসিAn যার বাস্তবায়ন রয়েছে প্রাকৃতিক ভাষা প্রক্রিয়াকরণ অ্যালগরিদম (এনএলপি) প্রস্তুতিতে, প্রকল্পটি স্বতঃসংশ্লিষ্টদের তৈরি করতে ব্যবহৃত হতে পারে, বটস, পাঠ্য শ্রেণিবদ্ধকারী এবং বিভিন্ন সংলাপ সিস্টেম যা বাক্যাংশগুলির অর্থ নির্ধারণ করে।
গ্রন্থাগার একটি অবিচ্ছিন্ন এপিআই সরবরাহ করার জন্য ডিজাইন করা হয়েছে এটি ব্যবহৃত অ্যালগরিদমগুলির সাথে লিঙ্কযুক্ত নয় এবং আসল পণ্যগুলিতে ব্যবহারের জন্য প্রস্তুত। গ্রন্থাগার এনএলপিতে সর্বশেষতম অগ্রগতি এবং সবচেয়ে দক্ষ অ্যালগরিদম ব্যবহার করে তথ্য প্রক্রিয়া করার জন্য উপলব্ধ।
যদি আরও দক্ষ অ্যালগরিদম উপস্থিত হয়, গ্রন্থাগারটি এতে পাঠানো হয়েছে, তবে এই রূপান্তরটি API বা অ্যাপ্লিকেশনগুলিকে প্রভাবিত করে না।
স্পাইসি এর একটি বৈশিষ্ট্য এটি সম্পূর্ণ নথি প্রক্রিয়া করার জন্য ডিজাইন করা একটি আর্কিটেকচারও, প্রিপ্রসেসরগুলিতে প্রাকপ্রসেসিং ছাড়াই যা নথিকে বাক্যগুলিতে বিভক্ত করে। মডেলগুলি দুটি সংস্করণে দেওয়া হয়: সর্বাধিক উত্পাদনশীলতা এবং সর্বাধিক নির্ভুলতার জন্য।
স্পাইসি এর প্রধান বৈশিষ্ট্যগুলি:
- প্রায় 60 টি ভাষার জন্য সমর্থন।
- ইতিমধ্যে প্রশিক্ষিত মডেলগুলি বিভিন্ন ভাষা এবং অ্যাপ্লিকেশনগুলির জন্য উপলব্ধ।
- বিআরটি (ট্রান্সফরমারগুলির বিডিরেক্টিয়াল এনকোডার রেন্ডারিংস) এর মতো প্রশিক্ষিত ট্রান্সফর্মারগুলি ব্যবহার করে মাল্টিটাস্ক শিখতে হবে।
- প্রাক প্রশিক্ষিত ভেক্টর এবং শব্দ এম্বেডগুলির জন্য সমর্থন।
- উচ্চ কার্যকারিতা.
- কাজের-তে-প্রশিক্ষণ সিস্টেমের মডেল-এর ব্যবহার।
- ভাষাতাত্বিকভাবে অনুপ্রাণিত টোকেনাইজেশন।
- প্রস্তুত উপাদানগুলি নামযুক্ত সংস্থাগুলির সাথে সংযোগ স্থাপন, বক্তৃতার অংশগুলি চিহ্নিতকরণ, পাঠ্য শ্রেণিবদ্ধকরণ, ট্যাগ-ভিত্তিক নির্ভরতা বিশ্লেষণ, বাক্যগুলি বিভাজন, বক্তৃতার অংশ চিহ্নিতকরণ, রূপচর্চা বিশ্লেষণ, স্টেমিং ইত্যাদির জন্য উপলব্ধ are
- কাস্টম উপাদান এবং বৈশিষ্ট্য সঙ্গে কার্যকারিতা প্রসারিত জন্য সমর্থন।
- পাইটর্চ, টেনসরফ্লো এবং অন্যান্য ফ্রেমওয়ার্কের উপর ভিত্তি করে আপনার নিজস্ব মডেলগুলি তৈরি করতে সহায়তা করুন।
- নামধারী সত্তা বাইন্ডিং এবং সিনট্যাক্স ভিজুয়ালাইজেশনের জন্য অন্তর্নির্মিত সরঞ্জামগুলি (এনইআর, নামযুক্ত সত্তা স্বীকৃতি)।
- প্যাকেজিং এবং মোডেল মোতায়েন এবং ওয়ার্কফ্লো পরিচালনা করার সহজ প্রক্রিয়া।
- উচ্চ নির্ভুলতা।
গ্রন্থাগার পাইথনে সাইথনের উপাদানগুলির সাথে লেখা, পাইথন এক্সটেনশন যা সি ভাষায় সরাসরি ফাংশন কল করার অনুমতি দেয়।
প্রকল্পের কোড এমআইটি লাইসেন্সের আওতায় বিতরণ করা হয়। ভাষার মডেলগুলি 58 টি ভাষার জন্য প্রস্তুত।
SpaCy 3.0 এর নতুন সংস্করণ সম্পর্কে
SpaCy 3.0 সংস্করণটি বাস্তবায়নের জন্য দাঁড়িয়েছে মডেল পরিবার ১৮ টি ভাষার জন্য পুনরায় প্রশিক্ষণ এবং 59 পাইপলাইন প্রশিক্ষিত মোট ৫ টি নতুন ট্রান্সফরমার-ভিত্তিক পাইপলাইন সহ
মডেলটি তিনটি সংস্করণে দেওয়া হয় (16 এমবি, 41 এমবি - 20 হাজার ভেক্টর এবং 491 এমবি - 500 হাজার ভেক্টর) এবং সিপিইউ লোডের অধীনে কাজ করতে অনুকূলিত এবং এতে টোক 2vec, মরফোলজাইজার, পার্সার, সেনটার, নার্, অ্যাট্রিবিউট_রুলার এবং লেম্যাটিজার উপাদান অন্তর্ভুক্ত রয়েছে।
আমরা স্পিনসি v3.0 এ এক বছরেরও বেশি সময় ধরে কাজ করে যাচ্ছি, এবং যদি আপনি থিনকে করা সমস্ত কাজ গণনা করেন তবে প্রায় দুই বছর। লঞ্চের সাথে আমাদের মূল লক্ষ্যটি হল আপনার নিজের মডেলগুলিকে স্প্যাকিতে আনা সহজতর করা, বিশেষত ট্রান্সফরমারগুলির মতো অত্যাধুনিক মডেলগুলি। আপনার সমস্ত সেটিংস বর্ণনা করার জন্য অসাধারণ নতুন কনফিগারেশন সিস্টেমটি ব্যবহার করে আপনি পাইটর্চ বা টেনসরফ্লোর মতো ফ্রেমওয়ার্কগুলিতে স্পাইকি উপাদানগুলিকে খাওয়ানো এমন মডেলগুলি লিখতে পারেন। এবং যেহেতু আধুনিক এনএলপি ওয়ার্কফ্লোগুলি প্রায়শই একাধিক পদক্ষেপ নিয়ে থাকে, তাই আপনাকে আপনার কাজটি সুসংহত রাখতে সহায়তা করার জন্য একটি নতুন ওয়ার্কফ্লো সিস্টেম রয়েছে।
অন্যান্য গুরুত্বপূর্ণ উদ্ভাবন নতুন সংস্করণ থেকে যে দাঁড়ানো:
- প্রশিক্ষণের মডেলগুলির জন্য নতুন কর্মপ্রবাহ।
- নতুন কনফিগারেশন সিস্টেম।
- মাল্টিটাস্কিং শেখার জন্য উপযুক্ত ট্রান্সফরমার-ভিত্তিক পাইপলাইন মডেলগুলির জন্য সমর্থন।
- বিভিন্ন মেশিন লার্নিং ফ্রেমওয়ার্কগুলি যেমন পাইটর্চ, টেনসরফ্লো এবং এমএক্সনেট ব্যবহার করে আপনার নিজের মডেলগুলি সংযুক্ত করার ক্ষমতা।
- প্রাক-প্রক্রিয়াজাতকরণ থেকে শুরু করে মডেল বাস্তবায়ন পর্যন্ত কার্যপ্রবাহের সমস্ত পর্যায়ে পরিচালনা করতে প্রকল্প সহায়তা।
- ডেটা সংস্করণ নিয়ন্ত্রণ (ডিভিসি), স্ট্রিমলিট, ওজন ও বায়াস এবং রায় প্যাকেজগুলির সাথে একীকরণের জন্য সমর্থন।
- নতুন অন্তর্নির্মিত উপাদান: বাক্য সনাক্তকারী, মরফোলজাইজার, লেমটিটিজার,
- অ্যাট্রিবিউটরুলার এবং ট্রান্সফরমার।
- আপনার নিজস্ব উপাদান তৈরি করতে নতুন এপিআই।
পরিশেষে, আপনি যদি এটি সম্পর্কে আরও জানতে আগ্রহী হন এই নতুন সংস্করণ বা spaCy সম্পর্কে, আপনি বিশদটি পরীক্ষা করতে পারেন নীচের লিঙ্কে।