ओपनसर्च ३.०: इलास्टिकसर्च फोर्क एआय आणि डेटा मायनिंगसाठी मार्ग मोकळा करतो

काही दिवसांपूर्वी द ओपनसर्च सॉफ्टवेअर लिनक्स फाउंडेशनच्या पाठिंब्याने फाउंडेशनने घोषणा केली, एका माध्यमातून घोषणा, ओपनसर्च ३.० चे लाँच, इलास्टिकसर्च आणि किबानाच्या एका काट्याच्या रूपात जन्मलेल्या प्रकल्पाच्या उत्क्रांतीचे चिन्हांकित करणारी आवृत्ती.

२०२१ मध्ये स्थापन झाल्यापासून, ओपनसर्चने स्वतःला इलास्टिक इकोसिस्टमसाठी खऱ्या अर्थाने ओपन-सोर्स पर्याय म्हणून स्थान दिले आहे, जे अपाचे २.० परवान्याअंतर्गत कार्यरत आहे, इलास्टिकसर्चच्या AGPLv2021 परवान्याकडे वळण्याच्या उलट.

ओपनसर्च ३.० मधील प्रमुख नवीन वैशिष्ट्ये

या आवृत्तीतील सर्वात लक्षणीय नवीन वैशिष्ट्य म्हणजे ओपनसर्च व्हेक्टर इंजिनचा समावेश, डिझाइन केलेले इंजिन मशीन लर्निंग आणि सिमेंटिक सर्च सिस्टममध्ये वापरला जाणारा डेटा हाताळण्यासाठी. हे इंजिन GPU-त्वरित वेक्टर शोध सक्षम करते, लक्षणीय कामगिरी सुधारणा साध्य करते: पूर्णपणे CPU-आधारित सोल्यूशन्सच्या तुलनेत 9.3 पट जलद इंडेक्सिंग आणि ऑपरेटिंग खर्चात 3.75 पट घट.

यंत्रणा MCP प्रोटोकॉलला देखील समर्थन देते (मॉडेल कॉन्टेक्स्ट प्रोटोकॉल), जे तुम्हाला AI एजंट्स आणि LLM सह OpenSearch एकत्रित करण्याची परवानगी देते, अँथ्रोपिक, लँगचेन आणि ओपनएआय यांचा समावेश आहे, ज्यामुळे कृत्रिम बुद्धिमत्ता आणि संभाषण प्रणालींवर लक्ष केंद्रित केलेल्या नवीन वापराच्या प्रकरणांची दारे उघडली जातात.

ओपनसर्च ३.० मध्ये अनेक ऑप्टिमायझेशन समाविष्ट आहेत जे इंजिनच्या एकूण कामगिरीला चालना देतात आणि त्यापैकी एक सर्वात लक्षणीय आहे सुधारित रेंज क्वेरी, आता २५% जलद संख्यात्मक फील्ड आणि तारखा हाताळण्यासाठी अधिक कार्यक्षम धोरणाबद्दल धन्यवाद. उच्च-कार्डिनॅलिटी प्रकरणांमध्ये, एकत्रीकरणासाठी अंमलबजावणीचे संकेत सादर केले गेले आहेत, ज्यामुळे मागील आवृत्त्यांच्या तुलनेत बेंचमार्क चाचण्यांमध्ये p75 विलंबात 90% घट झाली आहे.

या व्यतिरिक्त, द इंडेक्सिंग आणि सर्च ट्रॅफिकचे पृथक्करण रिमोट स्टोरेज असलेल्या क्लस्टर्ससाठी हे एक प्रमुख कार्य आहे, कारण तुम्हाला स्वतंत्रपणे स्केल करण्याची परवानगी देते, नवीन _scale API वापरून दोष वेगळे करा आणि केवळ-वाचनीय कॉन्फिगरेशन ऑप्टिमाइझ करा. याव्यतिरिक्त, स्टार ट्री स्ट्रक्चर्ससाठी समर्थन उच्च-कार्डिनॅलिटी परिस्थितींमध्ये एकत्रीकरण सुधारते, ज्यामुळे क्वेरी वर्क १०० पट कमी करता येते.

शोध प्रकारांमध्ये सुधारणा

मध्ये फेससाठी वेक्टर शोध, एक नवीन स्पष्टीकरण पॅरामीटर जोडला गेला आहे., जे तुम्हाला k-NN क्वेरीजचे स्कोअर तोडण्याची परवानगी देते, ज्यामुळे तुम्हाला निकालांना प्राधान्य कसे दिले जाते हे समजण्यास मदत होते. हे BM25 स्कोअरिंग फंक्शनच्या अपडेट व्यतिरिक्त आहे, जे आता सध्याच्या Apache Lucene ऑप्टिमायझेशनशी जुळण्यासाठी डीफॉल्टनुसार BM25Similarity वापरते. याव्यतिरिक्त, सेगमेंट साईज ऑप्टिमायझेशनमुळे टेल लेटन्सीजमध्ये २०% घट झाली आहे.

हायब्रिड सर्चमध्ये, Z-स्कोअर नॉर्मलायझेशन आणि नवीन किमान-कमाल थ्रेशोल्ड सारख्या सांख्यिकीय नॉर्मलायझेशन तंत्रे लागू करण्यात आली आहेत, जी अधिक सुसंगत परिणाम निर्माण करण्यास आणि असंबद्ध स्कोअरचे प्रवर्धन टाळण्यास मदत करतात.

इतर सुधारणांमध्ये, OpenSearch 3.0 मध्ये हे समाविष्ट आहे:

• पीपीएल भाषा जॉइन आणि सबक्वेरी कमांडसह विस्तारित करण्यात आली आहे, रेकॉर्ड सहसंबंध आणि प्रगत फिल्टरिंगद्वारे डेटा एक्सप्लोरेशन सुधारते.
• नवीन लाइव्ह क्वेरी एपीआय रिअल-टाइम मॉनिटरिंग सक्षम करते, तर निरीक्षणक्षमता अनुभव विसंगती शोधण्यासाठी ऑप्टिमाइझ केलेल्या प्रवाहांनी समृद्ध आहे, ज्यामुळे मुख्य डॅशबोर्डवरून त्यांना संदर्भानुसार ट्रिगर करणे सोपे होते.
• पारंपारिक जावा सिक्युरिटी मॅनेजरची जागा जावा एजंटने घेतली आहे, जो विशेषाधिकारित कॉल्सना रोखतो आणि परवानग्या अधिक कार्यक्षमतेने पडताळतो. यामुळे क्लस्टर कामगिरी सुधारते आणि अंतर्गत ओव्हरहेड कमी होते.
• आवृत्ती ३.० पासून सुरू होणाऱ्या आर्टिफॅक्ट पडताळणीला बळकटी देण्यासाठी एक नवीन पीजीपी पब्लिक की जोडण्यात आली आहे.
• ल्युसीन आवृत्ती १० मध्ये अपडेट केले आहे, जे समांतर प्रक्रिया आणि पूर्ण-मजकूर अनुक्रमणिका सुधारते.
• जावा प्लॅटफॉर्म मॉड्यूल सिस्टमसाठी समर्थन, जावा २१ ही किमान आवश्यक आवृत्ती आहे, ज्यामुळे सिस्टम घटकांचे मॉड्यूलायझेशन शक्य होते.
• व्यवसाय प्रवाहात एआय एजंट्सचे एकत्रीकरण मजबूत करणारे एमसीपीसाठी स्थानिक समर्थन.
• अपाचे काफ्का आणि अमेझॉन किनेसिस सारख्या प्रवाहांमधून थेट डेटा निष्कर्षण पद्धतीची ओळख, रिअल-टाइम विश्लेषण सुलभ करणे.
• पुनरावृत्ती चरणांद्वारे जटिल कार्ये हाताळण्यासाठी डिझाइन केलेले नियोजन-अंमलबजावणी-प्रतिबिंब एजंट, स्वायत्त वातावरणात किंवा स्वयं-सेवा प्रणालींमध्ये खूप उपयुक्त.
• क्वेरी कामगिरीमध्ये २.५x पर्यंत वाढ करून, k-NN व्हेक्टरसाठी सेगमेंट-वार समांतरीकरण मोड डीफॉल्टनुसार सक्षम करणे.

शेवटी, आपल्याला त्याबद्दल अधिक जाणून घेण्यात स्वारस्य असल्यास मध्ये तपशील तपासू शकता खालील दुवा.