Prieš kelias dienas, „OpenSearch“ programinė įranga „Linux Foundation“ remiamas fondas paskelbė per pranešimas, „OpenSearch 3.0“ paleidimas, versija, žyminti projekto, gimusio kaip „Elasticsearch“ ir „Kibana“ šakutė, evoliuciją.
Nuo pat savo įkūrimo 2021 m. „OpenSearch“ save pozicionavo kaip tikrai atvirojo kodo alternatyvą „Elastic“ ekosistemai, veikiančią pagal „Apache 2.0“ licenciją, priešingai nei „Elasticsearch“ perėjo prie AGPLv3 licencijos.
Svarbiausios naujos „OpenSearch 3.0“ funkcijos
Ryškiausia šios versijos naujovė yra ta, kad „OpenSearch Vector Engine“ įtraukimas, variklis, suprojektuotas tvarkyti duomenis, naudojamus mašininio mokymosi ir semantinės paieškos sistemose. Šis variklis įgalina GPU spartinamą vektorių paiešką, pasiekdamas reikšmingų našumo patobulinimų: 9.3 karto greitesnį indeksavimą ir 3.75 karto mažesnes eksploatavimo išlaidas, palyginti su vien tik CPU pagrįstais sprendimais.
Sistema taip pat palaiko MCP protokolą (Modelio konteksto protokolas), kuris leidžia integruoti „OpenSearch“ su dirbtinio intelekto agentais ir teisės magistro (LLM) specialistais, įskaitant „Anthropic“, „LangChain“ ir „OpenAI“, atveriant duris naujiems naudojimo atvejams, orientuotiems į dirbtinį intelektą ir pokalbių sistemas.
„OpenSearch 3.0“ apima keletą optimizavimų, kurie pagerina bendrą variklio našumą, o vienas iš žymiausių yra Patobulintos diapazono užklausos, dabar 25 % greitesnės dėka efektyvesnės skaitinių laukų ir datų tvarkymo strategijos. Didelio kardinalumo atvejais buvo įdiegtos vykdymo užuominos agregacijoms, todėl, palyginti su ankstesnėmis versijomis, p75 delsa sumažėjo 90 % atliekant etaloninius testus.
Be to, indeksavimo ir paieškos srauto atskyrimas Tai viena iš pagrindinių funkcijų klasteriuose su nuotoline saugykla, nes leidžia savarankiškai keisti mastelį, Izoliuokite gedimus ir optimizuokite tik skaitymui skirtas konfigūracijas naudodami naująją _scale API. Be to, žvaigždžių medžio struktūrų palaikymas pagerina agregavimą didelio kardinalumo scenarijuose, leisdamas iki 100 kartų sumažinti užklausų apimtį.
Paieškos tipų patobulinimai
Į Vektorių paieška, pridėtas naujas paaiškinimo parametras Faissui, kuris leidžia suskirstyti k-NN užklausų balus ir padeda suprasti, kaip rezultatai yra suskirstyti pagal prioritetus. Tai papildo BM25 vertinimo funkcijos atnaujinimą, kuris dabar pagal numatytuosius nustatymus naudoja BM25Similarity, kad atitiktų dabartinius „Apache Lucene“ optimizavimus. Be to, segmentų dydžio optimizavimas prisidėjo prie uodegos delsos sumažėjimo 20 %.
Hibridinėje paieškoje buvo įdiegti statistinio normalizavimo metodai, tokie kaip Z balų normalizavimas ir naujos min-max ribos, kurios padeda gauti nuoseklesnius rezultatus ir išvengti nereikšmingų balų amplifikavimo.
Be kitų patobulinimų, „OpenSearch 3.0“ apima:
- PPL kalba buvo išplėsta įtraukiant sujungimo ir subužklausų komandas, kurios pagerina duomenų paiešką naudojant įrašų koreliaciją ir išplėstinį filtravimą.
- Naujoji „Live Query“ API leidžia stebėti realiuoju laiku, o stebimumo patirtis praturtinta optimizuotais srautais anomalijų aptikimui, todėl juos lengva suaktyvinti kontekstualiai iš pagrindinės ataskaitų srities.
- Tradicinį „Java“ saugumo tvarkyklę pakeitė „Java“ agentas, kuris perima privilegijuotus skambučius ir efektyviau tikrina teises. Tai pagerina klasterio našumą ir sumažina vidines išlaidas.
- Nuo 3.0 versijos pridėtas naujas PGP viešasis raktas, siekiant sustiprinti artefaktų tikrinimą.
- „Lucene“ atnaujinta iki 10 versijos, kuri pagerina lygiagretų apdorojimą ir viso teksto indeksavimą.
- „Java“ platformos modulių sistemos palaikymas, kai minimaliai reikalinga „Java 21“ versija, leidžianti moduliarizuoti sistemos komponentus.
- Gimtoji MCP palaikymo funkcija, kuri sustiprina dirbtinio intelekto agentų integraciją į verslo srautus.
- Įdiegtas tiesioginio duomenų išgavimo iš tokių srautų kaip „Apache Kafka“ ir „Amazon Kinesis“ režimas, palengvinantis analizę realiuoju laiku.
- Planavimo, vykdymo ir refleksijos agentas, skirtas sudėtingoms užduotims spręsti iteraciniais žingsniais, labai naudingas autonominėse aplinkose arba savitarnos sistemose.
- Pagal numatytuosius nustatymus įjungiamas segmentinis paralelizavimo režimas k-NN vektoriams, kuris padidina užklausų našumą iki 2.5 karto.
Galiausiai, jei norite sužinoti daugiau apie tai išsamią informaciją galite patikrinti sekanti nuoroda.