Prije nekoliko dana, OpenSearch softver Zaklada, koju podržava Linux Foundation, objavila je putem najava, pokretanje OpenSearch 3.0, verzija koja označava evoluciju projekta rođenog kao fork Elasticsearcha i Kibane.
Od svog osnutka 2021. godine, OpenSearch se pozicionirao kao istinski otvorena alternativa Elastic ekosustavu, poslujući pod licencom Apache 2.0, za razliku od Elasticsearchovog prelaska na licencu AGPLv3.
Ključne nove značajke u OpenSearchu 3.0
Najznačajnija nova značajka ove verzije je uključivanje OpenSearch Vector Engine-a, motor dizajniran za obradu podataka korištenih u sustavima strojnog učenja i semantičkog pretraživanja. Ovaj mehanizam omogućuje GPU-ubrzano vektorsko pretraživanje, postižući značajna poboljšanja performansi: 9.3 puta brže indeksiranje i 3.75 puta manje operativnih troškova u usporedbi s isključivo CPU rješenjima.
Sustav također podržava MCP protokol (Model Context Protocol), koji omogućuje vam integraciju OpenSearcha s AI agentima i LLM-ovima, uključujući Anthropic, LangChain i OpenAI, otvarajući vrata novim slučajevima upotrebe usmjerenima na umjetnu inteligenciju i konverzacijske sustave.
OpenSearch 3.0 uključuje nekoliko optimizacija koje poboljšavaju ukupne performanse tražilice, a jedna od najznačajnijih je Poboljšani upiti raspona, sada 25% brži zahvaljujući učinkovitijoj strategiji u rukovanju numeričkim poljima i datumima. Za slučajeve visoke kardinalnosti uvedeni su savjeti za izvršavanje agregacija, što je rezultiralo smanjenjem latencije p75 za 90% u benchmark testovima u usporedbi s prethodnim verzijama.
Osim ovoga, odvajanje indeksiranja i prometa pretraživanja To je jedna od ključnih funkcija za klastere s udaljenom pohranom, budući da omogućuje vam neovisno skaliranje, Izolirajte greške i optimizirajte konfiguracije samo za čitanje pomoću novog _scale API-ja. Osim toga, podrška za strukture zvjezdanog stabla poboljšava agregacije u scenarijima visoke kardinalnosti, omogućujući smanjenje rada na upitima do 100 puta.
Poboljšanja vrsta pretraživanja
u Vektorsko pretraživanje, dodan je novi parametar objašnjenja za Faiss, što vam omogućuje raščlanjivanje rezultata k-NN upita, pomažući vam da shvatite kako se rezultatima daje prioritet. Ovo je dodatak ažuriranju funkcije bodovanja BM25, koja sada prema zadanim postavkama koristi BM25Similarity kako bi se uskladila s trenutnim optimizacijama Apache Lucenea. Osim toga, optimizacija veličine segmenta pridonijela je smanjenju latencije repa za 20%.
U hibridnom pretraživanju implementirane su tehnike statističke normalizacije poput normalizacije Z-rezultata i novih min-max pragova, koje pomažu u generiranju konzistentnijih rezultata i izbjegavanju amplifikacije irelevantnih rezultata.
Između ostalih poboljšanja, OpenSearch 3.0 uključuje:
- PPL jezik je proširen naredbama spajanja i podupita, poboljšavajući istraživanje podataka putem korelacije zapisa i naprednog filtriranja.
- Novi Live Query API omogućuje praćenje u stvarnom vremenu, dok je iskustvo promatranja obogaćeno optimiziranim tokovima za otkrivanje anomalija, što olakšava njihovo kontekstualno pokretanje s glavne nadzorne ploče.
- Tradicionalni Java Security Manager zamijenjen je Java Agentom koji presreće privilegirane pozive i učinkovitije provjerava dozvole. To poboljšava performanse klastera i smanjuje interne opterećenja.
- Dodan je novi javni PGP ključ radi poboljšanja provjere artefakata počevši od verzije 3.0.
- Lucene je ažuriran na verziju 10, koja poboljšava paralelnu obradu i indeksiranje cijelog teksta.
- Podrška za Java Platform Module System, s Javom 21 kao minimalnom potrebnom verzijom, što omogućuje modularizaciju sistemskih komponenti.
- Izvorna podrška za MCP, koja jača integraciju AI agenata u poslovne tokove.
- Uvođenje načina izravne ekstrakcije podataka iz streamova kao što su Apache Kafka i Amazon Kinesis, olakšavajući analizu u stvarnom vremenu.
- Agent za planiranje-izvršenje-refleksiju, dizajniran za rješavanje složenih zadataka kroz iterativne korake, vrlo koristan u autonomnim okruženjima ili samouslužnim sustavima.
- Omogućavanje segmentnog paraleliziranja za k-NN vektore prema zadanim postavkama, s povećanjem performansi upita do 2.5x.
Konačno, ako vas zanima više o tome pojedinosti možete provjeriti u sljedeći link.