Néhány nappal ezelőtt a OpenSearch szoftver A Linux Alapítvány által támogatott Alapítvány bejelentette egy bejelentés, az OpenSearch 3.0 elindítása, egy verzió, amely az Elasticsearch és a Kibana elágazásaként született projekt evolúcióját jelzi.
2021-es indulása óta az OpenSearch az Elastic ökoszisztéma valóban nyílt forráskódú alternatívájaként pozicionálja magát, az Apache 2.0 licenc alatt működve, szemben az Elasticsearch AGPLv3 licencre való áttérésével.
Az OpenSearch 3.0 legfontosabb új funkciói
Ennek a verziónak a legkiemelkedőbb új funkciója a az OpenSearch Vector Engine beépítése, egy tervezett motor a gépi tanulásban és a szemantikus keresőrendszerekben használt adatok kezelésére. Ez a motor GPU-gyorsítású vektorkeresést tesz lehetővé, jelentős teljesítménynövekedést elérve: 9.3-szor gyorsabb indexelést és 3.75-szeres csökkenést az üzemeltetési költségekben a tisztán CPU-alapú megoldásokhoz képest.
A rendszer támogatja az MCP protokollt is (Modell Kontextus Protokoll), amely lehetővé teszi az OpenSearch integrálását mesterséges intelligencia ágensekkel és LLM-ekkel, beleértve az Anthropicot, a LangChaint és az OpenAI-t, megnyitva az utat az új, mesterséges intelligenciára és párbeszédes rendszerekre összpontosító felhasználási esetek előtt.
Az OpenSearch 3.0 számos optimalizálást tartalmaz, amelyek növelik a motor teljesítményét, és az egyik legjelentősebb a Továbbfejlesztett tartománylekérdezések, most 25%-kal gyorsabbak a numerikus mezők és dátumok hatékonyabb kezelési stratégiájának köszönhetően. Nagy elemszámú esetekben végrehajtási tippeket vezettek be az aggregációkhoz, aminek eredményeként a p75 késleltetése 90%-kal csökkent a benchmark tesztekben a korábbi verziókhoz képest.
Ezen kívül a az indexelési és keresési forgalom szétválasztása Ez az egyik kulcsfontosságú funkció a távoli tárolással rendelkező klaszterek számára, mivel lehetővé teszi az önálló skálázást, Az új _scale API segítségével elkülönítheti a hibákat és optimalizálhatja az írásvédett konfigurációkat. Ezenkívül a csillagfa-struktúrák támogatása javítja az aggregációkat nagy kardinalitású forgatókönyvekben, lehetővé téve a lekérdezési munka akár 100-szoros csökkentését.
Fejlesztések a keresési típusokban
Az Vektorkeresés, új magyarázó paraméter került hozzáadásra a Faisshez, amely lehetővé teszi a k-NN lekérdezések pontszámainak lebontását, segítve az eredmények rangsorolásának megértését. Ez kiegészíti a BM25 pontozási függvény frissítését, amely mostantól alapértelmezés szerint a BM25Similarity-t használja az aktuális Apache Lucene optimalizálásokkal való összhang érdekében. Ezenkívül a szegmensméret optimalizálása hozzájárult a farok késleltetésének 20%-os csökkenéséhez.
A hibrid keresésben olyan statisztikai normalizálási technikákat valósítottak meg, mint a Z-pontszám normalizálás és az új min-max küszöbértékek, amelyek segítenek konzisztensebb eredményeket generálni és elkerülni a lényegtelen pontszámok felerősítését.
Az OpenSearch 3.0 többek között a következő fejlesztéseket tartalmazza:
- A PPL nyelvet kibővítették az illesztési és allekérdezési parancsokkal, javítva az adatböngészést a rekordkorreláció és a fejlett szűrés révén.
- Az új Live Query API valós idejű monitorozást tesz lehetővé, míg a megfigyelhetőségi élmény optimalizált anomáliadetektálási folyamatokkal gazdagodott, így könnyen kontextusfüggően indíthatók el a fő irányítópultról.
- A hagyományos Java Security Managert egy Java Agent váltotta fel, amely hatékonyabban fogja el a privilegizált hívásokat és ellenőrzi az engedélyeket. Ez javítja a klaszter teljesítményét és csökkenti a belső terhelést.
- A 3.0-s verziótól kezdődően egy új PGP nyilvános kulcs került hozzáadásra az artefaktum-ellenőrzés megerősítése érdekében.
- A Lucene a 10-es verzióra frissült, amely javítja a párhuzamos feldolgozást és a teljes szöveges indexelést.
- Java Platform Module System támogatás, minimálisan szükséges Java 21 verzióval, lehetővé téve a rendszerösszetevők modularizálását.
- Natív MCP-támogatás, amely erősíti az AI-ügynökök üzleti folyamatokba való integrációját.
- Közvetlen adatkinyerési mód bevezetése olyan streamekből, mint az Apache Kafka és az Amazon Kinesis, a valós idejű elemzés megkönnyítése érdekében.
- Egy tervezési-végrehajtási-reflexiós ágens, amelyet iteratív lépéseken keresztüli komplex feladatok megoldására terveztek, és nagyon hasznos autonóm környezetekben vagy önkiszolgáló rendszerekben.
- Alapértelmezés szerint engedélyezi a szegmensenkénti párhuzamosítási módot k-NN vektorok esetén, akár 2.5-szeres lekérdezési teljesítménynövekedéssel.
Végül, ha érdekel, hogy többet tudjon meg róla a részleteket a következő link.