Apache Pinot on reaalajas hajutatud OLAP-i andmeladu
Apache Pinot on reaalajas hajutatud OLAP-salvestuslahendus, mis on loodud pakkuma skaleeritavat, väikese latentsusega reaalajas analüütikat.
See suudab andmeid sisestada nii partiiandmeallikatest (nt HDFS, S3, Azure Data Lake, Google Cloud Storage) kui ka voogedastusallikatest (nt Kafka). Pinot on loodud horisontaalselt skaleerima, seega saab seda vajadusel skaleerida suurematele andmekogumitele ja kõrgematele päringute määradele.
Apache Pinoti kohta
Pinot projekti töötas algselt välja LinkedIn ja see anti 2015. aastal edasiseks ühiseks arendamiseks üle Apache Foundationile. Salvestusruum on loodud töötama keskkonnas, kus pidevalt lisatakse uusi andmeid, ning see on konstrueeritud pakkuma minimaalset ja prognoositavat latentsust, võimaldades selle kasutamist reaalajas päringute töötlemiseks.
Nagu enamik teisi andmeladusid ja OLAP-andmeladude lahendusi, toetab Pinot SQL-i sarnast päringukeelt , mis toetab valikut, liitmist, filtreerimist, rühmitamist, sorteerimist ja muid andmepäringuid.
Apache Pinot pakub horisontaalset skaleeritavust ning vahendeid rikketaluvuse ja tarkvara- ja riistvaratõrgete vastupidavuse saavutamiseks . Replikatsiooni- ja varundusprotsessid on andmehoidlasse lisatud andmete puhul otse integreeritud andmetöötlustsüklisse. Ühelt poolt lihtsustab see lähenemisviis oluliselt arhitektuuri, kuid teiselt poolt tekitab see viivituse andmete lisamise ja päringuteks kättesaadavuse vahel.
Andmed salvestatakse tabelitesse veergudele orienteeritud andmebaasis ning toetatakse erinevaid tihendusskeeme ja võimalust paigutada ühte väljale mitu väärtust. Pinot pakub lisandmooduliga indekseerimissüsteemi, mis saab kasutada erinevaid indekseerimistehnoloogiaid (järjestatud indeks, bitmap-indeks, inverteeritud indeks, StarTree indeks, Bloom-filter, vahemikuindeks, tekstiotsingu indeks (Lucence/FST), JSON-indeks, georuumiline indeks).
Apache Pinot'ist silma paistavad omadused:
- Veerule orienteeritud– Veerule orienteeritud andmebaas, millel on erinevad tihendusskeemid, näiteks tööpikkus ja fikseeritud bitipikkus.
- Ühendatav indekseerimine: ühendatavad indekseerimistehnoloogiad, sorteeritud indeks, bitmap-indeks, ümberpööratud indeks.
- Päringu optimeerimine- Võimalus optimeerida päringu/käivitusplaani päringu ja segmendi metaandmete põhjal.
- Voogude ja partiide allaneelamine: Peaaegu reaalajas Hadoopi voogude ja pakettneelamine.
- Päring: SQL-põhine päringu täitmismootor.
- Upsert allaneelamise ajal reaalajas: värskendage andmeid järjepidevalt ulatuslikult
- Mitu väärtusvälja: mitme väärtusega väljade tugi, mis võimaldab teil esitada päringuid komadega eraldatud väärtustena.
- Kubernetese native pilv: Helidiagramm pakub horisontaalselt skaleeritavat, tõrketaluvusega rühmitatud juurutust, mida on Kubernetese abil lihtne hallata.
Apache Pinoti uus versioon
Tasub mainida, et hiljuti ilmus Apache Pinot versioon 1.0 , mis võttis põhimõtteliselt kokku suure osa koodibaasi stabiliseerimiseks ja kogukonna soovide arvessevõtmiseks tehtud tööst (arvesse võeti üle 300 kommentaari).
Lisaks väärib märkimist, et uus mitmeastmeline päringumootor on saavutanud oma täieliku potentsiaali , võimaldades tabelite liitmise (JOIN) tuge. Algselt kasutatud mootor toimis suurepäraselt lihtsate filtreerimis- ja koondamistoimingutega, kuid prognoositavate päringu täitmisaegade tagamiseks ei toetanud see tabelite liitmise toiminguid.
Uus mootor sisaldab vaheetappe keerukate päringute töötlemiseks ja selle SQL-semantika on lähedane ANSI SQL-ile . Lisaks pakub uus versioon natiivset tuge JSON-andmete töötlemiseks, toetab väärtust "NULL", integreerub Apache Spark 3.x-ga ja parandab tabelite rakendamist Upsert-režiimis (lisades segmentide tihendamise ja pakkudes tuge kustutustoimingutele).
Lõpuks, kui olete huvitatud lisateabest , peaksite teadma , et projekti kood on kirjutatud Javas ja levitatakse Apache litsentsi alusel. Uue versiooni kohta leiate lisateavet järgmiselt lingilt.