Апацхе Пинот је дистрибуирано ОЛАП складиште података у реалном времену
Apache Pinot је дистрибуирано OLAP решење за складиштење података у реалном времену, дизајнирано да пружи скалабилну аналитику у реалном времену са ниском латенцијом.
Може да уноси податке из пакетних извора података (као што су HDFS, S3, Azure Data Lake, Google Cloud Storage), као и из извора за стримовање (као што је Kafka). Pinot је дизајниран за хоризонтално скалирање, тако да се може скалирати на веће скупове података и веће стопе упита по потреби.
О Апацхе пиноту
Пројекат Пино је првобитно развио LinkedIn , а 2015. године је пребачен у Apache Foundation ради даљег заједничког развоја. Складиште је дизајнирано да ради у окружењу где се стално додају нови подаци и пројектовано је да обезбеди минималну и предвидљиву латенцију, омогућавајући његову употребу за обраду упита у реалном времену.
Као и већина других складишта података и OLAP решења за складиштење података, Pinot подржава језик упита сличан SQL- у који подржава селекцију, агрегацију, филтрирање, груписање, сортирање и друге упите података.
Apache Pinot пружа хоризонталну скалабилност и средство за постизање толеранције на грешке и преживљавања у случају кварова софтвера и хардвера. Процеси репликације и прављења резервних копија су директно интегрисани у циклус обраде података за податке додате у складиште података. С једне стране, овај приступ значајно поједностављује архитектуру, али с друге стране, уводи кашњење између додавања података и њихове доступности за упите.
Подаци се чувају у табелама унутар базе података оријентисане на колоне, а подржане су различите шеме компресије и могућност постављања више вредности у поље. Pinot пружа прикључни систем индексирања који може да користи различите технологије индексирања (уређени индекс, индекс битмапе, инвертовани индекс, StarTree индекс, Блумов филтер, индекс опсега, индекс претраге текста (Lucence/FST), JSON индекс, геопросторни индекс).
Од карактеристика које се издвајају од Апацхе Пинот-а:
- Цолумн Ориентед– База података оријентисана на колоне са различитим шемама компресије као што су дужина рада и фиксна дужина бита.
- Плуггабле индексирање: Плуггабле индекинг технологије, сортирани индекс, битмап индекс, обрнути индекс.
- Оптимизација упита- Способност оптимизације упита/плана извршења на основу метаподатака упита и сегмента.
- Гутање токова и серија: Уношење Хадооп токова у скоро реалном времену и групно уношење.
- Консултације: Механизам за извршавање упита заснован на СКЛ-у.
- Уперт током гутања у реалном времену: ажурирати податке у великом обиму са доследношћу
- Више поља вредности: подршка за поља са више вредности, што вам омогућава да постављате упите за поља као вредности раздвојене зарезима.
- Цлоуд изворни на Кубернетес-у: Хелм графикон пружа хоризонтално скалабилну, кластерску примену отпорну на грешке којом се лако управља помоћу Кубернетеса.
Нова верзија Апацхе Пинот-а
Вреди напоменути да је недавно објављена верзија 1.0 Apache Pinot-а , која је у основи сумирала велики део рада на стабилизацији кодне базе и узела у обзир жеље заједнице (размотрено је више од 300 коментара).
Поред тога, вреди напоменути да је нови вишестепени механизам за упите достигао свој пуни потенцијал , омогућавајући подршку за спајање табела (JOIN). Механизам који је првобитно коришћен одлично је функционисао са једноставним операцијама филтрирања и агрегације, али да би се осигурало предвидљиво време извршавања упита, није подржавао операције спајања табела.
Нови механизам укључује међуфазе за обраду сложених упита, а његова SQL семантика је блиска ANSI SQL-у . Штавише, нова верзија нуди изворну подршку за обраду JSON података, пружа подршку за вредност „NULL“, интегрише се са Apache Spark 3.x и побољшава имплементацију табела у Upsert режиму (додавање компресије сегмената и пружање подршке за операције брисања).
Коначно, ако сте заинтересовани да сазнате више , требало би да знате да је код пројекта написан у Јави и дистрибуиран под Apache лиценцом. Детаље о новој верзији можете пронаћи на следећем линку.