Апацхе Пинот, ОЛАП складиште података отвореног кода

Апацхе Пинот

Апацхе Пинот је дистрибуирано ОЛАП складиште података у реалном времену

Apache Pinot је дистрибуирано OLAP решење за складиштење података у реалном времену, дизајнирано да пружи скалабилну аналитику у реалном времену са ниском латенцијом.

Може да уноси податке из пакетних извора података (као што су HDFS, S3, Azure Data Lake, Google Cloud Storage), као и из извора за стримовање (као што је Kafka). Pinot је дизајниран за хоризонтално скалирање, тако да се може скалирати на веће скупове података и веће стопе упита по потреби.

О Апацхе пиноту

Пројекат Пино је првобитно развио LinkedIn , а 2015. године је пребачен у Apache Foundation ради даљег заједничког развоја. Складиште је дизајнирано да ради у окружењу где се стално додају нови подаци и пројектовано је да обезбеди минималну и предвидљиву латенцију, омогућавајући његову употребу за обраду упита у реалном времену.

Као и већина других складишта података и OLAP решења за складиштење података, Pinot подржава језик упита сличан SQL- у који подржава селекцију, агрегацију, филтрирање, груписање, сортирање и друге упите података.

Apache Pinot пружа хоризонталну скалабилност и средство за постизање толеранције на грешке и преживљавања у случају кварова софтвера и хардвера. Процеси репликације и прављења резервних копија су директно интегрисани у циклус обраде података за податке додате у складиште података. С једне стране, овај приступ значајно поједностављује архитектуру, али с друге стране, уводи кашњење између додавања података и њихове доступности за упите.

Подаци се чувају у табелама унутар базе података оријентисане на колоне, а подржане су различите шеме компресије и могућност постављања више вредности у поље. Pinot пружа прикључни систем индексирања који може да користи различите технологије индексирања (уређени индекс, индекс битмапе, инвертовани индекс, StarTree индекс, Блумов филтер, индекс опсега, индекс претраге текста (Lucence/FST), JSON индекс, геопросторни индекс).

Од карактеристика које се издвајају од Апацхе Пинот-а:

  • Цолумн Ориентед– База података оријентисана на колоне са различитим шемама компресије као што су дужина рада и фиксна дужина бита.
  • Плуггабле индексирање: Плуггабле индекинг технологије, сортирани индекс, битмап индекс, обрнути индекс.
  • Оптимизација упита- Способност оптимизације упита/плана извршења на основу метаподатака упита и сегмента.
  • Гутање токова и серија: Уношење Хадооп токова у скоро реалном времену и групно уношење.
  • Консултације: Механизам за извршавање упита заснован на СКЛ-у.
  • Уперт током гутања у реалном времену: ажурирати податке у великом обиму са доследношћу
  • Више поља вредности: подршка за поља са више вредности, што вам омогућава да постављате упите за поља као вредности раздвојене зарезима.
  • Цлоуд изворни на Кубернетес-у: Хелм графикон пружа хоризонтално скалабилну, кластерску примену отпорну на грешке којом се лако управља помоћу Кубернетеса.

Нова верзија Апацхе Пинот-а

Вреди напоменути да је недавно објављена верзија 1.0 Apache Pinot-а , која је у основи сумирала велики део рада на стабилизацији кодне базе и узела у обзир жеље заједнице (размотрено је више од 300 коментара).

Поред тога, вреди напоменути да је нови вишестепени механизам за упите достигао свој пуни потенцијал , омогућавајући подршку за спајање табела (JOIN). Механизам који је првобитно коришћен одлично је функционисао са једноставним операцијама филтрирања и агрегације, али да би се осигурало предвидљиво време извршавања упита, није подржавао операције спајања табела.

Нови механизам укључује међуфазе за обраду сложених упита, а његова SQL семантика је блиска ANSI SQL-у . Штавише, нова верзија нуди изворну подршку за обраду JSON података, пружа подршку за вредност „NULL“, интегрише се са Apache Spark 3.x и побољшава имплементацију табела у Upsert режиму (додавање компресије сегмената и пружање подршке за операције брисања).

Коначно, ако сте заинтересовани да сазнате више , требало би да знате да је код пројекта написан у Јави и дистрибуиран под Apache лиценцом. Детаље о новој верзији можете пронаћи на следећем линку.


Додај као жељени извор на Гуглу