Apache Pinot ialah gudang data OLAP teragih masa nyata
Apache Pinot ialah penyelesaian storan OLAP teragih masa nyata yang direka bentuk untuk menyampaikan analitik masa nyata yang boleh diskala, latensi rendah.
Ia boleh menyerap data daripada sumber data kelompok (seperti HDFS, S3, Azure Data Lake, Google Cloud Storage) serta sumber penstriman (seperti Kafka). Pinot direka bentuk untuk diskalakan secara mendatar, jadi ia boleh diskalakan kepada set data yang lebih besar dan kadar pertanyaan yang lebih tinggi mengikut keperluan.
Mengenai Apache Pinot
Projek Pinot pada asalnya dibangunkan oleh LinkedIn dan pada tahun 2015 telah dipindahkan ke Yayasan Apache untuk pembangunan bersama selanjutnya. Storan ini direka bentuk untuk beroperasi dalam persekitaran di mana data baharu sentiasa ditambah dan direka bentuk untuk menyediakan kependaman yang minimum dan boleh diramal, membolehkan penggunaannya untuk pemprosesan pertanyaan masa nyata.
Seperti kebanyakan gudang data dan penyelesaian pergudangan data OLAP yang lain, Pinot menyokong bahasa pertanyaan seperti SQL yang menyokong pemilihan, pengagregatan, penapisan, pengelompokan, pengisihan dan pertanyaan data lain.
Apache Pinot menyediakan skalabiliti mendatar dan cara untuk mencapai toleransi kesalahan dan kebolehtahanan terhadap kegagalan perisian dan perkakasan. Proses replikasi dan sandaran disepadukan terus ke dalam kitaran pemprosesan data untuk data yang ditambahkan ke stor data. Di satu pihak, pendekatan ini memudahkan seni bina dengan ketara, tetapi di pihak yang lain, ia memperkenalkan kelewatan antara penambahan data dan ketersediaannya untuk pertanyaan.
Data disimpan dalam jadual dalam pangkalan data berorientasikan lajur, dan pelbagai skema pemampatan serta keupayaan untuk meletakkan berbilang nilai dalam medan disokong. Pinot menyediakan sistem pengindeksan boleh pasang yang boleh menggunakan pelbagai teknologi pengindeksan (indeks tersusun, indeks bitmap, indeks terbalik, indeks StarTree, penapis Bloom, indeks julat, indeks carian teks (Lucence/FST), indeks JSON, indeks geospatial).
Antara ciri-ciri yang menonjol daripada Apache Pinot:
- Berorientasikan Lajur– Pangkalan data berorientasikan lajur dengan pelbagai skema mampatan seperti panjang larian dan panjang bit tetap.
- Pengindeksan boleh pasang: Teknologi pengindeksan boleh pasang, Indeks Diisih, Indeks Peta Bit, Indeks Terbalik.
- Pengoptimuman pertanyaan- Keupayaan untuk mengoptimumkan pelan pertanyaan/pelaksanaan berdasarkan metadata pertanyaan dan segmen.
- Pengingesan aliran dan kelompok: Pengingesan hampir masa nyata strim Hadoop dan pengingesan kelompok.
- Pertanyaan: Enjin pelaksanaan pertanyaan berasaskan SQL.
- Upsert semasa pengingesan dalam masa nyata: kemas kini data pada skala dengan konsisten
- Medan berbilang nilai: sokongan untuk medan berbilang nilai, membolehkan anda menanyakan medan sebagai nilai yang dipisahkan koma.
- Awan asli di Kubernetes: Carta helm menyediakan penempatan berkelompok yang boleh skala mendatar, tahan kerosakan yang mudah diurus dengan Kubernetes.
Versi baharu Apache Pinot
Perlu dinyatakan bahawa versi 1.0 Apache Pinot telah dikeluarkan baru-baru ini , yang pada asasnya meringkaskan banyak kerja untuk menstabilkan pangkalan kod dan mengambil kira kehendak komuniti (lebih daripada 300 komen telah dipertimbangkan).
Di samping itu, perlu diingatkan bahawa Enjin Pertanyaan Berbilang Peringkat baharu telah mencapai potensi penuhnya , membolehkan sokongan untuk penggabungan jadual (JOIN). Enjin yang digunakan pada mulanya berfungsi dengan cemerlang dengan operasi penapisan dan pengagregatan yang mudah, tetapi untuk memastikan masa pelaksanaan pertanyaan yang boleh diramal, ia tidak menyokong operasi penggabungan jadual.
Enjin baharu ini merangkumi peringkat pertengahan untuk memproses pertanyaan yang kompleks, dan semantik SQLnya hampir dengan ANSI SQL . Tambahan pula, versi baharu ini menawarkan sokongan asli untuk memproses data JSON, menyediakan sokongan untuk nilai "NULL", berintegrasi dengan Apache Spark 3.x, dan meningkatkan pelaksanaan jadual dalam mod Upsert (menambah pemampatan segmen dan menyediakan sokongan untuk operasi pemadaman).
Akhir sekali, jika anda berminat untuk mengetahui lebih lanjut , anda harus tahu bahawa kod projek ini ditulis dalam Java dan diedarkan di bawah lesen Apache. Anda boleh mendapatkan butiran tentang versi baharu di pautan berikut.