Apache Storm sistem pemprosesan data masa nyata

ribut_logo

Apache Storm adalah projek yang membolehkan anda mengatur pemprosesan Jaminan pelbagai acara dalam masa nyata. Contohnya, Ribut dapat digunakan untuk menganalisis aliran data secara real time, melaksanakan tugas pembelajaran mesin, mengatur pengiraan berterusan, melaksanakan RPC, ETL, dll.

Sistem ini menyokong pengelompokan, luntuk membina konfigurasi toleransi kesalahan, mod pemprosesan data yang dijamin, dan mempunyai throughput yang cukup tinggi untuk memproses lebih dari satu juta permintaan sesaat pada node kluster.

Penyatuan Apache Storm dengan pelbagai sistem pemprosesan barisan dan teknologi pangkalan data.

Seni bina Storm melibatkan penerimaan dan pemprosesan aliran data tidak berstruktur dan sentiasa dikemas kini menggunakan pengawal kompleks sewenang-wenangnya dengan kemungkinan membahagi antara tahap pengiraan yang berbeza.

Mengenai Apache Storm

Projek ini diserahkan kepada komuniti Apache setelah pemerolehan Twitter oleh BackType, syarikat yang pada awalnya mengembangkan kerangka kerja.

Dalam praktiknya, Storm digunakan dalam BackType untuk menganalisis refleksi peristiwa di mikroblog, dengan membandingkan tweet baru dengan cepat dan pautan yang digunakan di dalamnya (misalnya, ia dinilai sebagai pautan luaran atau iklan Twitter disiarkan oleh peserta lain).

Fungsi ribut berbanding dengan platform Hadoop, dan perbezaan utama adalah bahawa data tidak dimasukkan ke dalam repositori, tetapi diterima dari luar dan diproses dalam masa nyata.

Di Storm, tidak ada lapisan penyimpanan bawaan dan pertanyaan analitik mulai berlaku pada data masuk hingga dibatalkan (jika Hadoop menggunakan pekerjaan MapReduce yang memerlukan waktu yang terbatas, maka Storm menggunakan idea untuk menjalankan " topologi "secara berterusan.

Pelaksanaan pengendali dapat diedarkan ke beberapa pelayan: Storm secara automatik menyelaraskan kerja dengan utas dalam node kluster yang berbeza.

Kes penggunaan utama yang boleh diberikan kepada Apache Storm

Memproses aliran data baru atau kemas kini pangkalan data dalam masa nyata
Pengiraan berterusan: Ribut dapat membuat permintaan berterusan dan memproses aliran berterusan, memindahkan hasil pemprosesan kepada klien dalam masa nyata.

Panggilan prosedur jarak jauh yang diedarkan (RPC): Badai dapat digunakan untuk memberikan kesesuaian dalam melaksanakan pertanyaan intensif sumber daya.

Tugas ("topologi") di Storm adalah fungsi yang diedarkan antara node yang sedang menunggu mesej masuk diproses.

Setelah menerima mesej, fungsi memprosesnya dalam konteks tempatan dan mengembalikan hasilnya. Contoh penggunaan RPC yang diedarkan boleh menjadi pemprosesan selari permintaan carian atau menjalankan operasi pada set besar.

Ciri Baru Utama Apache Storm 2.0

Yayasan Apache melancarkan inisiatif untuk memindahkan Storm ke kernel baru yang ditulis di Java, hasilnya dicadangkan dalam versi Apache Storm 2.0.

Semua komponen asas platform ditulis semula di Java. Sokongan untuk penangan penulisan di Clojure masih ada, tetapi kini ditawarkan dalam bentuk pautan. Java 8 diperlukan agar Storm 2.0.0 berfungsi.

Model pemprosesan multithreaded telah direka semula sepenuhnya, menghasilkan peningkatan prestasi yang ketara (untuk beberapa topologi, latensi dikurangkan sebanyak 50-80%).

Dalam versi baru API Aliran taip baru dicadangkan, yang membolehkan anda mengkonfigurasi pengendali menggunakan operasi dalam gaya pengaturcaraan fungsional.

API baru dilaksanakan berdasarkan API biasa dan menyokong penggabungan operasi secara automatik untuk mengoptimumkan pemprosesannya. Window API untuk operasi tetingkap menambah sokongan untuk menyimpan dan memulihkan keadaan di bahagian belakang.

Sebaliknya pengawal untuk memulakan sumber tambahan ke akaun semasa membuat keputusan yang tidak terhad pada CPU dan memori, seperti parameter rangkaian dan GPU, ia telah ditambahkan ke penjadual boot.

Sejumlah penambahbaikan yang berkaitan dengan memastikan integrasi dengan platform Kafka.
Sistem kawalan akses telah diperluas, di mana peluang telah muncul untuk membuat kumpulan pentadbir dan perwakilan token.

Menambah penambahbaikan yang berkaitan dengan sokongan untuk SQL dan metrik. Antara muka pentadbir mempunyai arahan baru untuk menyahpepijat keadaan kluster.


Kandungan artikel mematuhi prinsip kami etika editorial. Untuk melaporkan ralat, klik di sini.

Menjadi yang pertama untuk komen

Tinggalkan komen anda

Alamat email anda tidak akan disiarkan. Ruangan yang diperlukan ditanda dengan *

*

*

  1. Bertanggungjawab atas data: Miguel Ángel Gatón
  2. Tujuan data: Mengendalikan SPAM, pengurusan komen.
  3. Perundangan: Persetujuan anda
  4. Komunikasi data: Data tidak akan disampaikan kepada pihak ketiga kecuali dengan kewajiban hukum.
  5. Penyimpanan data: Pangkalan data yang dihoskan oleh Occentus Networks (EU)
  6. Hak: Pada bila-bila masa anda boleh menghadkan, memulihkan dan menghapus maklumat anda.