Apache Storm деректерді нақты уақыт режимінде өңдеу жүйесі

дауыл_logo

Apache Storm - бұл өңдеуді ұйымдастыруға мүмкіндік беретін жоба кепілдік нақты уақыттағы әртүрлі оқиғалардың. Мысалы, дауыл нақты уақыт режимінде деректер ағындарын талдау үшін пайдалануға болады, орындау машиналық оқыту тапсырмалары, үздіксіз есептеулерді ұйымдастыру, RPC, ETL және т.б. енгізу

Жүйе кластерлеуді қолдайды, lақаулыққа төзімді конфигурацияларды құру, деректерді өңдеудің кепілдендірілген режимі және кластер түйінінде секундына миллионнан астам сұраныстарды өңдеуге жеткілікті жоғары өнімділігі.

Apache Storm әр түрлі кезекті өңдеу жүйелерімен және мәліметтер базасының технологияларымен интеграциялау.

Дауылдың сәулеті құрылымсыз мәліметтер ағындарын қабылдауды және өңдеуді қамтиды және әр түрлі есептеу кезеңдері арасында бөлу мүмкіндігі бар ерікті күрделі контроллерлер көмегімен үнемі жаңартылады.

Apache Storm туралы

Жоба Apache қауымдастығына бастапқыда фреймворкты жасаған BackType компаниясының Twitter сатып алғаннан кейін берілді.

Іс жүзінде Storm BackType-та оқиғалардың микроблогтардағы көрінісін талдау үшін қолданылды, жаңа твиттерді және оларда қолданылған сілтемелерді салыстыру арқылы (мысалы, оларды сыртқы сілтемелер немесе Twitter жарнамалары басқа қатысушылар таратқан) деп бағалады.

Дауылдың функционалдығы Hadoop платформасымен салыстырылады, және басты айырмашылық - бұл мәліметтер қоймаға салынбайды, бірақ сырттан қабылданады және нақты уақыт режимінде өңделеді.

Storm-де кірістірілген сақтау қабаты жоқ және аналитикалық сұраныс жойылғанға дейін кіріс деректеріне қатысты бола бастайды (егер Hadoop соңғы уақытты алатын MapReduce жұмысын қолданса, онда Storm іске қосу идеясын қолданады « топологиялар »үздіксіз.

Өңдегіштердің орындалуын бірнеше серверлерге таратуға болады: дауыл кластердің әр түрлі түйіндеріндегі жіптермен жұмысты автоматты түрде параллельдейді.

Apache Storm-ге берілетін негізгі жағдайлар

Нақты уақыт режимінде жаңа мәліметтер ағындарын немесе мәліметтер базасын жаңартуды өңдеу
Үздіксіз есептеулер: Дауыл үздіксіз сұраныстар жасай алады және үздіксіз ағымдарды өңдейді нақты уақыт режимінде клиентке өңдеу нәтижелерін беру.

Таратылған қашықтан шақыру (RPC): Дауылды ресурстарды қажет ететін сұраныстарды орындау кезінде параллельділікті қамтамасыз ету үшін пайдалануға болады.

Storm-дағы тапсырма («топология») - бұл кіріс хабарламалардың өңделуін күтетін түйіндер арасындағы бөлінген функция.

Хабарламаны алғаннан кейін функция оны жергілікті контекстте өңдейді және нәтижені қайтарады. Таратылған RPC-ді қолдану мысалы іздеу сұраныстарын параллель өңдеу немесе жиындардың үлкен жиынтығында операцияларды орындау болуы мүмкін.

Apache Storm 2.0 негізгі жаңа мүмкіндіктері

Apache Foundation Storm-ді Java-да жазылған жаңа ядроға көшіру туралы бастамалар көтерді, нәтижелері Apache Storm 2.0 нұсқасында ұсынылған.

Платформаның барлық негізгі компоненттері Java-да қайта жазылған. Clojure-де жазу өңдеушілеріне қолдау сақталады, бірақ қазір сілтемелер түрінде ұсынылады. Storm 8 жұмыс істеуі үшін Java 2.0.0 қажет.

Көп ағынды өңдеу моделі толығымен қайта өңделді, бұл өнімділіктің айтарлықтай жоғарылауына әкелді (кейбір топологиялар үшін кідірістер 50-80% -ға азайды).

Жаңа нұсқада жаңа типтелген Streams API ұсынылды, бұл функционалды бағдарламалау стиліндегі операцияларды қолдана отырып өңдегіштерді конфигурациялауға мүмкіндік береді.

Жаңа API кәдімгі API негізінде жүзеге асырылады және оларды өңдеуді оңтайландыру үшін операцияларды автоматты түрде біріктіруді қолдайды. Терезе операцияларына арналған Windowing API артқы жағындағы күйді сақтау мен қалпына келтіруге қолдау қосады.

Екінші жағынан тек CPU және жадымен шектелмейтін шешімдер қабылдаған кезде қосымша ресурстарды бастауға арналған контроллер, желілік және GPU параметрлері сияқты, ол іске қосу жоспарлағышына қосылды.

Кафка платформасымен интеграцияны қамтамасыз етуге байланысты көптеген жетілдірулер.
Қол жетімділікті басқару жүйесі кеңейтілді, онда администраторлар тобы мен маркерлер делегациясын құру мүмкіндігі туды.

SQL және метриканы қолдауға байланысты жақсартулар қосылды. Әкімші интерфейсінде кластер күйін жөндеуге арналған жаңа командалар бар.


Мақаланың мазмұны біздің ұстанымдарымызды ұстанады редакторлық этика. Қате туралы хабарлау үшін нұқыңыз Мұнда.

Бірінші болып пікір айтыңыз

Пікіріңізді қалдырыңыз

Сіздің электрондық пошта мекен-жайы емес жарияланады. Міндетті өрістер таңбаланған *

*

*

  1. Деректерге жауапты: Мигель Анхель Гатан
  2. Деректердің мақсаты: СПАМ-ны басқару, түсініктемелерді басқару.
  3. Заңдылық: Сіздің келісіміңіз
  4. Деректер туралы ақпарат: заңды міндеттемелерді қоспағанда, деректер үшінші тұлғаларға жіберілмейді.
  5. Деректерді сақтау: Occentus Networks (ЕО) орналастырған мәліметтер базасы
  6. Құқықтар: Сіз кез-келген уақытта ақпаратты шектей, қалпына келтіре және жоя аласыз.