अपाचे वादळ एक वास्तविक-वेळ डेटा प्रक्रिया प्रणाली

अपाचे वादळ हा एक प्रकल्प आहे जो आपल्याला प्रक्रिया आयोजित करण्याची परवानगी देतो हमी रिअल टाइम मध्ये विविध कार्यक्रम उदाहरणार्थ, वादळ रिअल टाइममध्ये डेटा प्रवाहाचे विश्लेषण करण्यासाठी वापरले जाऊ शकते, सादर करणे मशीन शिक्षण कार्ये, सतत गणिते आयोजित करणे, आरपीसी लागू करणे, ईटीएल इ.

यंत्रणा क्लस्टरिंगला समर्थन देते, एलफॉल्ट-टॉलरंट कॉन्फिगरेशन तयार करण्यासाठी, हमी डेटा प्रोसेसिंग मोड आणि क्लस्टर नोडवर प्रति सेकंद दहा लाखांपेक्षा जास्त विनंत्यांवर प्रक्रिया करण्यासाठी आपल्याकडे जास्त प्रमाणात थ्रूपूट आहे.

विविध कतार प्रक्रिया प्रणाली आणि डेटाबेस तंत्रज्ञानासह अपाचे वादळ एकत्रीकरण.

वादळ आर्किटेक्चर अनस्ट्रक्टेड डेटा प्रवाह प्राप्त करणे आणि त्यावर प्रक्रिया करणे यांचा समावेश आहे आणि वेगवेगळ्या गणनाच्या टप्प्यात विभाजन होण्याच्या शक्यतेसह अनियंत्रित कॉम्प्लेक्स कंट्रोलर वापरुन सतत अद्यतनित केले जाते.

अपाचे वादळ बद्दल

मूलभूत चौकट विकसित करणार्‍या कंपनी बॅकटाइपने ट्विटरच्या संपादनानंतर हा प्रकल्प अपाचे समुदायाकडे सोपविला होता.

सराव मध्ये, स्टॉर्मचा उपयोग मायक्रोब्लॉग्जमधील घटनांच्या प्रतिबिंबणाचे विश्लेषण करण्यासाठी बॅकटाइपमध्ये केला जात असे, माशीवर नवीन ट्वीटची तुलना करुन आणि त्यामध्ये वापरलेल्या दुव्यांची तुलना करून (उदाहरणार्थ, बाह्य दुवे किंवा ट्विटर जाहिराती इतर सहभागींनी प्रसारित केल्यामुळे त्यांचे मूल्यांकन केले गेले).

वादळाची कार्यक्षमता हडूप प्लॅटफॉर्मशी तुलना करतेआणि मुख्य फरक असा आहे की डेटा भांडारात ठेवला जात नाही, परंतु बाहेरून प्राप्त केला जातो आणि रिअल टाइममध्ये त्यावर प्रक्रिया केली जाते.

वादळात, अंगभूत स्टोरेज लेयर नसतो आणि येणारी डेटा रद्द होईपर्यंत विश्लेषक क्वेरी लागू होण्यास सुरवात होते (जर हॅडॉपने मुदतीत वेळ घेणार्‍या मॅपड्र्यूस जॉबचा वापर केला तर वादळ चालू असण्याच्या कल्पनेचा वापर करते " टोपोलॉजीज "सतत.

हँडलरची अंमलबजावणी बर्‍याच सर्व्हरवर वितरित केली जाऊ शकते: वादळ आपोआप क्लस्टरच्या वेगवेगळ्या नोड्समधील थ्रेड्ससह कार्य समांतर करते.

मुख्य वापर प्रकरणे जी अपाचे वादळाला दिली जाऊ शकतात

रिअल टाइममध्ये नवीन डेटा प्रवाह किंवा डेटाबेस अद्यतनांवर प्रक्रिया करत आहे
सतत गणना: वादळ निरंतर विनंत्या करू शकतो आणि सतत प्रवाहावर प्रक्रिया करू शकतो, प्रक्रियेचे निकाल ग्राहकांना वास्तविक वेळेत हस्तांतरित करणे.

रिमोट प्रक्रिया कॉल वितरित केला (आरपीसी): एक वादळ संसाधन-गहन क्वेरी अंमलात आणण्यासाठी एकसंधता प्रदान करण्यासाठी वापरले जाऊ शकते.

वादळातील एक कार्य ("टोपोलॉजी") हे नोड्स दरम्यान वितरित केलेले कार्य आहे जे येणार्‍या संदेशांच्या प्रक्रियेच्या प्रतीक्षेत असतात.

संदेश प्राप्त झाल्यानंतर, हे कार्य स्थानिक संदर्भात प्रक्रिया करते आणि निकाल परत करते. वितरित आरपीसी वापरण्याचे उदाहरण शोध क्वेरीची समांतर प्रक्रिया किंवा सेटच्या मोठ्या सेटवर ऑपरेशन करणे असू शकते.

अपाचे वादळ 2.0 मुख्य नवीन वैशिष्ट्ये

अपाचे फाउंडेशन जावामध्ये लिहिलेल्या नवीन कर्नलवर वादळ हस्तांतरित करण्यासाठी पुढाकार घेतला, ज्याचे परिणाम अपाचे वादळ 2.0 आवृत्तीत प्रस्तावित आहेत.

प्लॅटफॉर्मचे सर्व मूलभूत घटक जावामध्ये पुन्हा लिहिलेले आहेत. क्लोज्योरमध्ये हँडलर लिहिण्यासाठी समर्थन कायम ठेवला आहे, परंतु आता दुव्यांच्या रूपात ऑफर केला आहे. वादळ 8 कार्य करण्यासाठी जावा 2.0.0 आवश्यक आहे.

मल्टीथ्रेडेड प्रोसेसिंग मॉडेलचे पूर्णपणे डिझाइन केले गेले आहे, परिणामी कार्यक्षम कामगिरी वाढली (काही टोपोलॉजीजसाठी, विलंब 50-80% ने कमी केला आहे).

नवीन आवृत्तीत एक नवीन टाइप केलेला प्रवाह API प्रस्तावित होते, जे तुम्हाला फंक्शनल प्रोग्रामिंग शैलीमध्ये ऑपरेशन्स वापरुन हँडलर कॉन्फिगर करण्याची परवानगी देते.

नवीन एपीआय नियमित एपीआयच्या आधारावर अंमलात आणले जाते आणि त्यांची प्रक्रिया ऑप्टिमाइझ करण्यासाठी ऑपरेशनच्या स्वयंचलितरित्या विलीन करण्यास समर्थन देते. विंडो ऑपरेशन्ससाठी विंडिंग एपीआय बॅकएंडमध्ये राज्य जतन आणि पुनर्संचयित करण्यासाठी समर्थन जोडते.

दुसरीकडे सीपीयू आणि मेमरीपुरते मर्यादित नसलेले निर्णय घेताना अतिरिक्त संसाधने खात्यात आणण्यासाठी नियंत्रक, जसे की नेटवर्क आणि जीपीयू पॅरामीटर्स, ते बूट शेड्यूलरमध्ये जोडले गेले आहे.

कफका प्लॅटफॉर्मसह एकत्रीकरण सुनिश्चित करण्याशी संबंधित अनेक संवर्धने.
Controlक्सेस कंट्रोल सिस्टमचा विस्तार केला गेला आहे, ज्यामध्ये प्रशासक गट आणि टोकन प्रतिनिधी तयार करण्याची संधी निर्माण झाली आहे.

एसक्यूएल आणि मेट्रिक्सच्या समर्थनाशी संबंधित सुधारणा जोडल्या. प्रशासक इंटरफेसमध्ये क्लस्टर स्थिती डीबग करण्यासाठी नवीन कमांड आहेत.