Apache Storm هو مشروع يسمح لك بتنظيم المعالجة مضمون من الأحداث المختلفة في الوقت الفعلي. على سبيل المثال ، Storm يمكن استخدامها لتحليل تدفقات البيانات في الوقت الحقيقي ، لأداء مهام التعلم الآلي ، وتنظيم العمليات الحسابية المستمرة ، وتنفيذ RPC ، و ETL ، إلخ.
النظام يدعم التجميع ، للبناء تكوينات تتسامح مع الأخطاء ، ووضع معالجة مضمون للبيانات ، ولديه إنتاجية عالية بما يكفي لمعالجة أكثر من مليون طلب في الثانية على عقدة الكتلة.
تكامل Apache Storm مع أنظمة معالجة قوائم الانتظار المختلفة وتقنيات قواعد البيانات.
عمارة العاصفة يتضمن تلقي ومعالجة تدفقات البيانات غير المهيكلة ويتم تحديثها باستمرار باستخدام وحدات تحكم معقدة عشوائية مع إمكانية التقسيم بين مراحل الحساب المختلفة.
حول أباتشي ستورم
تم نقل المشروع إلى مجتمع Apache بعد الاستحواذ على Twitter بواسطة BackType ، الشركة التي طورت الإطار في الأصل.
في الممارسة العملية ، تم استخدام Storm في BackType لتحليل انعكاس الأحداث في المدونات الصغيرة، من خلال مقارنة التغريدات الجديدة على الفور والروابط التي تم استخدامها فيها (على سبيل المثال ، تم تقييمها كروابط خارجية أو تم بث إعلانات تويتر من قبل مشاركين آخرين).
تقارن وظيفة العاصفة بمنصة Hadoop، والفرق الرئيسي هو أن البيانات لا يتم وضعها في المستودع ، ولكن يتم استلامها من الخارج ومعالجتها في الوقت الفعلي.
في Storm ، لا توجد طبقة تخزين مضمنة ويبدأ الاستعلام التحليلي في التطبيق على البيانات الواردة حتى يتم إلغاؤه (إذا كان Hadoop يستخدم وظيفة MapReduce التي تستغرق وقتًا محددًا ، فإن Storm يستخدم فكرة تشغيل "الهيكل" بشكل متواصل.
يمكن توزيع تنفيذ المعالجات على عدة خوادم: تقوم العاصفة تلقائيًا بموازاة العمل مع الخيوط في عقد مختلفة من الكتلة.
حالات الاستخدام الرئيسية التي يمكن إعطاؤها لـ Apache Storm
معالجة تدفقات البيانات الجديدة أو تحديثات قواعد البيانات في الوقت الفعلي
حسابات مستمرة: يمكن للعاصفة تقديم طلبات مستمرة ومعالجة التدفقات المستمرة ، نقل نتائج المعالجة للعميل في الوقت الحقيقي.
استدعاء الإجراء البعيد الموزع (RPC): يمكن استخدام العاصفة لتوفير التزامن في تنفيذ الاستعلامات كثيفة الاستخدام للموارد.
المهمة ("الهيكل") في العاصفة هي وظيفة موزعة بين العقد التي تنتظر معالجة الرسائل الواردة.
بعد تلقي الرسالة ، تقوم الوظيفة بمعالجتها في سياق محلي وإرجاع النتيجة. مثال على استخدام RPC الموزع يمكن أن يكون المعالجة المتوازية لاستعلامات البحث أو إجراء عمليات على مجموعة كبيرة من المجموعات.
Apache Storm 2.0 الميزات الجديدة الرئيسية
مؤسسة اباتشي أطلقت مبادرات لنقل Storm إلى نواة جديدة مكتوبة بلغة Java، والنتائج التي تم اقتراحها في إصدار Apache Storm 2.0.
تمت إعادة كتابة جميع المكونات الأساسية للنظام الأساسي في Java. يتم الاحتفاظ بدعم معالجات الكتابة في Clojure ، ولكن يتم تقديمه الآن في شكل روابط. مطلوب Java 8 لكي يعمل Storm 2.0.0.
تم إعادة تصميم نموذج المعالجة متعدد مؤشرات الترابط بالكامل، مما أدى إلى زيادة ملحوظة في الأداء (بالنسبة لبعض الهياكل ، تم تقليل زمن الوصول بنسبة 50-80٪).
في الإصدار الجديد تم اقتراح واجهة برمجة تطبيقات تدفقات جديدة مكتوبة، والذي يسمح لك بتكوين المعالجات باستخدام العمليات بأسلوب البرمجة الوظيفية.
يتم تنفيذ واجهة برمجة التطبيقات الجديدة على أساس واجهة برمجة التطبيقات العادية وتدعم الدمج التلقائي للعمليات لتحسين معالجتها. تضيف واجهة برمجة تطبيقات Windowing لعمليات النافذة دعمًا لحفظ الحالة واستعادتها في الواجهة الخلفية.
من ناحية أخرى وحدة التحكم لبدء موارد إضافية في الاعتبار عند اتخاذ قرارات لا تقتصر على وحدة المعالجة المركزية والذاكرة ، مثل معلمات الشبكة ووحدة معالجة الرسومات ، تمت إضافته إلى جدولة التمهيد.
مجموعة من التحسينات المتعلقة بضمان التكامل مع منصة كافكا.
تم توسيع نظام التحكم في الوصول ، حيث أتيحت الفرصة لإنشاء مجموعات المسؤولين وتفويض الرموز.
تمت إضافة تحسينات تتعلق بدعم SQL والمقاييس. تحتوي واجهة المسؤول على أوامر جديدة لتصحيح حالة الكتلة.