خوارزمية توصية تويتر
قبل أيام قليلة نشر الخبر ذلك أصدر تويتر شفرة المصدر للمجموعة "خوارزمية التوصية" ، والذي يتضمن الخدمات وبرامج التشغيل المستخدمة لإنشاء موجز رسالة موصى به يتم عرضه للمستخدم في المخطط الزمني لبدء التشغيل.
بالإضافة إلى توفير الشفافية والسماح بالتدقيق المستقل للخوارزميات المستخدمة ، عبر Twitter عن استعداده لقبول طلبات السحب من المجتمع مع التغييرات التي تعمل على تحسين الخوارزميات والتي ، بعد المراجعة ، يمكن نقلها إلى قاعدة رموز العمل الخاصة بتويتر.
في Twitter 2.0 ، نعتقد أن لدينا مسؤولية ، بصفتنا ساحة عامة على الإنترنت ، لجعل منصتنا شفافة. لذلك نحن اليوم نتخذ الخطوة الأولى في عصر جديد من الشفافية ونفتح الكثير من كود المصدر الخاص بنا للمجتمع العالمي.
حول الكود الصادر ، يذكر أن إنشاء موجز التوصيات ينقسم إلى ثلاث مراحل الرئيسية:
- استخراج أفضل التغريدات من مصادر مختلفة (مصادر المرشح). في هذه المرحلة ، يتم استخدام ما يلي كمصادر: نظام فهرسة البحث ، والذي يغطي الرسائل الواردة من الأشخاص الذين لديهم اشتراك (داخل الشبكة) ؛ طبقة cr-mixer لاستخراج الرسائل من مختلف الخدمات المساعدة التي تغطي الرسائل من الأشخاص غير المشتركين (خارج الشبكة) ؛ مكون المستخدم - تغريدة - الكيان - الرسم البياني (UTEG) لاستخراج الرسائل بناءً على الرسم البياني الحالي لتفاعل المستخدم ؛ خدمة تتبع التوصيات (FRS) لإنشاء توصيات بناءً على نشاط المستخدمين المتعقّبين. في الخلاصة ، يأتي حوالي نصف المنشورات من أشخاص لديهم اشتراك.
- تصنيف التغريدات المختارة باستخدام نموذج التعلم الآلي. يتم استخدام نظامين للترتيب: نموذج تصنيف خفيف يستخدم فهرس بحث ، وشبكة عصبية عالية الترتيب لاختيار المرشحين الأكثر صلة.
- تطبيق المرشحات والاستدلالات لتجاهل الرسائل محظور أو فاحش أو شوهد بالفعل. يتم استخدام مكون الخلاط المنزلي لتشكيل التغذية ويتم استخدام نظام مرشح الرؤية للتصفية. بالإضافة إلى ذلك ، تم فتح نظام timelineranker القديم ، الذي كان يُستخدم لسحب التغريدات من فهرس البحث.
أساس توصيات Twitter هو مجموعة من النماذج والميزات الأساسية التي تستخرج المعلومات الكامنة من التغريدات والمستخدم وبيانات التفاعل. تهدف هذه النماذج إلى الإجابة عن أسئلة مهمة حول شبكة Twitter ، مثل "ما هو احتمال أن تتفاعل مع مستخدم آخر في المستقبل؟" أو "ما هي المجتمعات على Twitter وما هي التغريدات الشائعة داخلها؟" تتيح الإجابة على هذه الأسئلة بدقة لتويتر تقديم توصيات أكثر صلة.
إلى جانب ذلك ، يتم أيضًا تمييز رمز المكونات الإضافية وهو مفتوح أيضًا:
- سيمكلسترز آن: يُستخدم لتعريف المجتمعات ذات الاهتمامات المتشابهة.
- توين: هذا له وظيفة إنشاء الرسوم البيانية المعرفية حول المستخدمين والتغريدات (المشتركون ، التغريدات التي يختارها المستخدم ، النقرات على الإعلانات).
- نماذج الثقة والأمان: نماذج لتحديد المحتوى غير اللائق والفاحش والمسيء.
- رسم بياني حقيقي: نموذج للتنبؤ بالتفاعلات بين مختلف المستخدمين.
- مبتذل : خوارزمية لحساب سمعة المستخدم بناءً على روابط منشوراته (ترتيب الصفحة).
recos- حاقن: هي وحدة تحكم في تدفق الأحداث تقوم بإنشاء مدخلات لخدمات GraphJet. - خدمة ميزة الرسم البياني: وظائف الرسم البياني لتقدير تفاعل اثنين من المستخدمين ، مثل مدى تقدير المستخدم "أ" لتغريدات المستخدم "ب".
- سفينة: هو خادم عالي الأداء لمعالجة نماذج التعلم الآلي (مكتوب بلغة Rust).
- المنتج خلاط: مولد تغذية بمحتوى من مصادر مختلفة.
- تومل: هو إطار عمل قديم للتعلم الآلي (شوكة TensorFlow v1).
من الجدير بالذكر ما المصدر مفتوح بموجب ترخيص AGPLv3. استخدم التطبيق لغات البرمجة Scala (53,8٪) ، Java (29,7٪) ، Starlark (6,3٪) ، Python (4,7٪) ، C ++ (2,4٪) و Rust (1,5 ، XNUMX٪).
يتم نشر الكود المرتبط بنماذج التعلم الآلي المستخدمة على Twitter في مستودع منفصل (لا يتم نشر النماذج نفسها لأسباب تتعلق بالأمان والخصوصية). تظل مكونات إنشاء توصيات الإعلانات غير منشورة أيضًا.
إذا كنت مهتمًا بالقدرة على معرفة المزيد عنها ، يمكنك التحقق من التفاصيل في الرابط التالي.