ما هو تحليل الشذوذ؟ ماذا تقول التغيّرات غير المعتادة في البيانات؟

أحيانًا يبدأ التغيّر المهم قبل أن يتحوّل إلى أزمة كبرى أو اتجاه أو موضوع في الأجندة العامة.

ارتفاع غير متوقع في حجم الحديث، نمط تفاعل يختلف عن المعتاد، موضوع يظهر فجأة، أو حركة غير مألوفة في سلوك المستخدمين…

هذه التغيّرات التي تبدو صغيرة للوهلة الأولى قد تكون الإشارات الأولى لتطوّر أكبر بكثير.

تحليل الشذوذ (Anomaly Detection) هو رصد الحركات غير المعتادة التي تنحرف بوضوح عن السلوك الطبيعي أو المتوقع للبيانات، ودراسة أسباب هذه التغيّرات.

لكن ليست كل حركة غير معتادة مهمة.

جوهر المسألة هو التالي:

ما هو الطبيعي؟

قبل أن يمكن رصد أي شذوذ، لا بد أولًا من فهم السلوك الطبيعي للبيانات.

إذا كان يُتحدَّث عن علامة تجارية بمعدل 5.000 مرة يوميًا، فإن 6.000 إشارة قد تكون تغيّرًا عاديًا.

أما الوصول إلى 30.000 محادثة خلال ساعات قليلة فيشكّل حركة تستدعي الفحص.

غير أن الحجم ليس وحده ما يتغيّر.

فتوزيع المشاعر، وبنية التفاعل، والمواضيع المتداولة، وسلوك المستخدمين، وسرعة الانتشار، أو نشاط فاعلين بعينهم، كلها قد تنحرف عن المعتاد.

لذلك فالشذوذ ليس دائمًا رقمًا كبيرًا.

أحيانًا يكون المهم هو تغيّر البنية المألوفة نفسها.

ليس كل ارتفاع مفاجئ أزمة

لنفترض أننا رصدنا ارتفاعًا مفاجئًا في حجم الحديث.

قد يكون السبب أزمة.

لكن حملة ناجحة، أو مقطعًا منتشرًا، أو خبرًا مهمًا، أو منشورًا لشخصية معروفة، أو تطوّرًا إيجابيًا غير متوقع، قد ينتج النتيجة نفسها تمامًا.

رصد الشذوذ يقول لنا:

أما التحليل فيطرح السؤال التالي:

لهذا يصبح تحليل الشذوذ أكثر دلالة بكثير حين يُقرأ مع تحليلات أخرى: السبب الجذري، والاتجاه، والمشاعر، والانتشار.

قد يكون التغيّر الصغير إشارة كبيرة

التطوّرات المهمة لا تبدأ دائمًا بأرقام كبيرة.

• قد يبدأ موضوع شكوى بعينه بالظهور أكثر قليلًا من المعتاد.
• قد تكون المشاعر السلبية في ارتفاع داخل مجموعة محددة من المستخدمين.
• قد تبدأ كلمة لم تكن مرتبطة من قبل بعلامة أو بشخص في الظهور إلى جانبها.
• قد تصبح حسابات بعينها نشطة بصورة غير معتادة حول الموضوع نفسه.

لا يصنع أيٌّ من هذه العناصر وحده موضوعًا كبيرًا.

لكنها مجتمعةً قد تحمل العلامات المبكرة لتغيّر قادم.

ما الفرق بين الشذوذ والاتجاه؟

الشذوذ

انحراف غير معتاد عن السلوك المتوقع.

الاتجاه

تغيّر يستمر في مسار محدد.

لذلك قد تكون القفزة المفاجئة شذوذًا دون أن تتحوّل إلى اتجاه.

وفي المقابل، قد يتحوّل تغيّر صغير لكنه مستمر إلى اتجاه قوي مع الوقت.

هذا التمييز مهم، لأن هاتين العبارتين لا تعنيان الشيء نفسه بالنسبة لصاحب القرار:

مصدر الشذوذ يجب أن يُساءل أيضًا

في البيانات الرقمية، لا تأتي كل حركة غير معتادة من سلوك مستخدمين حقيقي.

فنشاط البوتات، والمحتوى المزعج، والمنشورات المنسّقة، والرسائل المكرّرة، أو التغييرات التقنية في البيانات، كلها قد تُنتج شذوذًا.

لذلك عند رصد حركة غير معتادة يجب النظر لا إلى حجمها فحسب، بل إلى بنية البيانات التي أنتجتها ومدى موثوقيتها.

وإلا فقد تُقرأ حركة مصطنعة على أنها تحوّل اجتماعي حقيقي أو إشارة أزمة.

لماذا تهم الرؤية المبكرة؟

حين يصل تطوّر ما إلى ملايين الأشخاص تصبح رؤيته سهلة.

القيمة الحقيقية هي في ملاحظة أن الحركة تختلف عن الطبيعي بينما هي ما تزال صغيرة.

خطر سمعة يقترب من علامة تجارية، شكوى تتضخّم أمام مؤسسة، إدراك يبدأ بالتحوّل في السياسة، حساسية جديدة تتصاعد في المجتمع، أو توقّع جديد يتشكّل في السوق…

التحوّلات الكبرى تترك في الغالب أثرًا في البيانات قبل أن تقع.

الجميع يرى التغيّر بعد وقوعه. أما التحليل فيحاول التقاط إشاراته الأولى.