كغيري من المهتمين في علم البيانات، يغمرنا التفاؤل كل ما أتيحت لنا الفرصة للعمل لدى جهة معينة لنغوص في بياناتها ونصنع قصص نجاح تكون ملهمة وذات قيمة مضافة. نأتي للمنظمات بحماس وآمال كبيرة لنتفاجأ بواقع مرير في أحيان كثيرة وذلك بسبب أمرين اثنين، الأول عدم توفر البيانات. والثاني، توفرها في هيئة سيئة جداً. أقصد بذلك، أن تكون البيانات متوفرة بأنظمة تقنية وقواعد بيانات مختلفة وغير مترابطة تكون البيانات فيها مزدوجة ومتكررة ومتضاربة وتفتقد للدقة والصحة معاً (information silos). بطبيعة الحال، مثل هذه البيانات ليست مادة جيدة أو قابلة للتحليل وإن تم ذلك بتجاهل تلك الشوائب فالنتائج حتماً مغلوطة ومضللة.

ولأن هذا التحدي ليس بجديد وليس حكراً على المؤسسات في منطقتنا.  تقريباً ببداية عام ٢٠٠٥ ومع تسابق المنظمات نحو تبني برمجيات وتطبيقات تقنية خاصة بكل قسم مثل التسويق، المبيعات، علاقات العملاء وجميعها تحتوي على بيانات عملاء المنظمة ومنتجاتها ولكن كل قسم معني بإدخال بياناته بالنظام الخاص به والتعديل عليها. أدت هذه الازدواجية في الإدخال وتفرق مصادر البيانات إلى صعوبة تحديد أي بيانات الأنظمة هي الأصح. لك أن تتخيل حجم المشكلة في حال كان هناك أكثر من سجل للعميل وكل سجل برقم مُعرف مختلف (identifiers). أيضاً خطأ إملائي باسم العميل أو عنوانه أو رقم اتصاله في أحد الأنظمة كفيل بتعقيد مهمة العاملين في حال رغبوا بالتواصل مع ذلك العميل.

نتيجة لذلك نشأت الحاجة الماسة لدمج البيانات المهمة والرئيسية (master data) في ملف أو قاعدة بيانات موحدة (hub) وخلق ما يسمى بمصدر الحقيقة (single source of truth- SSOT).

إدارة البيانات الرئيسية (Master Data Management MDM)

يهتم هذا المجال بإدارة البيانات الرئيسة للمنظمة مدعوماً بالحلول التقنية لضمان توحيد البيانات المهمة والتأكد من دقتها واتساقها والتغلب على الازدواجية والتكرار والتحقق من مصادر البيانات المختلفة ودمجها ومزامنتها في نقطة تجمع واحدة ممثلة بقاعدة بيانات واحدة (Hub) يسهل الوصول لها من قبل جميع منسوبي المنظمة. ولأن ذلك يتطلب توافق في وجهات النظر المتعلقة بإجراءات العمل واشتراطاته، فإن إدارة البيانات الرئيسية تتم من خلال التعاون بين العاملين في المنظمة من منسوبي تقنية المعلومات وخبراء الأعمال في الإدارات الأخرى (subject matter expert).

البيانات الرئيسية (master data)

البيانات الرئيسية هي بيانات المؤسسة التي تصف الكيانات المهمة لعملها (key business entity) كالعملاء، الموردين، المواطنين، المركبات وغيرها وتحتاجها أكثر أقسام المنظمة لتنجز أعمالها. وهي تختلف عن بيانات العمليات (transactional data) مثل الفواتير وأوامر البيع والشراء وبيانات المخزون.

السجل الذهبي (golden record)

ويشار إليه أيضاً باسم الإصدار الحقيقي (single source of truth) وهي الصورة الأكثر دقة وموثوقية لسجلات البيانات الرئيسة وفقاً لما ترسمه سياسات المنظمة الخاصة ب MDM.

تحديد البيانات الرئيسية

تختلف البيانات الرئيسة بحسب المنظمة وبحسب نوعية البيانات التي تتطلبها حاجة العمل لديها لإنجاز المهام، وبالتالي يتعين على كل منظمة تحديد الكيانات الأساسية (core entities) الخاصة بها من خلال تحديد المستفيدين من خدماتها والشركاء المهمين لإنجاز أعمالها مثل العملاء، الموردين، الموظفين، والمنتجات وغيرها. وتعد مرحلة تحديد الكيانات الرئيسة للمنظمة معقدة نسبياً ونتائجها قد تؤثر بشكل كبير على مخرجات ال MDM. لعل أهم ما يميز البيانات الرئيسية في كثير من المنظمات أنها تُستخدم في أكثر من قسم من أقسام المنظمة.

هي منتجات وحلول برمجية تساعد في إدارة البيانات الرئيسية من خلال ربطها ومزامنتها عبر المصادر المختلفة والغير متجانسة وبناء مرجعية واحدة للبيانات الموثوقة. أيضاً تساعد هذه الحلول بالإشراف على البيانات الرئيسية وصيانتها بشكل مستمر وبتدخل بشري محدود.

المطابقة والربط والدمج بين السجلات المتشابهة (Matching and merging/linking)

بالاعتماد على خوارزميات تقدمها الحلول البرمجية ل MDM يتم اكتشاف التكرار وتفاديه ومعالجة البيانات المتشابهة والمترابطة للوصول للسجل الذهبي (golden record). يتم ذلك من خلال النظر لمصادر السجلات ومطابقتها باستمرار للتحقق من عدم الازدواجية ومنع التكرار وتشتت البيانات الخاصة بسجل واحد.

حذف السجلات المتكررة

يعد تكرار البيانات والسجلات أحد أكثر التحديات التي تواجهها المنظمات في بياناتها. تقوم حلول MDM بإزالة سجلات البيانات المكررة والإبقاء على سجل واحد شامل وعالي الجودة يمثل ما يعرف بالسجل الذهبي.

الصيانة والتدقيق المستمر للبيانات

البيانات أصل مهم من أصول المنظمة ولكي يكون للاستثمار فيها عائد جيد مستمر فإنه يتعين على المنظمة أن تواصل المحافظة على جودة البيانات وتضبط إدارتها وحوكمتها بما في ذلك الترابط بين السجلات، التحقق من صحة السجلات، اعتماد الإصدار (versioning)وإدارة خواص البيانات الرئيسية (attributes). هذه العمليات يمكن أن تتم بواسطة حلول MDM بشكل آلي أو بتدخل بشري إذا تطلب الأمر.

إثراء البيانات (data enrichment)

إثراء البيانات الخام وتحسينها لصناعة سجلات أكثر شمولاً وتحقق احتياجات العمل بالمنظمة هي أحد فوائد استخدام حلول MDM. يتم ذلك من خلال تضمين أو ضم بيانات أخرى لها يمكن الحصول عليها من طرف ثالث. على سبيل المثال، إضافة معرفات التواصل الاجتماعي إلى بيانات العميل الرئيسية المتوفرة في MDM. يمكن لهذه العملية أن تتم بشكل آلي وبدون تدخل بشري.

إدارة البيانات الوصفية (metadata management)

تساعد حلول MDM في إدارة البيانات حول البيانات (data about data). والمقصود بذلك أن البيانات والسجلات تأتي من قواعد بيانات ومصادر مختلفة وهذا يتطلب إدارة للمصادر ووضع المعايير والمقاييس اللازمة لضبط المتغيرات والخصائص والبيانات الوصفية ونشرها وحوكمتها من أجل تحقيق جودة البيانات المرجوة.