0505276099للتواصل والاتصال
دليل عملي

Hybrid topic modeling method based on dirichlet multinomial mixture and fuzzy match algorithm for short text clustering

خوارزمية جديدة لعنقدة موضوعات النصوص القصيرة تجمع نماذج خليط ديريكليه متعدد الحدود والمطابقة الضبابية ومسافة ليفنشتاين، تحقق تحسنًا قدره 83 في المئة في النقاء و67 في المئة في المعلومات المتبادلة المعيّرة عبر ست مجموعات بيانات مرجعية، وتثبت فاعليتها على التغريدات العربية

أثبتت أساليب نمذجة الموضوعات فاعليتها في استنباط الموضوعات الكامنة من النصوص، غير أن التعامل مع النصوص القصيرة يظل تحديًا قائمًا رغم فائدته الكبيرة لكثير من التطبيقات الواقعية، وذلك بسبب تناثر المصطلحات في النص القصير وارتفاع أبعاد تمثيله، وتشترك أغلب أساليب نمذجة الموضوعات في اشتراط تحديد عدد الموضوعات قبل التنفيذ، كما تتطلب الأساليب القائمة على نموذج خليط ديريكليه متعدد الحدود تحديد العدد الأقصى الممكن للموضوعات سلفًا، وهو تحديد يصعب ضبطه بسبب عدم اليقين المحيط بالموضوعات وبسبب كثرة الضجيج في مجموعات البيانات، ومن هنا تنبع الحاجة إلى مقاربة جديدة تعالج مشكلتي القيم الشاذة وتحديد العدد الأمثل للموضوعات في آن واحد، وهو ما تستهدفه هذه الدراسة بخوارزمية مبتكرة لعنقدة النصوص القصيرة

أولًا: أهداف الدراسة ومنهجيتها

هدفت الدراسة إلى تطوير خوارزمية جديدة لعنقدة الموضوعات قائمة على مسافة ليفنشتاين، تجمع بين نماذج خليط ديريكليه متعدد الحدود وخوارزمية المطابقة الضبابية لمعالجة تحدّيين جوهريين في نمذجة الموضوعات، أولهما مشكلة القيم الشاذة التي تربك نتائج العنقدة، وثانيهما مشكلة تحديد العدد الأمثل للموضوعات دون افتراضات مسبقة يصعب تبريرها، وتعمل الخوارزمية المقترحة انطلاقًا من الموضوعات العنقودية الأولية التي تولدها نماذج خليط ديريكليه، ثم تقوّم العلاقات الدلالية بين الوثائق باستخدام مسافة ليفنشتاين التي تقيس القرب التحريري بين النصوص، لتقرر بعد ذلك إبقاء الوثيقة في العنقود نفسه أو نقلها إلى عنقود آخر أو وسمها قيمة شاذة، وقد قُوّم أداء الخوارزمية بمقارنتها بسبعة أساليب لنمذجة الموضوعات عبر ست مجموعات بيانات إنجليزية مرجعية، إضافة إلى تطبيقها على مجموعة من التغريدات العربية جُمعت لهذا الغرض

ثانيًا: أبرز النتائج

أظهرت النتائج كفاءة الأسلوب المقترح عبر مجموعات البيانات الست جميعها قياسًا بالأساليب السبعة المقارنة، إذ حقق تحسنًا قدره 83 في المئة في مقياس النقاء، وتحسنًا قدره 67 في المئة في مقياس المعلومات المتبادلة المعيّرة، وهما مؤشران رئيسان على جودة العنقدة ودقتها في تجميع الوثائق المتشابهة موضوعيًا، كما طبقت الخوارزمية على النصوص العربية القصيرة المتمثلة في التغريدات المجمعة، فبينت النتائج أن نسبة 12 في المئة فقط من النصوص العربية القصيرة صُنفت تصنيفًا غير صحيح وفق الفحص البشري، وهو ما يدل على قابلية الأسلوب للعمل بفاعلية في بيئة اللغة العربية رغم ما تتسم به نصوصها القصيرة من اختصار وتعدد اللهجات وغياب علامات الترقيم في كثير من الأحيان، وبذلك تتكامل الأدلة الكمية والبشرية على متانة المقاربة المقترحة

ثالثًا: دلالات الدراسة وتطبيقاتها

تنطوي هذه النتائج على دلالات تطبيقية واسعة في مجالات تحليل النصوص القصيرة التي تتضخم يومًا بعد يوم، ففي تحليل محتوى وسائل التواصل الاجتماعي تتيح الخوارزمية اكتشاف الموضوعات السائدة وتصنيف التغريدات والمنشورات دون الحاجة إلى افتراض عدد الموضوعات سلفًا، وهو افتراض كان يمثل عنق زجاجة في التطبيقات العملية، كما تفيد في معالجة التقييمات القصيرة ورسائل العملاء واستطلاعات الرأي النصية حيث تتعامل المؤسسات مع كميات هائلة من النصوص المقتضبة، ويعزز نجاح التطبيق على التغريدات العربية من قيمة الأسلوب للباحثين والمطورين العرب الذين يعانون ندرة الأدوات المضبوطة للغتهم، إذ يقدم لهم مسارًا منهجيًا يجمع بين النمذجة الاحتمالية والمطابقة الضبابية وقياس المسافة التحريرية في إطار واحد قابل للتكييف مع طبيعة البيانات المتاحة

وتتعاظم قيمة هذه الخوارزمية عند النظر إلى طبيعة البيانات النصية التي تتعامل معها المؤسسات والمحللون اليوم، فالمنشورات والتغريدات والتعليقات وتقييمات العملاء القصيرة تمثل النمط الغالب من النصوص المنتجة رقميًا، وهي نصوص شديدة الضجيج ومقتضبة الدلالة، ما يجعل أي أسلوب يخفف افتراضاته المسبقة ويتعامل بمرونة مع القيم الشاذة أقدر على استخراج بنية موضوعية يعتد بها، كما أن الجمع بين النمذجة الاحتمالية والمطابقة الضبابية وقياس المسافة التحريرية يمنح الأسلوب حساسية مزدوجة للمعنى والشكل معًا، فلا يضيع التشابه الدلالي بين الوثائق ولا تُهمل الفروق الصياغية التي قد تحمل دلالات موضوعية مهمة، وينسحب ذلك على تطبيقات رصد الرأي العام وتحليل اتجاهات السوق وتصنيف المحتوى الرقمي بلغات متعددة وفي مقدمتها العربية

وخلاصة القول إن هذه الدراسة قدمت خوارزمية جديدة لعنقدة موضوعات النصوص القصيرة تجمع نماذج خليط ديريكليه متعدد الحدود والمطابقة الضبابية ومسافة ليفنشتاين، فحققت تحسنًا كبيرًا في النقاء والمعلومات المتبادلة المعيّرة عبر ست مجموعات بيانات مرجعية، وأثبتت فاعليتها على التغريدات العربية بنسبة خطأ محدودة، بما يجعلها أداة واعدة لتحليل النصوص القصيرة في التطبيقات الواقعية المتعددة

طلب بيانات المقال

آراء عملائنا

صورة مراجعة عميل من Google Maps
صورة مراجعة عميل من Google Maps
صورة مراجعة عميل من Google Maps
صورة مراجعة عميل من Google Maps
صورة مراجعة عميل من Google Maps
صورة مراجعة عميل من Google Maps
صورة مراجعة عميل من Google Maps
صورة مراجعة عميل من Google Maps
سلة طلب الرسائل (0)