دقة النموذج ليست نجاح المنتج. تعرّف على الطبقات الأربع التي تقيس بها MedGAN منتجات الذكاء الاصطناعي: النتيجة التجارية، والتبنّي، والجودة، والتكلفة.
الدقة ليست خط النهاية
اسأل فريقًا عن أداء منتجه للذكاء الاصطناعي، وغالبًا ستسمع رقمًا واحدًا: "دقة النموذج 92%". يبدو ذلك نجاحًا، لكنه في الغالب لا يخبرك بالكثير.
قد يكون النموذج دقيقًا ويفشل مع ذلك كمنتج. فقد لا يثق به الناس فيعيدون عمله يدويًا، وقد يجيب بدقة عن السؤال الخطأ، وقد تكون تكلفة تشغيله أعلى من الوقت الذي يوفّره. ومهمتي كمدير منتجات للذكاء الاصطناعي أن أتأكد من أننا نقيس ما يهمّ العمل فعلًا، وأن نتفق عليه قبل بناء أي شيء.
يشرح هذا الدليل الإطار الذي نستخدمه في MedGAN لقياس منتجات الذكاء الاصطناعي، وكيف تطبّقه على منتجاتك.
لماذا تحتاج منتجات الذكاء الاصطناعي إلى مؤشرات مختلفة
البرمجيات التقليدية متوقّعة: إذا عمل الزر في الاختبار، فسيعمل لكل المستخدمين. أما الذكاء الاصطناعي فيختلف في ثلاثة أمور تغيّر طريقة قياسه:
- المخرجات احتمالية. قد يعطي المدخل نفسه نتائج مختلفة قليلًا، وتتفاوت الجودة من حالة إلى أخرى.
- الجودة تنحرف مع الوقت. تتغيّر البيانات واللغة وسلوك المستخدمين، فقد يتراجع نموذج يعمل جيدًا اليوم دون أن يلاحظ أحد.
- القيمة تعتمد على الثقة. إذا لم يثق المستخدمون بالمخرجات تجاهلوها، فلا يقدّم حتى أقوى نموذج أي قيمة.
لهذا لا يكفي رقم دقة واحد أبدًا. تحتاج إلى مجموعة صغيرة من المؤشرات تجيب معًا عن سؤال واحد: هل يخلق هذا المنتج قيمة يستخدمها الناس فعلًا؟
الطبقات الأربع لمؤشرات منتجات الذكاء الاصطناعي
نقيس كل منتج ذكاء اصطناعي على أربع طبقات، من العمل نزولًا إلى النموذج.
١. النتيجة التجارية
هي سبب وجود المنتج. ويجب أن تكون تغييرًا يتابعه العمل أصلًا: ساعات موفّرة، أو استجابة أسرع، أو تكلفة أقل لكل حالة، أو تحويل أعلى. وإذا لم تستطع تسمية النتيجة التجارية قبل البناء، فتوقّف وحدّدها أولًا. فهذا أكثر أسباب فشل مشاريع الذكاء الاصطناعي التجريبية شيوعًا.
٢. تبنّي المستخدمين
المنتج الذي لا يستخدمه أحد لا يخلق قيمة. تابع عدد المستخدمين المستهدفين الذين يستخدمونه أسبوعيًا، وعدد مرات قبولهم لمخرجات الذكاء الاصطناعي، وعدد مرات تعديلها أو تجاهلها. فارتفاع نسبة التعديل إنذار مبكر بوجود مشكلة في الجودة أو الثقة.
٣. جودة المخرجات
هنا مكان الدقة، لكن مقيسة على حالات حقيقية لا على بيانات اختبار فقط. راجع عيّنة منتظمة من المخرجات مع الأشخاص الذين يؤدّون العمل اليوم. وفي منتجات اللغة، تحقّق من الأسلوب والصحة، ومن أن الإجابات تحلّ الطلب فعلًا.
٤. تكلفة التشغيل
لكل استدعاء للذكاء الاصطناعي تكلفة: الحوسبة، واستخدام النموذج، ووقت الموظفين في مراجعة النتائج. تابع التكلفة لكل مهمة وقارنها بقيمة تلك المهمة. فالمنتج الذي يوفّر عشر دقائق لكنه يكلّف أكثر من عشر دقائق من وقت الموظفين ليس مكسبًا.
| الطبقة | السؤال الذي تجيب عنه | مثال على المؤشر |
|---|---|---|
| النتيجة التجارية | هل أصبح العمل أفضل؟ | الساعات الموفّرة أسبوعيًا |
| تبنّي المستخدمين | هل يستخدمه الناس؟ | المستخدمون النشطون أسبوعيًا، ونسبة القبول |
| جودة المخرجات | هل المخرجات جيدة بما يكفي؟ | الدقة المُراجَعة على حالات حقيقية |
| تكلفة التشغيل | هل يستحق تكلفته؟ | التكلفة لكل مهمة منجزة |
كيف تحدّد الأهداف قبل البناء
لا تفيد المؤشرات إلا إذا اتفقت عليها مبكرًا. فقبل بدء التطوير، نكتب مع العميل أربعة أمور:
- خط الأساس. كيف تعمل العملية اليوم دون ذكاء اصطناعي.
- الهدف. مقدار التحسّن الذي يجعل المشروع مجديًا.
- الضوابط. حدود لا يجوز تجاوزها، مثل نسب الخطأ في الحالات الحساسة.
- إيقاع المراجعة. من يراجع المؤشرات، وكم مرة.
بهذا يتحوّل هدف غامض مثل "استخدام الذكاء الاصطناعي في خدمة العملاء" إلى هدف قابل للاختبار، مثل "حلّ نسبة محددة من الطلبات الروتينية دون تدخّل بشري، مع الحفاظ على رضا العملاء عند مستواه الحالي". كما يسهّل قرار الاستمرار أو التوقف بعد المرحلة التجريبية، وهو جزء أساسي من عملنا في استشارات الذكاء الاصطناعي.
المؤشرات على أرض الواقع
إليك كيف تبدو الطبقات الأربع في اثنين من منتجاتنا:
- MedGAN Support الذي يجيب عن أسئلة العملاء على مدار الساعة. النتيجة التجارية هي وصول تذاكر روتينية أقل إلى الفريق، والتبنّي هو نسبة المحادثات التي يتولاها، والجودة هي حلّ المشكلة فعلًا، والتكلفة هي تكلفة كل محادثة محلولة.
- MedGAN Align الذي يراجع المتقدّمين للوظائف. النتيجة التجارية هي الوقت الموفّر لكل تعيين، والتبنّي هو عدد مرات استخدام المسؤولين عن التوظيف لقائمته المختصرة، والجودة هي اتفاقهم مع توصياته، والتكلفة هي تكلفة كل متقدّم تمت مراجعته.
في الحالتين، دقة النموذج مهمة، لكنها جزء من صورة أكبر.
استمر في القياس بعد الإطلاق
الإطلاق بداية القياس لا نهايته. نُعدّ لوحات متابعة وتنبيهات ليرى الفريق متى تتراجع الجودة أو ترتفع التكاليف، ونراجع مخرجات حقيقية بشكل منتظم. أما الجانب الهندسي من ذلك، بما فيه المراقبة وإعادة التدريب، فتجده في دليلنا عن نشر الذكاء الاصطناعي على AWS باستخدام MLOps.
إذا كنت تخطّط لمنتج ذكاء اصطناعي وتريد تعريف النجاح قبل البناء، تحدّث مع فريقنا.
الأسئلة الشائعة
ما أهم مؤشر لمنتج الذكاء الاصطناعي؟
النتيجة التجارية التي بُني المنتج لتغييرها، مثل الساعات الموفّرة أو سرعة الاستجابة. دقة النموذج مهمة، لكنها مجرد عامل واحد يؤثر في هذه النتيجة.
لماذا لا تكفي دقة النموذج لقياس منتج الذكاء الاصطناعي؟
قد يفشل نموذج دقيق إذا لم يثق به الناس أو لم يستخدموه، أو إذا حلّ المشكلة الخطأ، أو إذا كانت تكلفة تشغيله أعلى من القيمة التي يخلقها. لهذا تقيس MedGAN النتيجة التجارية وتبنّي المستخدمين وجودة المخرجات والتكلفة معًا.
متى يجب تحديد مؤشرات منتج الذكاء الاصطناعي؟
قبل بدء التطوير. فالاتفاق مبكرًا على خط الأساس والهدف والضوابط وإيقاع المراجعة يوضّح ما إذا كان يجب نقل المرحلة التجريبية إلى الإنتاج.
كيف تقيس MedGAN نجاح منتجاتها للذكاء الاصطناعي؟
تقيس MedGAN، شركة الذكاء الاصطناعي للمؤسسات ومقرها عمّان في الأردن، كل منتج على أربع طبقات: النتيجة التجارية، وتبنّي المستخدمين، وجودة المخرجات، وتكلفة التشغيل، وتواصل متابعتها بعد الإطلاق.
