تخطي إلى المحتوى الرئيسي

الذكاء الاصطناعي المسؤول

الذكاء الاصطناعي يُوصي. والقرار بيد أشخاص.

عرضُ الذكاء الاصطناعي في جلسة توضيحية أمرٌ يسير، أما إدخاله إلى الخدمة الفعلية على نحو مسؤول فأمرٌ صعب — ولا سيّما حين تمسّ مخرجاتُه مال شخص أو استحقاقه أو عمله أو رعايته، ولا سيّما حين يتصرّف النظام لا حين يكتفي بالإجابة. وهذه هي المبادئ التي تطبّقها Kerah متى استعان نظامٌ بالذكاء الاصطناعي، وهي مبادئ تُحسم قبل إدخال النظام إلى الخدمة لا بعد وقوع حادثة.

تسري هذه المبادئ على الأنظمة التي تبنيها Kerah لعملائها وعلى منتجاتها هي. وهي التزامات تتعلق بطريقة التنفيذ، لا دعاوى بشأن سلوك أي نموذج.

الصلاحية البشرية

قرارات لا يتخذها أي نظام من أنظمة Kerah.

للأنظمة التي تبنيها Kerah أن تُوصي وتُرتِّب حسب الأولوية وتُطابِق وتُعِدّ المسودات وتُنبِّه في كل مجال من هذه المجالات، وللوكيل البرمجي أن يُنفِّذ الخطوات المؤدّية إلى الفعل. أما الفعل نفسه فيلزم له شخص يملك الصلاحية المعنية، ويُسجِّل النظام مَن مارسها.

سهم النظام يتوقّف عند الحدّ. وسهم الشخص وحده هو الذي يتجاوزه.
  • الإفراج عن المال أو تحويله أو صرفه
  • منح استحقاق شخص أو منفعته أو حقّه في الوصول، أو رفض ذلك أو سحبه
  • تجاوز ضابط رقابي أو صلاحية ممنوحة أو سقف اعتماد
  • نشر أي شيء خارج المؤسسة، بما في ذلك أي ادّعاء عن الأداء أو أي رقم عن الأثر
  • ترسية عقد على مورِّد أو شريك، أو تعليق ذلك التعامل أو إنهاؤه
  • اتخاذ قرار بشأن توظيف شخص أو منحه ائتمانًا أو قبوله
  • تقديم إفصاح تنظيمي أو إقرار قانوني أو ردّ رسمي إلى جهة رقابية أو حكومية
  • اتخاذ إجراء تتوقف عليه سلامة شخص، أو الامتناع عنه
  • إغلاق تنبيه متعلق بجريمة مالية أو بالعقوبات
  • إنشاء سجل صحي لشخص أو تعديله
  • اعتماد مساعدة لمستفيد أو رفضها
  • تحديد الأهلية الشرعية، أو البتّ في استثناء شرعي

بيانات العملاء لا تُستخدم في تدريب النماذج العامة.

لا تستخدم Kerah ولا أي معالِج من الباطن بيانات العميل أو مُدخلاته النصية أو مستنداته أو صوره أو بياناته الوصفية أو مخرجات النماذج، لا في تدريب نموذج عام الغرض أو مشترك، ولا في ضبطه الدقيق، ولا في تحسينه. ويسري هذا على كل ارتباط بحكم الأصل، وهو مُدرَج في ملحق حوكمة الذكاء الاصطناعي. ولا يتوقف على إعداد ولا على باقة ولا على خيار في التهيئة.

دورة تُغلَق ولا تنتهي

كل مرحلة تُقيّد ما بعدها، وآخرها يعود إلى أولها. وخطوة واحدة بالضبط في هذه الدورة هي قرار شخص.

لا تكتمل أي خاصية ذكاء اصطناعي نهائيًّا. فأسعار النماذج وقدراتها وشروطها تتغيّر من تحتها، ولذلك تُغلَق الدورة بدلًا من أن ينتهي الخط.

تسعة قرارات، تُحسم قبل إدخال النظام إلى الخدمة

معظم مشاريع الذكاء الاصطناعي تخفق عند موضع من مواضع هذه القائمة لا عند النموذج. والترتيب مقصود: كل قرار يُقيّد ما بعده.

  1. 01

    البدء من حالة استخدام تشغيلية حقيقية

    يبدأ العمل بمهمة محدَّدة ومحدودة النطاق تُكلِّف المؤسسة شيئًا اليوم. فالمساعد المفتوح ليس حالة استخدام، وكذلك الوكيل البرمجي ذو التفويض العام — وكلاهما لا يقبل التقييم.

  2. 02

    تحديد معنى النجاح ومعنى الإخفاق قبل إدخال النظام إلى الخدمة

    يُتَّفق كتابةً أولًا على ما يُعدّ مخرجًا جيدًا وما يُعدّ مخرجًا غير مقبول. وإلا أمكن تبرير أي نتيجة بعد وقوعها.

  3. 03

    تحديد البيانات المسموح بها والبيانات الممنوعة

    تُدرَج صراحةً البيانات التي يجوز أن يتلقاها النظام، وتُدرَج كذلك البيانات التي لا يجوز. وحيثما استدعى النظام أدوات، حكمت القائمةُ نفسُها ما يجوز لكل أداة الوصول إليه. ولا تُرسَل البيانات السرية ولا الشخصية ولا بيانات بيئة الإنتاج إلى خدمة ذكاء اصطناعي عامة إلا إذا أجاز ذلك العقدُ واتفاقيةُ معالجة البيانات والتهيئةُ والمراجعةُ الأمنية مجتمعةً.

  4. 04

    التقييم بسيناريوهات تمثيلية

    تُقاس الدقة على مجموعة مأخوذة من عمل حقيقي، تشمل الحالات المشوَّهة والملتبسة ومتعددة اللغات التي يُسقطها العرض التوضيحي المنتقى.

  5. 05

    إبقاء المراجعة البشرية على القرارات ذات الأثر

    حيثما مسّت المخرجات مال شخص أو استحقاقه أو رعايته أو مكانته، أو أدّت إلى اتخاذ إجراء نيابةً عن المؤسسة، كان القرار لشخص يملك الصلاحية المعنية. وتُحدَّد هذه القرارات صراحةً.

  6. 06

    حفظ الإحالة إلى المصادر حيث تقتضيها حالة الاستخدام

    في مهام الاسترجاع والمعرفة، لا يمكن التحقق من جواب بلا إحالة إلى مصدره. وحيثما اقتضت حالة الاستخدام القابلية للتحقق، أعاد النظام مصادره مع الجواب.

  7. 07

    تسجيل المخرجات ومراقبتها حيث يقتضي الأمر

    تُصمَّم قابلية التتبُّع بما يتناسب مع حجم الأثر، حتى يمكن شرح القرار بعد أشهر دون إعادة بنائه من الذاكرة.

  8. 08

    تحديد سلوك النظام عند التعذُّر

    يُحدَّد ضمن التصميم ما يفعله النظام حين يتعذّر الوصول إلى النموذج، أو يُقيَّد معدّل الطلبات، أو تهبط الثقة دون الحدّ المقرَّر، ولا يُترك ذلك ليُكتشف في بيئة الإنتاج.

  9. 09

    إعادة تقييم الكلفة والمخاطر والقيمة بعد الإطلاق

    أسعار النماذج وقدراتها وشروطها تتغيّر. ولذلك تُراجَع خاصية الذكاء الاصطناعي بعد الإطلاق للتأكد من أنها ما زالت تستحق موضعها.

حدود ما تقدَّم

  • لا تدّعي Kerah دقةً مضمونة. وما يمكن تقديمه بصدق هو أداء مقيس على مجموعة تقييم محدَّدة.
  • لا تعرض Kerah ولن تبني اعتمادًا آليًّا مستقلًّا لصرف مال، ولا لاستحقاق شخص، ولا لعقد، ولا لوضع شريك، ولا لحكم شرعي. وليس هذا خيارًا في التهيئة.
  • لا يتصرّف الوكيل البرمجي إلا من خلال أدوات محدَّدة للمهمة، وضمن الصلاحيات التي يملكها الشخص الذي يعمل نيابةً عنه، وبأثرٍ مُسجَّل وقابل للرجوع عنه في كل حالة. ولا تبني Kerah وكيلًا برمجيًّا يمنح نفسه صلاحية وصول، أو ينقل مالًا، أو يراسل الغير دون إشراف.
  • لا تدّعي Kerah شيئًا عن سلامة أي نموذج من نماذج الغير، ولا عن مشروعيته، ولا عن امتثاله.
  • القرارات الآلية المستقلة في المجال الطبي أو التوظيف أو الائتمان أو الأهلية، وما شابهها من القرارات بالغة الأثر، خارج النطاق ما لم توجد حوكمة متخصصة وموافقة كتابية صريحة.
  • وحيثما حلّت قاعدةٌ حتميةٌ المشكلةَ بكلفة أقل ومخاطر أدنى، أوصت Kerah بالقاعدة.

كيف تستخدم Kerah الذكاء الاصطناعي في عملها التنفيذي

تُستخدم في العمل الهندسي أدواتٌ مدعومة بالذكاء الاصطناعي، منها أدوات تتصرّف في مستودع شفرة أو في بيئة عمل لا تكتفي باقتراح نص، وتخضع هذه الأدوات لِما يخضع له كل ما يمسّ مواد العميل من حوكمة. فتُصنَّف الأدوات قبل بدء الارتباط، ولا تُرسَل بيانات العميل إلا حيث يُجيز العقد ذلك، ويُراجع شخصٌ ما يُولَّد من شفرة وقرارات ومراسلات قبل استخدامه.

الذكاء الاصطناعي والأتمتة الذكية بوصفها خدمة

ما الذي يُحفَظ، ليمكن شرح القرار لاحقًا

قابلية التتبُّع هي الفارق بين نظام يمكن تدقيقه ونظام لا يمكن إلا الوثوق به. وحيثما أسهمت مخرجات الذكاء الاصطناعي في قرار ذي أثر، حُفظ السجل أدناه معها.

  • المُدخل، والسجلات المصدرية التي أُخذ منها
  • كل أداة أو مصدر بيانات استدعاه النظام، وما أعاده كلٌّ منهما
  • الصلاحيات التي كان النظام يحملها في تلك اللحظة، والشخص الذي تصرّف نيابةً عنه
  • النموذج الذي أنتج المخرجات، ورقم نسخته
  • نسخة السياسة أو القاعدة النافذة في تلك اللحظة
  • التوصية، ومعها مؤشرات الثقة أو الاستثناء المصاحبة لها
  • الشخص الذي راجعها، وقراره، ومسوّغاته

التصعيد والاعتراض

الشخص الذي يمسّه قرارٌ أسهم فيه نظام يحتاج إلى مسار لا يتوقف على ذلك النظام. ويُصمَّم هذا المسار جنبًا إلى جنب مع مسار العمل، ولا يُضاف بعد ورود شكوى.

إبلاغ الشخص بأن نظامًا شارك في القرار
حيثما أسهمت توصيةٌ في قرار يمسّ شخصًا، أُفصح عن ذلك في القرار نفسه. فلا يستطيع أحد أن يعترض على ما لم يُخبَر به.
مسار مراجعة بشرية قائم ويمكن الوصول إليه
يُصمَّم مسار المراجعة لدى شخص لم يتخذ القرار الأصلي جنبًا إلى جنب مع مسار العمل، مع توقُّع مُعلَن لزمن الاستجابة تحدّده جهة العميل.
المُراجِع يرى الأدلة، لا المخرجات وحدها
تُعرض على المُراجِع المُدخلات والمصادر ونسخة السياسة وما نبّه النظام إلى عدم يقينه منه — بما يكفي للوصول إلى نتيجة مختلفة إن كان لها ما يسوّغها.
النتائج تعود إلى التقييم
تُعامَل القرارات المنقوضة بوصفها بيانات تقييم. وتكرار النقض مؤشِّر على النظام نفسه، لا على الحالات وحدها.

حين يعمل النظام كما بُني وتكون النتيجة خاطئة رغم ذلك

حادثة الذكاء الاصطناعي ليست حادثة أمنية. فالبرمجية تتصرّف كما بُنيت وتُنتج نتيجة غير مقبولة رغم ذلك، ولهذا وجب تصميم التعليق مسبقًا.

موقف Kerah المُعلَن في مركز الثقة
  • حدٌّ فاصل محدَّد تُعلَّق عنده خاصية الذكاء الاصطناعي بدل الاكتفاء بمراقبتها
  • شخص محدَّد بالاسم قادر على تعليقها، ونظام يواصل عمله بدونها
  • سحب صلاحيات أدوات الوكيل البرمجي بوصفه أول إجراء، ليكفّ النظام عن التصرّف قبل أن يكفّ عن الإجابة
  • حفظ سجل التتبُّع عن المدة المتأثرة
  • مراجعة ما إذا كانت مجموعة التقييم قد أخفقت في تمثيل هذه الحالة
  • تدوين ما انتهى إليه الأمر، وإخطار العميل وفق الشروط المتفق عليها

لديكم حالة استخدام في الذهن؟

صِفوا العمل المتكرر والقرار الذي يليه. فذلك يكفي لتحديد ما إذا كان الذكاء الاصطناعي هو الأداة الصحيحة.