ورقة بحثية23 دقيقة قراءة

معمارية الطبقة البشرية: مواصفات تصميم الأنظمة البشرية-الذكائية

الورقة الأولى أثبتت أهمية الطبقة البشرية. هذه الورقة تحدد كيفية بنائها. خمسة مكونات معمارية، كل منها مطلوب مستقلاً بموجب التشريعات الناشئة، ولم يُوحَّد أي منها سابقاً في مواصفات واحدة.

بقلم Ahmad Noureddine · ١٩ مارس ٢٠٢٦ · v1.0

الورقة الأولى في هذه السلسلة أسّست الحجة الاقتصادية والمؤسسية للطبقة البشرية: الحجة بأن أنظمة الذكاء الاصطناعي المصممة لتضخيم الحكم البشري تتفوق على تلك المصممة للاستبدال الكامل، بدعم من بحث شمل 1,500 مؤسسة [18] وتأكيد في تجارب ميدانية ما بعد GPT في كلية هارفارد للأعمال [19] وكلية ستانفورد للدراسات العليا في الأعمال. [7]

تلك الورقة سمّت خمسة مكوّنات للطبقة البشرية ووعدت بمواصفة رسمية. هذه هي تلك المواصفة.

هذه المواصفة تنطبق على أنظمة الذكاء الاصطناعي المستخدمة في بيئات منظّمة أو حرجة السلامة أو معتمدة على الثقة، بما في ذلك التمويل والرعاية الصحية والإدارة العامة والدفاع، لكن يمكن تطبيقها أيضاً على أي نظام تجاري يتطلب المساءلة عن النتائج المدعومة بالذكاء الاصطناعي.

المكوّنات الخمسة هي: بوابات القرار، وبروتوكولات التصعيد، وهياكل المساءلة، وآليات التجاوز، وواجهات معايرة الثقة. كل منها مُعرّف في هذه الورقة كقيد معماري ضروري. النظام الذي يحذف أياً منها لا يستطيع ضمان تفاعل إنسان-ذكاء اصطناعي مسؤول في ظل ظروف تنظيمية أو عالية المخاطر. كل منها مطلوب بشكل مستقل بموجب إطار تنظيمي رئيسي واحد على الأقل ساري المفعول أو يقترب من التطبيق. قانون الذكاء الاصطناعي للاتحاد الأوروبي يفرض الإشراف البشري على الأنظمة عالية المخاطر بموجب المادة 14. إطار إدارة مخاطر الذكاء الاصطناعي من NIST يهيكل الحوكمة حول أربع وظائف ترتبط مباشرة بهذه المكوّنات. معيار ISO/IEC 42001، أول معيار عالمي لنظام إدارة الذكاء الاصطناعي، يتطلب تعيين المساءلة ومعالجة المخاطر وضوابط تشغيلية تتوافق مع المكوّنات الخمسة جميعها.

لا يوحّد أي من هذه الأطر المكوّنات الخمسة في معمارية متماسكة واحدة. إنها تحدد ما يجب على المؤسسات فعله. لا تحدد كيف تصمم الواجهة بين الحكم البشري وقدرة الآلة.

هذه الورقة تقدم تلك المواصفة. إنها ليست توصية سياسية. إنها وثيقة تصميم لأي بانٍ أو منظّم أو مؤسسة تشغّل الذكاء الاصطناعي في بيئات معتمدة على الثقة أو منظّمة أو قائمة على العلاقات.

1. بوابات القرار

بوابة القرار هي نقطة مفروضة هيكلياً في النظام حيث يُطلب الحكم البشري قبل أن يتمكن النظام من المتابعة إلى الإجراء التالي. ليست إشعاراً. ليست سجلاً. إنها اعتمادية صلبة: لا يستطيع النظام التنفيذ دون تصريح بشري.

الأساس النظري لبوابات القرار يأتي من تصنيف مستويات الأتمتة الذي اقترحه أولاً Sheridan وVerplank في MIT في عام 1978. [1] يصف إطارهم عشرة مستويات تتراوح من "المشغّل يفعل كل شيء" (المستوى 1) إلى "الحاسوب يتصرف بشكل مستقل تماماً" (المستوى 10). النطاق الحرج للأنظمة المعتمدة على الثقة هو المستويات من 4 إلى 6: النظام يوصي بإجراء وينفذه فقط إذا وافق الإنسان (المستوى 5)، أو النظام ينفذ لكن الإنسان يحتفظ بحق الرفض (المستوى 6). Parasuraman وSheridan وWickens لاحقاً صقلوا هذا إلى أربعة أبعاد مستقلة: اكتساب المعلومات، وتحليل المعلومات، واختيار القرار، وتنفيذ الإجراء. [2] كل منها يمكن أتمتته بمستويات مختلفة بشكل مستقل. بوابات القرار تنتمي إلى مرحلة اختيار القرار، النقطة التي يتحول فيها تحليل النظام إلى إجراء ذي عواقب.

قانون الذكاء الاصطناعي للاتحاد الأوروبي يجعل هذا ملموساً. المادة 14(4)(d) تتطلب أن يكون البشر المشرفون على أنظمة الذكاء الاصطناعي عالية المخاطر قادرين على "تقرير، في أي موقف معين، عدم استخدام نظام الذكاء الاصطناعي عالي المخاطر أو تجاهل أو تجاوز أو عكس المخرجات بأي طريقة أخرى." [3] لأنظمة التعرف البيومتري، المادة 14(5) تذهب أبعد: أي إجراء مبني على تحديد النظام يجب أن "يُتحقق منه ويُؤكد بشكل منفصل من قبل شخصين طبيعيين على الأقل." [3] بوابات التحقق المزدوج ليست توصية. إنها قانون.

مبدأ التصميم مباشر. كل إجراء ذي عواقب أو لا رجعة فيه في النظام يجب أن يمر عبر بوابة قرار. تعريف "ذي العواقب" خاص بالمجال. في التمويل المرمّز، إنه الموافقة على أصل بدرجة مؤسسية للسوق. في الذكاء الاصطناعي الصحي، إنه توصية تشخيصية تغيّر العلاج. في العدالة الجنائية، إنه درجة مخاطر تؤثر على الحكم. مهمة البانّي هي تحديد أين في النظام تصبح العواقب لا رجعة فيها ووضع البوابة قبل تلك العتبة.

هذا لا يعني أن كل مخرج نظام يتطلب موافقة بشرية. بوابة قرار موضوعة عند كل نقطة إجراء ستدمر الإنتاجية وتنتج نفس الموافقة الروتينية المدفوعة بالإرهاق التي صُممت لمنعها. البوابات تنتمي عند عتبات اللارجعة، النقاط التي تتجاوز فيها تكلفة القرار الخاطئ تكلفة القرار المتأخر. المخرجات الروتينية والقابلة للعكس ومنخفضة التباين يجب أن تتدفق دون انقطاع. المعمارية تميّز بين الإجراءات التي يمكن للنظام تنفيذها بأمان بشكل مستقل والإجراءات التي تتطلب تصريحاً بشرياً قبل المتابعة. تحديد تلك الحدود بشكل صحيح هو مشكلة التصميم الأساسية.

نمط الفشل حين تكون بوابات القرار غائبة موثّق جيداً. النظام يتخذ قرارات ذات عواقب دون نقطة مراجعة بشرية. الحالة النموذجية هي نظام MCAS في بوينغ 737 MAX، الذي تجاوز مدخلات الطيارين بناءً على قراءة مستشعر واحد دون توفير آلية للطيارين يمكن الوصول إليها أو بديهية للتدخل. المستشعر كان البوابة. كان يجب أن يكون إنساناً.

لكن دراسة لقرارات الكفالة قبل المحاكمة تقدم تنقيحاً حاسماً. [4] حين كان 90% من القضاة يتخذون قرارات تجاوز ليست أفضل من العشوائية، كانت بوابة القرار حاضرة معمارياً لكنها ديكورية وظيفياً. بوابة قرار تنتج موافقات روتينية ليست بوابة. إنها مسؤولية بتوقيع بشري ملحق. المعمارية يجب أن تُصمم لإنتاج حكم بشري عالي الجودة عند البوابة، وليس مجرد مظهره. بوابات القرار يجب أن تُفرض من النظام، لا من انضباط المشغّل. إذا كان يمكن تجاوز البوابة دون إطلاق استثناء، فهي ليست قيداً. إنها اقتراح.

2. بروتوكولات التصعيد

بروتوكول التصعيد هو مجموعة قواعد صريحة توجّه السيناريوهات الغنية بالغموض أو الحالات الحدّية إلى الحكم البشري بدلاً من السماح للنظام بالتقصير على مخرجات النموذج. حيث تحدد بوابات القرار النقاط الثابتة للسلطة البشرية، تحدد بروتوكولات التصعيد المحفّزات الديناميكية التي تُفعّل المشاركة البشرية استجابة لعدم يقين النظام.

الرؤية التصميمية الحاسمة تأتي من أدبيات تحيز الأتمتة. مراجعة منهجية نُشرت في 2025 في AI & Society فحصت 35 دراسة شملت 19,774 مشاركاً ووجدت أن تحيز الأتمتة يؤثر على جميع المستخدمين بصرف النظر عن مستوى الخبرة. [5] عبء العمل العالي وضغط الوقت وتعقيد المهام تزيد الاعتماد المفرط على التوصيات الآلية. والأهم، ميزات قابلية الشرح وحدها لم تخفف التأثير. ملاحظات معايرة الثقة لم تساعد أيضاً. [5] الاستنتاج مباشر: إذا تركت التصعيد لحكم الإنسان الخاص حول متى يشكك في النظام، فإن الإنسان سيفشل منهجياً في التصعيد تحديداً حين يكون التصعيد أكثر أهمية.

النظام يجب أن يكشف غموضه الخاص ويوجّه وفقاً لذلك. هذا يعمل فعلاً في الواقع.

نظام Google DeepMind للذكاء الاصطناعي لتشخيص أمراض العيون، المنشور في خدمة الصحة الوطنية البريطانية، يستخدم بروتوكول فرز ثلاثي المستويات. [6] الذكاء الاصطناعي يُجري فحصاً أولياً على صور الشبكية ويقسم النتائج إلى ثلاث فئات: طبيعية بوضوح، غير طبيعية بوضوح، وغير مؤكدة. الحالات المصنفة طبيعية بوضوح تتطلب مراجعة بشرية سريعة فقط. الحالات المصنفة غير مؤكدة تُصعّد إلى تقييم متخصص. محفّز التصعيد مدمج في معمارية النظام، وليس متروكاً لتقدير الطبيب المراجع.

دراسة 2025 من كلية ستانفورد للدراسات العليا في الأعمال عن الخوارزميات التكميلية تطبق نفس المبدأ على صنع القرار. [7] بدلاً من تقديم توصيات في كل قرار، قدّم النظام توصيات انتقائية فقط في الحالات التي كان فيها الإنسان مرجّحاً غير متأكد أو مخطئ. الأشخاص الذين استخدموا هذا النهج التكميلي اتخذوا قرارات أكثر دقة من أولئك الذين استخدموا خوارزمية تنبؤية بحتة أو لا خوارزمية على الإطلاق. النظام قرر متى يتدخل. هذا هو نمط التصميم الصحيح.

مركز جورجتاون للأمن والتكنولوجيا الناشئة نشر تحليلاً في 2024 لتحيز الأتمتة في الأنظمة العسكرية يوضح نمط الفشل الكارثي حين تكون بروتوكولات التصعيد غائبة أو مُتجاوزة. [8] في حادثة USS Vincennes، حدّد نظام أسلحة AEGIS المسار الراداري بشكل صحيح، لكن الطاقم تحت ضغط شديد صنّف خطأً طائرة مدنية كتهديد ولم يُصعّد الإشارة الغامضة للتحقق الإضافي. معلومات النظام كانت دقيقة. بروتوكول التصعيد البشري فشل تحت الضغط. لقي 290 شخصاً حتفهم.

مبدأ التصميم: بروتوكولات التصعيد يجب أن تُفعّل بواسطة عتبات عدم يقين يكشفها النظام، وليس بالتقييم الذاتي للإنسان لثقته. الإنسان يقرر ماذا يفعل عند نقطة التصعيد. النظام يقرر متى تُبلغ نقطة التصعيد. والأهم، كل سلسلة تصعيد يجب أن تنتهي عند بوابة قرار يتحكم فيها شخص طبيعي مؤهل، لاستخدام لغة قانون الذكاء الاصطناعي للاتحاد الأوروبي. [3] التصعيد من نموذج ذكاء اصطناعي إلى نموذج أكثر قدرة ليس تصعيداً بالمعنى المعماري. إنه نقل أفقي داخل طبقة الآلة. التصعيد لا يكتمل إلا حين يصل إلى إنسان لديه السلطة والسياق للتصرف بناءً عليه.

3. هياكل المساءلة

هيكل المساءلة هو الربط المعماري بين كل مخرج ذي عواقب من النظام والإنسان أو البشر المحددين المسؤولين عن ذلك المخرج. إنه يجيب على سؤال واحد: حين ينتج هذا النظام نتيجة سيئة، من يُحاسب؟

هذا ليس سؤالاً عن الهيكل التنظيمي. إنه سؤال معماري. في أنظمة الذكاء الاصطناعي المعقدة، المساءلة تتشتت بشكل طبيعي. النموذج دُرّب من فريق، ونُشر من آخر، وضُبط من ثالث، وشُغّل من رابع. حين يحدث خطأ ما، تتوزع المساءلة عبر "الخوارزمية" و"البيانات" و"المورّد" و"المشغّل" حتى لا يتحمل أي إنسان واحد مسؤولية قابلة للتحديد. معيار ISO/IEC 42001 يحدد صراحة هذا كنمط الفشل الذي يستهدفه المعيار: "مساءلة مشتتة، حيث لا يملك أحد مخاطر الذكاء الاصطناعي حتى يحدث خطأ." [9]

الفشل العكسي خطير بنفس القدر. الباحثة Madeleine Clare Elish صاغت مصطلح "منطقة التجعّد الأخلاقية" لوصف الأنظمة حيث يُوضع إنسان اسمياً كطبقة إشراف لكنه يفتقر للمعلومات أو السلطة أو وقت الاستجابة للتحكم فعلياً في النتيجة. [17] حين يفشل النظام، الإنسان يمتص المسؤولية القانونية، يعمل كمنطقة تجعّد تحمي المؤسسة بينما تتحمل الصدمة. المساءلة المشتتة تعني أن لا أحد مسؤول. منطقة التجعّد الأخلاقية تعني أن الشخص الخطأ مسؤول. المعمارية يجب أن تمنع كليهما.

التمييز بين المساءلة والمسؤولية مهم هنا. تحليل نُشر في 2022 في Frontiers in Big Data يوضح الفرق. [10] المساءلة تتطلب أن نعرف لماذا كان القرار A بدل B. يمكن أحياناً تحقيقها بوسائل تقنية: شرح، سجل تدقيق، تتبع. المسؤولية تتطلب إنساناً في الحلقة لأنه، كما يلاحظ المؤلفون، "لا يمكننا محاسبة الآلات بأي معنى حقيقي." [10] هذه متطلبات معمارية مختلفة. النظام يمكن أن يكون خاضعاً للمساءلة (قابلاً للتتبع) دون أن يكون أحد مسؤولاً (خاضعاً للمحاسبة). معمارية الطبقة البشرية تتطلب كليهما.

إطار إدارة مخاطر الذكاء الاصطناعي من NIST يهيكل هذا عبر وظيفة GOVERN، التي تتطلب "سياسات وممارسات مؤسسية" لإشراف الذكاء الاصطناعي مع "أصحاب مصلحة محددين مسؤولين عن الأمان والامتثال وصنع القرار." [11] بند 5 من ISO 42001 يتطلب من الإدارة العليا تعيين "المساءلة عن صنع القرار المتعلق بالذكاء الاصطناعي" ودمجها في استراتيجية الأعمال الشاملة. [9] المادة 26(2) من قانون الذكاء الاصطناعي للاتحاد الأوروبي تتطلب من الناشرين "تعيين الإشراف البشري لأشخاص طبيعيين لديهم الكفاءة والتدريب والسلطة اللازمة." [3]

لأنظمة الذكاء الاصطناعي الوكيلية، حيث تنبثق الإجراءات ديناميكياً من التفاعلات بدلاً من منطق ثابت، تواجه هياكل المساءلة تحدياً إضافياً. إطار حوكمة الذكاء الاصطناعي النموذجي في سنغافورة 2025 للذكاء الاصطناعي الوكيلي يعالج هذا مباشرة: يجب أن تكون المسؤولية "محددة بوضوح عبر فاعلين متعددين داخل وخارج المؤسسة المشاركة في دورة حياة الوكيل." [12] الإطار يعترف بأن "الإنسان في الحلقة يظل فعالاً عبر الزمن رغم تحيز الأتمتة" فقط حين تكون المساءلة هيكلية لا اسمية.

مبدأ التصميم: كل مخرج ذي عواقب في النظام يجب أن يكون له إنسان مُعيّن مسبقاً مسؤول عن القرار وإنسان مُعيّن مسبقاً مسؤول عن النتيجة. قد يكونان نفس الشخص. وقد لا يكونان. لكن كليهما يجب أن يكونا قابلين للتحديد قبل إنتاج المخرج، لا بعد معرفة النتيجة.

4. آليات التجاوز

آلية التجاوز هي القدرة التشغيلية للإنسان على رفض أو تعديل أو إيقاف مخرجات نظام الذكاء الاصطناعي دون الحاجة لتدخل تقني. كلمة "التشغيلية" تقوم بمعظم العمل في هذا التعريف.

كثير من الأنظمة لديها قدرات تجاوز نظرية. مدير يمكنه تغيير معلمات النموذج. مطوّر يمكنه دفع إصلاح سريع. مدير قاعدة بيانات يمكنه تعديل سجل مُعلّم. لا شيء من هذا يشكل آلية تجاوز بالمعنى المعماري لأن لا شيء منها متاح للإنسان الذي يشغّل النظام عند نقطة القرار. آليات التجاوز يجب أن تكون متاحة في طبقة الواجهة، لا في طبقة البنية التحتية.

قانون الذكاء الاصطناعي للاتحاد الأوروبي صريح. المادة 14(4)(e) تتطلب أن يكون البشر قادرين على "التدخل في تشغيل نظام الذكاء الاصطناعي عالي المخاطر أو إيقاف النظام من خلال زر 'توقف' أو إجراء مماثل." [3] هذا ليس مجازياً. التشريع يتصور آلية حرفية، متاحة للإنسان المشرف، توقف أو تعدّل مخرجات النظام في الوقت الحقيقي.

لكن وضع زر على شاشة لا يحل المشكلة. أدبيات تحيز الأتمتة تُظهر أن البشر يخضعون بشكل منهجي للتوصيات الآلية حتى حين يوجد خيار التجاوز. تحليل 2024 لتحيز الأتمتة في الإدارة العامة وجد أن متطلبات المادة 14 من قانون الذكاء الاصطناعي قد تكون غير كافية لأنها تفترض أن الإشراف البشري يعمل كما هو مقصود. [13] دراسة منفصلة في 2025 اقترحت "وظائف إجبار معرفية بالتصميم"، أي آليات على مستوى النظام تتطلب من الإنسان التعامل بفعالية مع القرار بدلاً من الموافقة السلبية عليه. [14]

مثال بسيط: بدلاً من زر "موافقة" واحد، واجهة التجاوز تتطلب من الإنسان اختيار أي عناصر محددة من مخرجات الذكاء الاصطناعي يؤيدها وأيها تحقق منها بشكل مستقل. هذا مختلف هيكلياً عن النقر على "موافق". إنه يفرض التعامل مع جوهر القرار، لا مجرد فعل التصريح.

دراسة حالة مركز جورجتاون CSET عن نظام أسلحة AEGIS توضح التحدي التصميمي الأعمق. [8] عقيدة البحرية تُثقّل صراحة "صنع القرار نحو الإنسان" وتحافظ على بحارة مؤهلين متعددين في حلقة التحديد "حتى حين يكون النظام في وضع مستقل." آلية التجاوز كانت حاضرة ومفروضة عقائدياً. ومع ذلك فشلت تحت الضغط الشديد لأن الضغط أضعف قدرة البشر على ممارسة التجاوز بفعالية. آليات التجاوز يجب أن تراعي واقع أن البشر تحت الضغط ليسوا نفس البشر الذين صمموا البروتوكول.

مبدأ التصميم: آليات التجاوز يجب أن تكون متاحة عند واجهة القرار (لا مدفونة في لوحات الإدارة)، ويجب أن تتضمن وظائف إجبار معرفية تمنع الموافقة السلبية، ويجب أن تُختبر في ظروف متدهورة، لأن اللحظة التي تحتاج فيها أكثر للتجاوز هي اللحظة التي يكون فيها الأداء البشري أكثر تراجعاً. التجاوز الذي يتطلب تدخلاً إدارياً أو وصولاً تقنياً متخصصاً أو التنقل عبر طبقات نظام متعددة لا يُؤهل كآلية تجاوز بموجب هذه المواصفة.

5. واجهات معايرة الثقة

واجهة معايرة الثقة هي آلية النظام التي تساعد البشر على تقييم متى يثقون بمخرجات الذكاء الاصطناعي ومتى يشككون فيها بدقة. من بين المكوّنات الخمسة، هذه هي الأكثر سوء فهماً والأكثر حذفاً من تصميم الأنظمة.

النهج الشائع هو درجة الثقة. النموذج يُخرج تنبؤاً بثقة 87%، والإنسان يستخدم هذا الرقم لمعايرة ثقته. البحث يشير إلى أن هذا النهج غير كافٍ.

المراجعة المنهجية 2025 عن تحيز الأتمتة وجدت ثلاثة أبعاد متميزة للثقة تحكم تفاعل الإنسان-الذكاء الاصطناعي: الثقة الطبعية (ميل الإنسان الأساسي للثقة بالأنظمة الآلية)، والثقة الموقفية (الثقة المشكّلة بالسياق المحدد والتفاعلات الأخيرة)، والثقة المُتعلّمة (الثقة المتطورة من خلال تجارب متكررة مع النظام عبر الزمن). [5] درجة الثقة لا تعالج أياً من هذه الأبعاد. إنها تصف الحالة الداخلية للنموذج، لا علاقة الإنسان بموثوقية النموذج.

قانون الذكاء الاصطناعي للاتحاد الأوروبي يعترف بهذه الفجوة. المادة 14(4)(a) تتطلب أن يكون البشر قادرين على "فهم القدرات والقيود ذات الصلة بشكل صحيح." المادة 14(4)(b) تتطلب الوعي بـ"الميل المحتمل للاعتماد التلقائي أو المفرط على المخرجات." [3] التشريع يطالب بأن يُصمم النظام لمواجهة التحيزات المعرفية للإنسان نفسه، لا مجرد الإبلاغ عن الخصائص الإحصائية للنموذج.

بحث حديث عن الاعتماد المناسب يقترح مقياسين يلتقطان بشكل أفضل ما يجب أن تقيسه معايرة الثقة. [15] الاعتماد الإيجابي النسبي على الذكاء الاصطناعي (RAIR) يشير إلى مدى تكرار تحديث البشر لقراراتهم غير الصحيحة بناءً على نصيحة ذكاء اصطناعي دقيقة. الاعتماد الذاتي الإيجابي النسبي (RSR) يقيس مدى تكرار رفض البشر لاقتراحات ذكاء اصطناعي غير صحيحة للاعتماد على أحكامهم الدقيقة. نظام معايَر جيداً يُعظّم كلا المقياسين في آن واحد. هذا يعني أن الإنسان يثق بالذكاء الاصطناعي حين يكون صحيحاً ويثق بنفسه حين يكون الذكاء الاصطناعي مخطئاً. لا الثقة العمياء ولا الشك الشامل ينتجان نتائج مثلى.

دراسة 2025 في Scientific Reports التابعة لـ Nature تضيف قيداً تصميمياً آخر. [16] حين انتقل العمال من العمل بمساعدة الذكاء الاصطناعي إلى العمل الفردي، انخفض الدافع الذاتي وزاد الملل. واجهة معايرة ثقة تنتج اعتمادية، حيث لا يستطيع الإنسان العمل بفعالية بدون الذكاء الاصطناعي، فشلت حتى لو عظّمت الدقة قصيرة المدى. الواجهة يجب أن تحفظ الاستقلالية والقدرة البشرية، لا مجرد الدقة البشرية.

دراسة ستانفورد للخوارزمية التكميلية تقدم نمط التصميم الأكثر قابلية للتطبيق. [7] بتقديم توصيات بشكل انتقائي، فقط حين كان الإنسان مرجّحاً غير متأكد أو مخطئ، أبلغ النظام ضمنياً متى كان لديه معلومات مفيدة ومتى لم يكن. غياب التوصية كان بحد ذاته إشارة معايرة: النظام كان يقول للإنسان، "ليس لدي ما أضيفه هنا. ثق بحكمك."

مبدأ التصميم: واجهات معايرة الثقة يجب أن تعالج علاقة الإنسان بالنظام (وليس فقط ثقة النموذج)، وتحفظ الاستقلالية والقدرة المستقلة للإنسان، وتُشير حين يكون الذكاء الاصطناعي واثقاً وحين لا يكون.

ثلاثة متطلبات رسمية تنبع من هذا المبدأ. أولاً، معايرة الثقة يجب أن توفر إشارات موثوقية خارجية عن درجة ثقة النموذج الداخلية. النموذج الذي يبلّغ عن يقينه هو تقييم ذاتي، لا معايرة. الإشارات الخارجية تتضمن معدلات دقة تاريخية لمدخلات مماثلة، وشروط حدودية معروفة، وتحولات توزيع مُعلّمة. ثانياً، النظام يجب أن يسجل معدلات الخلاف بين الإنسان والذكاء الاصطناعي وأنماط التجاوز كجزء من تتبع معايرة الثقة، ممكّناً القياس المستمر لما إذا كانت الطبقة البشرية منخرطة فعلاً أو تخضع سلبياً. ثالثاً، النظام الذي يُعظّم دقة القرار بينما يُضعف قدرة الإنسان على الأداء المستقل خاطئ المعايرة بالتعريف. معايرة الثقة التي تنتج اعتمادية فشلت، بصرف النظر عن مقاييس أدائها قصيرة المدى.

6. المعمارية المتكاملة

المكوّنات الخمسة المذكورة أعلاه ليست قائمة مراجعة. إنها نظام مترابط. كل مكوّن يتطلب الآخرين ليعمل بشكل صحيح.

بوابات القرار تتطلب بروتوكولات التصعيد للتعامل مع الحالات التي لا تناسب معلمات البوابة العادية. بوابة التحقق من الأصول تعمل للتقديمات المعيارية، لكن ماذا يحدث حين يقع التقديم خارج توزيع تدريب النموذج؟ بدون بروتوكول تصعيد، البوابة إما تُمرّر حالة حدّية أو تحجبها دون تفسير. لا النتيجة مقبولة.

بروتوكولات التصعيد تتطلب هياكل مساءلة لتوجيه القرار المُصعّد إلى الإنسان الصحيح. تشخيص غير مؤكد مُصعّد من طبقة فرز الذكاء الاصطناعي يحتاج للوصول إلى متخصص لديه السلطة والكفاءة لاتخاذ القرار. بدون هيكل مساءلة محدد مسبقاً، التصعيد يخلق طابوراً لا قراراً.

هياكل المساءلة تتطلب آليات تجاوز لتكون قابلة للتنفيذ. إذا كان إنسان مُسمّى مسؤولاً عن قرار لكن لا يستطيع تشغيلياً تعديل مخرجات النظام، فالمساءلة اسمية. يتحمل المسؤولية دون امتلاك السلطة.

آليات التجاوز تتطلب واجهات معايرة الثقة لتُمارس بحكمة. إنسان لديه القدرة على التجاوز لكن بدون فهم معايَر لمتى يتجاوز إما لن يستخدم الآلية أبداً (تحيز الأتمتة) أو يستخدمها عشوائياً (نفور الخوارزمية). كلاهما يُضعف أداء النظام.

هيكل الاعتمادية هذا هو السبب في فشل التطبيق الجزئي. مؤسسة تُركّب بوابات قرار لكنها تتجاهل معايرة الثقة ستنتج موافقات روتينية. مؤسسة تبني آليات تجاوز لكنها تهمل هياكل المساءلة ستنتج تجاوزات لا يتحمل أحد مسؤوليتها. المعمارية قوية بقدر قوة أضعف مكوّناتها. المكوّنات الخمسة تشكل رسم اعتمادية، لا قائمة خيارات. إزالة أي مكوّن تكسر الضمانات التي توفرها المكوّنات الأخرى. المعمارية يجب أن تُصادق ككل. الامتثال على مستوى المكوّنات غير كافٍ.

description

متطلب هيكلي واحد يقع تحت المكوّنات الخمسة جميعها: طبقة استمرارية تسجل جميع تفاعلات الإنسان-الذكاء الاصطناعي، بما في ذلك توصية النظام وإجراء الإنسان والفارق بينهما والوقت المنقضي. بدون هذا التتبع، لا يمكن حساب مقاييس معايرة الثقة (RAIR وRSR)، ولا يمكن تحليل أنماط التجاوز، ولا يمكن تتبع المساءلة بعد الحدث. طبقة التسجيل ليست مكوّناً سادساً. إنها الركيزة التي تصبح عليها المكوّنات الخمسة الأخرى قابلة للقياس.

التقارب عبر الأطر التنظيمية يعزز هذه النقطة. المادة 14 من قانون الذكاء الاصطناعي للاتحاد الأوروبي تتطرق لجميع المكوّنات الخمسة في مادة واحدة. [3] إطار NIST AI RMF يوزعها عبر وظائفه الأربع: GOVERN (المساءلة)، MAP (التصعيد)، MEASURE (معايرة الثقة)، وMANAGE (بوابات القرار، التجاوزات). [11] معيار ISO 42001 يعالجها عبر البنود 5 (المساءلة)، 8 (العمليات، بوابات القرار، التجاوزات)، و9 (تقييم الأداء، معايرة الثقة). [9] المشهد التنظيمي يتقارب حول هذه المتطلبات الخمسة. العنصر الوحيد المفقود هو مواصفة موحدة تخبر البنّائين بكيفية تنفيذها كنظام متكامل.

هذه الورقة تقدم تلك المواصفة. الورقة 3 في هذه السلسلة ستُجعلها عملية في إطار تقييم وتسجيل: تدقيق الطبقة البشرية.

7. ما تُمكّنه هذه المعمارية

معمارية الطبقة البشرية ليست قيداً على قدرة الذكاء الاصطناعي. إنها البنية التحتية التي تجعل قدرة الذكاء الاصطناعي جديرة بالثقة بما يكفي للنشر على نطاق مؤسسي.

نظام مبني بجميع المكوّنات الخمسة يستطيع العمل في أسواق منظّمة دون الحاجة لتدقيق خارجي عند كل نقطة قرار، لأن التدقيق مدمج في المعمارية. يستطيع توسيع نطاق الحكم البشري دون توسيع عدد الموظفين، لأن بوابات القرار وبروتوكولات التصعيد وواجهات معايرة الثقة تضمن توجيه الاهتمام البشري حيث يضيف أكبر قيمة. يستطيع تحمّل التدقيق التنظيمي، لأن هياكل المساءلة وآليات التجاوز تخلق قابلية التتبع والتحكم التي يتطلبها المنظمون.

نظام مبني بدون هذه المكوّنات يمكن أن يعمل أيضاً. سيكون أسرع في البناء وأرخص في التشغيل وأسهل في الشرح على شريحة عرض. لكنه لن يكسب الثقة المؤسسية. لن يصمد أمام المراجعة التنظيمية. ولن يتفوق، لأن البحث المذكور عبر هذه السلسلة يُظهر باستمرار أن معمارية التعاون هي المتغير الذي يفصل التضخيم عن مجرد الأتمتة.

الأنظمة المخصصة للنشر المؤسسي في بيئات منظّمة أو معتمدة على الثقة يجب أن تُطبّق معمارية الطبقة البشرية أو توفر آلية مكافئة لبوابات القرار والتصعيد والمساءلة والتجاوز ومعايرة الثقة. غياب هذه المكوّنات ليس خياراً تصميمياً. إنه نقص هيكلي يتقارب التنظيم على حظره وسيعاقبه أداء السوق بصرف النظر.

المراجع

[1] Sheridan, T.B. وVerplank, W.L.، "التحكم البشري والحاسوبي في المشغّلات البحرية عن بعد"، مختبر أنظمة الإنسان-الآلة في MIT، 1978. تصنيف الأتمتة الأصلي من 10 مستويات.

[2] Parasuraman, R.، Sheridan, T.B.، وWickens, C.D.، "نموذج لأنواع ومستويات التفاعل البشري مع الأتمتة"، IEEE Transactions on Systems, Man, and Cybernetics, Part A، 30(3)، 286-297، 2000. وسّع إطار Sheridan-Verplank إلى أربعة أبعاد أتمتة مستقلة.

[3] الاتحاد الأوروبي، النظام (EU) 2024/1689، "قانون الذكاء الاصطناعي"، المادة 14 (الإشراف البشري). دخل حيز التنفيذ في 1 أغسطس 2024. قابل للتطبيق الكامل للأنظمة عالية المخاطر في 2 أغسطس 2027.

[4] Angelova, V.، Dobbie, W.، وYang, C.، "التوصيات الخوارزمية والتقدير البشري"، ورقة عمل NBER رقم 31747. وجد أن 90% من قضاة الكفالة كان أداؤهم أدنى من الخوارزمية في التجاوزات، لكن القضاة ذوي المهارة العالية تفوقوا في الدقة والعدالة العرقية معاً.

[5] Romeo, G. وConti, D.، "استكشاف تحيز الأتمتة في التعاون بين الإنسان والذكاء الاصطناعي: مراجعة وتداعيات على الذكاء الاصطناعي القابل للشرح"، AI & Society، Springer Nature، 2025. مراجعة منهجية لـ 35 دراسة (19,774 مشاركاً). وجد أن تحيز الأتمتة يؤثر على جميع المستخدمين بصرف النظر عن الخبرة؛ قابلية الشرح وحدها لا تخففه.

[6] Google DeepMind، نظام فحص أمراض الشبكية بالذكاء الاصطناعي المنشور في خدمة الصحة الوطنية البريطانية. فرز ثلاثي المستويات: طبيعي بوضوح، غير طبيعي بوضوح، غير مؤكد. آلية مراجعة مزدوجة للحالات غير المؤكدة.

[7] McLaughlin, B. وSpiess, J.، "الخوارزميات التكميلية"، كلية ستانفورد للدراسات العليا في الأعمال، 2025. توصيات الذكاء الاصطناعي الانتقائية تفوقت على كل من الأتمتة الكاملة والقرارات البشرية غير المساعدة.

[8] Kahn, L.، Probasco, E.S.، وKinoshita, R.، "سلامة الذكاء الاصطناعي وتحيز الأتمتة"، مركز الأمن والتكنولوجيا الناشئة، جامعة جورجتاون، نوفمبر 2024. دراسات حالة لفشل أتمتة AEGIS/USS Vincennes وصاروخ باتريوت.

[9] المنظمة الدولية للتوحيد القياسي، ISO/IEC 42001:2023، "تكنولوجيا المعلومات: الذكاء الاصطناعي: نظام الإدارة." أول معيار دولي لنظام إدارة الذكاء الاصطناعي.

[10] Frontiers in Big Data، "حول الغرض من التحكم البشري ذي المعنى في الذكاء الاصطناعي"، ديسمبر 2022. يميز بين المساءلة (معرفة لماذا كان القرار A بدل B) والمسؤولية (تتطلب إنساناً يمكن محاسبته).

[11] المعهد الوطني للمعايير والتكنولوجيا، "إطار إدارة مخاطر الذكاء الاصطناعي (AI RMF 1.0)"، NIST AI 100-1، يناير 2023. أربع وظائف أساسية: GOVERN، MAP، MEASURE، MANAGE.

[12] هيئة تطوير وسائط الاتصالات والمعلومات (IMDA)، سنغافورة، "إطار حوكمة الذكاء الاصطناعي النموذجي للذكاء الاصطناعي الوكيلي"، 2025. يعالج المساءلة في أنظمة الوكلاء الديناميكية حيث تنبثق الإجراءات من التفاعلات بدلاً من منطق ثابت.

[13] Kupfer, C. وآخرون، "تحيز الأتمتة في الإدارة العامة: منظور متعدد التخصصات من القانون وعلم النفس"، Government Information Quarterly، 2024. يجادل بأن متطلبات الإشراف البشري قد تكون غير كافية بسبب تحيز الأتمتة.

[14] Carnat, I.، "إنساني، إنساني جداً: مراعاة تحيز الأتمتة في النماذج اللغوية الكبيرة التوليدية"، SSRN، مارس 2025. يقترح وظائف الإجبار المعرفي كإجراءات مضادة على مستوى التصميم ضد تحيز الأتمتة.

[15] Schemmer, M. وآخرون، مقاييس الاعتماد المناسب (RAIR وRSR)، كما ورد في بحث عن أنظمة دعم القرار المبنية على الذكاء الاصطناعي، Taylor & Francis، 2025. يعرّف الاعتماد الإيجابي النسبي على الذكاء الاصطناعي والاعتماد الذاتي الإيجابي النسبي كمقياسين مزدوجين لمعايرة الثقة.

[16] Wu, S., Liu, Y., Ruan, M., Chen, S., وXie, X.Y.، "التعاون بين الإنسان والذكاء الاصطناعي التوليدي يعزز أداء المهام لكنه يقوّض الدافع الذاتي للإنسان"، Scientific Reports (Nature)، 15(1)، 15105، أبريل 2025.

[17] Elish, M.C.، "مناطق التجعّد الأخلاقية: قصص تحذيرية في تفاعل الإنسان-الروبوت"، Engaging Science, Technology, and Society، 5، 40-60، 2019. يقدم مفهوم المشغّلين البشر الذين يمتصون المسؤولية القانونية عن إخفاقات النظام المستقل التي لم يستطيعوا التحكم فيها فعلياً.

[18] Daugherty, Paul R. وWilson, H. James، "الإنسان + الآلة: إعادة تصوّر العمل في عصر الذكاء الاصطناعي"، Harvard Business Review Press، 2018 (طبعة محدّثة وموسّعة، 2024). بناء على بحث شمل 1,500 مؤسسة. وجد أن الشركات التي استخدمت الذكاء الاصطناعي للتضخيم حققت 3 أضعاف تحسن الأداء مقابل شركات الأتمتة فقط.

[19] Dell'Acqua, F., Ayoubi, C., Lifshitz, H., Sadun, R., Mollick, E.، وآخرون، "الزميل السيبراني: تجربة ميدانية عن الذكاء الاصطناعي التوليدي يعيد تشكيل العمل الجماعي والخبرة"، ورقة عمل كلية هارفارد للأعمال رقم 25-043، مارس 2025 (ورقة عمل NBER رقم w33641). تجربة ميدانية مسجلة مسبقاً مع 776 محترفاً في Procter & Gamble تؤكد تأثيرات التضخيم في سياق ما بعد GPT.

أحمد نور الدين هو المؤسس المشارك والرئيس التنفيذي في Timer، طبقة الذاكرة المؤسسية. أكثر من 25 عاماً في بناء أنظمة تضع البشر في مركز التكنولوجيا.

هذه الورقة 2 في سلسلة الطبقة البشرية، منشورة على ahmad.pt/research.

الورقة 1: الطبقة البشرية: لماذا البنية التحتية الأهم في الذكاء الاصطناعي ليست اصطناعية الورقة 3 (قادمة): تدقيق الطبقة البشرية: قياس المساءلة في أنظمة الذكاء الاصطناعي

كيفية الاستشهاد

DOI: https://doi.org/10.5281/zenodo.19120076
SSRN: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=6538259

@techreport{noureddine2026the2,
  title       = {The Human Layer Architecture: A Specification for Human-AI System Design},
  author      = {Noureddine, Ahmad},
  institution = {Timer},
  year        = {2026},
  doi         = {10.5281/zenodo.19120076},
  url         = {https://ahmad.pt/research/the-human-layer-architecture-a-specification-for-human-ai-system-design},
  note        = {The Human Layer Framework, Paper 2 of 5}
}