معلومة من بكرة
01الموديل عرف حاجة ماكانتش هتبقى موجودة يوم القرار.
ده شرح أصلي لأفكار الكتاب، مش ترجمة ولا نسخة منه. لو عجبك، اشتري الكتاب الأصلي.
مثال مصري — مش من الكتاب
طنطا، مكتب فرعي لشركة تمويل متناهي الصغر. وئام، ٢٨ سنة، محللة ائتمان بمرتب حوالي ١٤٠٠٠ جنيه. من شهرين فريق الداتا سلّم موديل جديد يتوقع مين هيسدّد، ودرجته في التقرير ٩٨٪. فرع طنطا كان أول فرع يوافق بيه لوحده، وخرج حوالي ٣٫٢ مليون جنيه لـ١٦٠ تاجر صغير. دلوقتي ربعهم متأخرين. وئام فتحت قايمة المدخلات. أقوى مدخل فيها عدد مكالمات التحصيل على الحساب، ودي مكالمات مابتبدأش غير لما العميل يتأخر. وكل عميل جديد قدامها خانته صفر.
شرح من الآخر
بص، موديل وئام ما اتعلمش مين بيسدّد. اتعلم مين بيتكلّموا عشان متأخر، وده رقم مش موجود يوم ما عميل جديد يقدّم، فخانته صفر والموديل يوافق. الكتاب بيسمّي ده تسريب، وخطورته إنه في الأغلب مابيبانش في التطوير، بيبان لما الموديل يقابل ناس حقيقية. ولو مدخل جديد لوحده قفّز الدرجة، ده وقت الشك مش الاحتفال، وأول حاجة تشوفها ميعاد ما بيتملى. وساعات مايبقاش عمود غلط خالص، ويبقى إن داتا ماشية مع الزمن اتقسمت عشوائي. والكاتبة بتعترف إنه وقع فيه باحثين هي بتقدّرهم، ومشروع من مشاريعها هي. والسؤال اللي بيكشفه بسيط: المدخل ده بيتملى إمتى؟
الأفكار المهمة
- تسريب الداتا (data leakage)
- أثر من الإجابة بيوصل للمدخلات وقت التدريب بس.
- خانة بعد القرار
- مدخل بيتملى بعد الموافقة، زي مكالمات التحصيل. مكانه التقرير، مش الموديل.
- التقسيم بالزمن
- درّب على الشهور الأقدم، واحكم على أحدث شهور ماشافهاش.
قبل ما تصدّق الـ٩٨٪
- 1كل مدخل بميعادهاتملى إمتى بالظبط؟
- 2اللي بعد القراريطلع من الموديل
- 3قفزة مفاجئة؟اسأل جت منين
- 4احسب تانيمن غير الخانات دي
أمثلة من الكتاب
أدوات الكورونا. خد أدوات كورونا اللي بتقرا الأشعة: واحدة ربطت خطورة الحالة بإن المريض اتصوّر نايم، وغيرها حفظ خط الكتابة بتاع المستشفيات اللي حالاتها أخطر. وفي مقال لـMIT Technology Review سنة ٢٠٢١، المئات اللي اتبنت ماطلعش منها ولا واحدة مفيدة فعلًا.
مسابقة Kaggle. أول مركزين في مسابقة على Kaggle سنة ٢٠٢٠ راحوا للفريقين اللي لقطوا إن الحالات اللي هيتحكم عليهم بيها متولّدة من داتا التدريب واستفادوا من ده، وإن كان الكتاب مش مستبعد إنهم كانوا هيكسبوا من غيره.
في التمويل متناهي الصغر، القرض بيخرج كاش في نفس الأسبوع، والتأخير مابيبانش غير بعد أول قسطين. يعني الـ٣٫٢ مليون تكون خرجت قبل ما حد يشك، وتحصيل قرض صغير متأخر بيكلّف زيارات ومكالمات.
الغلط الشائع
اللي هيخسر من شيل الخانة دي هو الفريق نفسه: درجته هتنزل من ٩٨٪ لرقم أقل قدام الإدارة. فماتستناش إنه يكتشفها لوحده. اتفق معاهم من الأول إن الرقم الأقل هنا هو الرقم الحقيقي، ومش هيتحسب عليهم.
اتغير إيه من وقت الكتاب؟
رأينا، مش من الكتاب
يعني حتى الرقم المنشور والمراجَع ممكن يكون مسرّب. بعد الكتاب بشهرين، باحثين اتنين من Princeton جمعوا ٢٢ مراجعة سابقة لأبحاث بتستخدم تعلّم الآلة، فطلع تسريب في ٢٩٤ بحث منشور على الأقل، في ١٧ مجال. وهما نفسهم بيقولوا إن العدد ده حد أدنى، مش حصر كامل. وفي العلوم السياسية راجعوا ١٢ بحث بيتوقع الحروب الأهلية: الأربعة اللي قالوا إن الموديلات المعقدة غلبت الطريقة الإحصائية القديمة (الانحدار) كان فيهم أخطاء، ولما اتصلحت ماطلعتش أحسن بفرق يستاهل.
اسأل فريقك
«أنهي مدخل في الموديل ده مش هيبقى موجود يوم ما نوافق على عميل جديد؟» اطلب الإجابة في جدول: اسم المدخل، وبيتملى إمتى في رحلة القرض، يوم التقديم ولا بعد أول قسط، وجنبه اسم اللي راجعه.
الفخ
تسحب داتا التدريب من الـCRM، سيستم العملا، زي ما هو النهارده. عميل اتوافق عليه من سنة، وسدّد ٨ شهور وبعدين اتأخر، هيبان كأن عليه ٦ مكالمات تحصيل يوم الموافقة. اطلب الداتا زي ما كانت يوم الموافقة، مش النسخة الحالية.
من الآخر
الرقم اللي ينزل بعد شيل الخانة هو الحقيقي.
اسأل عن كل مدخل: بيتملى قبل القرار ولا بعده؟
خد الداتا زي ما كانت يوم الموافقة.
جرّبها بكرة
خد قايمة مدخلات موديل واحد بتعتمد عليه، ولو مش معاك اطلبها من الفريق النهارده. اكتب جنب كل مدخل: بيتملى قبل القرار ولا بعده. ده سطر ١ في المحضر.
