تقييم الاسترجاع منفصلًا عن التوليد
في هذا الدرس 4 موضوعات
هذا الدرس مخطط له. يعرض المخطط أدناه الموضوعات التي سيغطيها، ولم يُنشر الدرس الكامل بعد.
نص الدروس والتمارين باللغة الإنجليزية، بينما تبقى واجهة الموقع وعناوين الدروس بالعربية.
في هذا الدرس
measure retrieval quality apart from answer quality.
الموضوعات المخطط لها
- Two stages, two questions: did we retrieve the right chunk? Did the model use it correctly?
- Build a question set with the expected article or chunk for each question.
- Retrieval metrics: recall@k (the right chunk is in the top k) and, optionally, rank of the first right chunk.
- Check retrieval first: if recall is low, no prompt change will help.
- Fluent answers prove nothing; judge by sources and the expected content (answer evaluation is covered in MID-070).
تفاصيل المخطط المبدئي
عرض عملي
table: 30 questions, recall@4 = 27/30 = 0.90; the 3 misses listed with their cause (wrong language, chunk too large, missing synonym).
اختبر فهمك
Why measure retrieval separately?
أظهر الإجابة
To find whether failures come from search or from generation, and fix the right layer.
التطبيق
طبّق هذا الدرس بمختبر الوحدة وتمارينها واختبارها.
تعليم الدرس كمكتمل اختياري ويمكنك التراجع عنه في أي وقت. يبقى تقدمك محفوظًا في هذا المتصفح.