المقاييس العامة مقابل تقييماتك الخاصة
في هذا الدرس 4 موضوعات
هذا الدرس مخطط له. يعرض المخطط أدناه الموضوعات التي سيغطيها، ولم يُنشر الدرس الكامل بعد.
نص الدروس والتمارين باللغة الإنجليزية، بينما تبقى واجهة الموقع وعناوين الدروس بالعربية.
في هذا الدرس
explain why public benchmarks are not enough and describe a task-specific evaluation set.
الموضوعات المخطط لها
- Public benchmarks test general skills on public tasks; your tasks, data, language, and tone differ, and models may have seen benchmark content.
- Rank on a leaderboard does not predict your result on your questions or your cost and latency.
- Build an evaluation set from real cases: questions, expected answers or criteria, and tricky cases (edge, out-of-scope, adversarial).
- Score with a rubric: correct, grounded in sources, safe, appropriate tone; use human review and, where trusted, a model as judge, spot-checked by humans.
- Version the set, keep it private, and rerun it when models or prompts change.
تفاصيل المخطط المبدئي
عرض عملي
an evaluation record: id, question, source documents, expected answer or rubric, category (order status, returns policy, out-of-scope), difficulty, pass criteria.
اختبر فهمك
Why is a leaderboard rank not enough?
أظهر الإجابة
It measures general public tasks, not your questions, data, cost, or latency.
التطبيق
طبّق هذا الدرس بمختبر الوحدة وتمارينها واختبارها.
تعليم الدرس كمكتمل اختياري ويمكنك التراجع عنه في أي وقت. يبقى تقدمك محفوظًا في هذا المتصفح.