توجيه النماذج والتخزين المؤقت والبث (streaming)
في هذا الدرس 4 موضوعات
هذا الدرس مخطط له. يعرض المخطط أدناه الموضوعات التي سيغطيها، ولم يُنشر الدرس الكامل بعد.
نص الدروس والتمارين باللغة الإنجليزية، بينما تبقى واجهة الموقع وعناوين الدروس بالعربية.
في هذا الدرس
use routing, caching, streaming, and request shaping to hit targets.
الموضوعات المخطط لها
- Routing: send easy requests to a smaller, cheaper model and hard ones to a larger one; measure quality per route.
- Caching: exact-match and semantic caches for repeated questions; mind freshness and privacy.
- Streaming: improves perceived latency by showing partial output early.
- Request shaping: shorter prompts, limited context, output limits, batching, and rate-limit-aware queues.
تفاصيل المخطط المبدئي
عرض عملي
a routing rule: order-status questions go to the small model with a data lookup; refund disputes go to the larger model.
اختبر فهمك
What must you measure when you route to a cheaper model?
أظهر الإجابة
Quality on the evaluation set, not just cost.
التطبيق
طبّق هذا الدرس بمختبر الوحدة وتمارينها واختبارها.
تعليم الدرس كمكتمل اختياري ويمكنك التراجع عنه في أي وقت. يبقى تقدمك محفوظًا في هذا المتصفح.