التكامل مع منصة البيانات
في هذه الصفحة 9 موضوعات
نص الدروس والتمارين باللغة الإنجليزية، بينما تبقى واجهة الموقع وعناوين الدروس بالعربية.
نظرة عامة
الموضوعات
- CDC
- Debezium
- معالجة التدفقات (stream processing)
- مسارات التحليلات
تعلّم أولًا
4 ساعة تدريب (تقدير)
مخرجات التعلم
- Capture changes from a legacy database with CDC (Debezium) without changing its code.
- Distinguish CDC events from domain events and translate between them.
- Build stream processing for enrichment and aggregation (Kafka Streams or Flink concepts).
- Feed analytics pipelines while respecting data ownership and privacy.
الدروس
- 01التكامل مع أنظمة لا يمكنك تغييرها
- 02التقاط تغييرات البيانات (Change data capture) باستخدام Debezium
- 03من أحداث CDC إلى أحداث النطاق (Domain events)
- 04مفاهيم معالجة التدفقات
- 05مسارات التحليلات وملكية البيانات
- 06عرض عملي: بث جدول المخزون في FulfillCo دون المساس بشيفرته
- 07عرض عملي: تصفية البيانات الشخصية من تدفق CDC
المختبر والتمارين
Lab
SRB-007-LAB1 · Stock sync
Outcomes: 1, 2, 3, 4 · Time: ~4 h
- Set up Debezium on a copy of FulfillCo's database with a table include list.
- Translate change events into the StockLevelChanged domain event.
- Consume it in Shop's inventory and measure end-to-end delay.
- Exclude personal data and record replication slot monitoring.
Acceptance: Shop sees stock changes within seconds; FulfillCo code unchanged.
Exercises
| ID | Outcome | Task |
|---|---|---|
| SRB-007-EX01 | 1 | List three constraints in capturing from legacy and the CDC mitigation for each. |
| SRB-007-EX02 | 1 | Describe monitoring for a PostgreSQL replication slot. |
| SRB-007-EX03 | 2 | Translate this row change (qty 12 to 9) into a domain event and explain what is unknown. |
| SRB-007-EX04 | 2 | Review a design that exposes the raw stock_levels topic to all teams. Write the critique. |
| SRB-007-EX05 | 3 | Design an aggregation of stock per warehouse per minute and state the late-event policy. |
| SRB-007-EX06 | 4 | Plan pushing stock data to analytics with personal data removed and deletion handled. |
أظهر الحلول
- EX01 No code change: log-based; load: reads WAL; ordering: transaction log order and source positions.
- EX02 Alert on retained WAL size and slot lag; plan for a stalled connector.
- EX03 StockLevelChanged with available 9; the reason is unknown unless more context; do not guess.
- EX04 Couples consumers to the schema, leaks columns, no owner; add a translation layer and a contract.
- EX05 Tumbling 1-minute windows with a grace period, late events dropped or counted separately.
- EX06 Source-side filter, data product contract, retention and deletion propagation, lineage.
Workplace evidence: a legacy integration you delivered with CDC or a similar technique.
الاختبار
Outcomes: O1 CDC · O2 CDC vs domain events · O3 stream processing · O4 analytics and ownership.
اختبار ذاتي لك: لا توجد درجات، ولا يُحفظ أو يُرسل أي شيء. اختر إجابة ثم تحقق منها، ويمكنك المحاولة مرة أخرى كما تشاء.
الجزء العملي
Integration design review of the lab's stock sync, including privacy controls. Pass: 70% on the quiz and a design with a translation layer and filtered personal data.
أخطاء شائعة
Exposing raw table changes as a public contract; CDC on tables with personal data without filtering.
التقييم
Integration design review.
دليل من بيئة العمل
A legacy integration you delivered with CDC or a similar technique.
الصلة بالمسار الوظيفي
Integration patterns (ARC-024) and data architecture (ARC-023).