ما ستتعلمه
أزور لمهندس البيانات
خدمات هندسة البيانات على Azure
تخزين البيانات على Azure
مصنع بيانات أزور (ADF)
بايثون
أباتشي سبارك
هندسة البيانات باستخدام Azure Databricks
هندسة بيانات النسيج من مايكروسوفت
التدريب العملي على سيناريوهات ADE في الوقت الحقيقي
المشاريع في الوقت الحقيقي
المكافآت
تتضمن الدورة
-
جلسات مدرسية مباشرة
-
مشاريع العالم الحقيقي
-
التوجيه المهني
-
شهادة الإنجاز
-
توقيتات مرنة
-
دعم الواتساب
أزور لمهندس البيانات
أساسيات الحوسبة السحابية
مقدمة إلى مايكروسوفت أزور
تطبيقات أزور
خدمات أزور
فهم البيانات
الخوادم المحلية مقابل الخوادم السحابية
أدوار ومهام مهندس بيانات Azure
عمليات هندسة البيانات
حالات الاستخدام للسحابة
خدمات هندسة البيانات على Azure
تخزين Azure Data Lake (ADLS) الجيل الثاني
تخزين Azure Blob
قاعدة بيانات Azure SQL
مصنع البيانات أزور
أحجار البيانات أزور
تحليلات أزور المشبك
نسيج مايكروسوفت
تخزين البيانات على Azure
مخازن الملفات
مخزن البيانات العلائقية
مخازن البيانات غير العلائقية
تخزين Azure Blob
قاعدة بيانات NoSQL وAzure Cosmos
تخزين Azure Blob
تخزين بحيرة بيانات أزور
لماذا بحيرة البيانات
بنية بحيرة البيانات
قاعدة بيانات أزور SQL
قاعدة بيانات Azure لـ MySQL
قاعدة بيانات Azure لـ MariaDB
قاعدة بيانات Azure لـ PostgreSQL
تحليلات أزور المشبك
مصنع بيانات أزور (ADF)
مقدمة إلى Azure Data Factory (ADF)
ETL مقابل ELT
أدوات محلية مقابل أدوات Cloud ETL
لماذا وحدة التغذية التلقائية للمستندات
مكونات وحدة التغذية التلقائية للمستندات
الخدمات المرتبطة في ADF
وقت تشغيل التكامل (IR): Azure، الاستضافة الذاتية، SSIS
خطوط الأنابيب والأنشطة: نسخ البيانات، والتحكم في التدفق، وتدفق البيانات
طرق استيعاب البيانات: التحميل الكامل، أداة نسخ البيانات، التحميل الدفعي، التحميل المتسلسل، التحميل التزايدي، مركز السيطرة على الأمراض
العمل مع سيناريوهات نسخ البيانات المختلفة
العمل مع قاعدة بيانات Azure SQL
العمل مع أنشطة التحكم في التدفق
العمل مع تحويلات تدفق البيانات
العمل مع المعلمات في ADF
خطوط الأنابيب SCD من النوع 1 و2
ترحيل بيانات ADF
جدولة وتشغيل خطوط الأنابيب
مراقبة خطوط الأنابيب
CI/CD في وحدة تغذية المستندات التلقائية (ADF).
مشاريع صندوق التنمية الزراعية
بايثون
المتغيرات
أنواع البيانات في بايثون
العوامل في بايثون: الحسابية والمنطقية والمقارنة
العمل مع السلاسل
الفهرسة
التقطيع
هياكل البيانات في بايثون: القائمة، الصفوف، المجموعات، القواميس
الوظائف: مدمجة، محددة من قبل المستخدم
بيانات التدفق الشرطي: إذا كان الشرط، أثناء الحلقة، للتكرار
وظيفة النطاق ().
رسم خريطة
فلتر
يقلل
تعبيرات لامدا
أباتشي سبارك
مقدمة إلى أباتشي سبارك
هادوب مقابل سبارك
فهم سبارك المعمارية
سياق الشرارة
واجهات برمجة تطبيقات سبارك
هياكل بيانات سبارك: RDDs، وإطارات البيانات، ومجموعات البيانات
إنشاء Spark RDDs
إنشاء Spark DataFrames
التحولات شرارة
إجراءات شرارة
تقييم كسول
التسامح مع الخطأ
معالجة الأعمدة: WithColumn، WithColumnRenamed
تقسيم البيانات باستخدام Partition By
قراءة وكتابة البيانات بمختلف التنسيقات
أوامر باي سبارك
شرارة SQL
التجميع حسب وتجميع الوظائف
وظائف النافذة
ينضم إلى PySpark
وظائف التاريخ
الوظائف الشرطية
التخزين المؤقت
تطور المخطط
داج
هندسة البيانات باستخدام Azure Databricks
مقدمة إلى Azure Databricks
Azure Databricks مقابل إصدار مجتمع Databricks
محرك وقت تشغيل Databricks
مكونات قوالب البيانات: مساحة العمل، الكتلة، الكتالوج، DBFS، الجداول، Hive Metastore
DBFS
العمل مع الملفات باستخدام DBUTILS
إنشاء الجداول: استخدام واجهة المستخدم، واستخدام أجهزة الكمبيوتر المحمولة
قراءة البيانات من ملفات مختلفة
كتابة البيانات بتنسيقات مختلفة
التصور في أجهزة الكمبيوتر المحمولة Databricks
دمج Azure Blob مع Databricks
دمج ADLS مع Databricks
التثبيت باستخدام مفاتيح الوصول
النطاقات السرية باستخدام Azure Key Vault
مدير الخدمة
رموز SAS
بحيرة الدلتا
إنشاء جداول دلتا: الجداول المُدارة، الجداول الخارجية
ليكهاوس
هندسة الميدالية: الطبقة البرونزية، الطبقة الفضية، الطبقة الذهبية
جدولة وظائف Databricks باستخدام خطوط أنابيب ADF
جداول دلتا المباشرة (DLT)
كتالوج الوحدة
هندسة بيانات النسيج من مايكروسوفت
مقدمة إلى نسيج مايكروسوفت
منصة تحليلات النسيج
نسيج وان ليك
مصنع بيانات النسيج: خطوط أنابيب البيانات، وتدفقات البيانات من الجيل الثاني، وتحويل البيانات، وتحميل البيانات إلى Lakehouse، ونسخ المهمة
إنشاء خط أنابيب في النسيج
تحويل البيانات باستخدام Dataflow Gen2
ADF لترحيل النسيج
هندسة بيانات المشبك النسيجي
دفاتر قماش
تحليل البيانات باستخدام Apache Spark
ليكهاوس
جداول دلتا
مستودع بيانات النسيج المشبك
إنشاء مستودع في النسيج
طرق تحميل البيانات إلى المستودع
إنشاء الجداول في المستودع
تحميل البيانات باستخدام الأمر COPY INTO
تحميل البيانات باستخدام خط الأنابيب إلى المستودع
تحميل البيانات باستخدام DataFlow Gen2
ليكهاوس مقابل المستودع
مايكروسوفت Power BI في النسيج
الوصول إلى البيانات باستخدام PBI Desktop
البحيرة المباشرة
الاستعلام المباشر
الأمان على مستوى الصف
الأمان على مستوى العمود
التدريب العملي على سيناريوهات ADE في الوقت الحقيقي
إنشاء خطوط أنابيب ETL/ELT في Azure Data Factory
العمل مع أنشطة التحكم في التدفق في خطوط أنابيب ADF
العمل مع تحويلات تدفق البيانات في خطوط أنابيب ADF
استيعاب مصادر ملفات متعددة باستخدام خطوط أنابيب ADF
استيعاب جداول SQL متعددة باستخدام خط أنابيب ADF
تنفيذ التحميل الدفعي والتحميل المتسلسل
التحميل المتزايد باستخدام تاريخ ووقت آخر تعديل
التحميل المتزايد وتغيير التقاط البيانات
خط أنابيب SCD1 في ADF
خط أنابيب SCD2 في ADF
سيناريوهات الملفات الفارغة
إجمالي عدد الملفات في المجلد
التحقق من صحة المخطط وبنية الملفات
نسخ البيانات من واجهات برمجة تطبيقات REST
إشعارات البريد الإلكتروني
تحليل البيانات باستخدام PySpark
تحليل البيانات باستخدام Spark SQL
تحليل بيانات ADLS من أجهزة الكمبيوتر المحمولة Databricks
مبدأ التركيب والخدمة
إنشاء جداول دلتا
ليكهاوس (ميدالية) الهندسة المعمارية
مصنع البيانات في النسيج
خطوط أنابيب النسيج
تدفقات بيانات النسيج Gen2 لتحويل البيانات
ليكهاوس في النسيج
مستودع في النسيج
تصور البيانات في Power BI
إنشاء لوحة المعلومات في Power BI
المشاريع في الوقت الحقيقي
مشروع ترحيل بيانات ADF (ترحيل بيانات خادم SQL المحلي إلى Azure)
التحميل المتزايد باستخدام تاريخ/وقت آخر تعديل
التحميل التزايدي باستخدام CDC
خط أنابيب SCD-2 في ADF
مشروع قوالب البيانات الشامل (هندسة الميدالية)
مشروع نسيج مايكروسوفت
مشروع الطاقة BI
المكافآت
أسئلة وأجوبة مقابلة ADE
مقابلات وهمية
المساعدة في التنسيب
دعم شهادة النسيج (DP700).
دعم شهادة Databricks
السيرة الذاتية / إعداد السيرة الذاتية
تحسين الملف الشخصي على LinkedIn
التقنيات المغطاة
مصنع البيانات أزور
طوب البيانات
تحليلات التشابك العصبي
SQL
الطاقة بي
تخزين أزور
الأسئلة المتداولة
نعم، تبدأ هذه الدورة من الأساسيات وتنتقل تدريجيًا إلى مفاهيم هندسة بيانات Azure المتقدمة.
نعم، سيعمل الطلاب على خطوط أنابيب ETL في العالم الحقيقي، وسير العمل السحابي، ومشاريع التحليلات.
تغطي الدورة التدريبية Azure Data Factory وAzure Databricks وADLS Gen2 وAzure Synapse Analytics وMicrosoft Fabric وPower BI وPySpark وSQL وDelta Lake.
نعم، تتضمن الدورة مفاهيم Microsoft Fabric مثل Fabric Data Factory وLakehouse وWarehouse وDataflows Gen2 وتكامل Power BI.
نعم، سيقوم الطلاب ببناء خطوط أنابيب ETL/ELT، والعمل مع تدفق التحكم، وتدفقات البيانات، والتحميل المتزايد، وCDC، وسيناريوهات الترحيل في الوقت الحقيقي في Azure Data Factory.
نعم، يتضمن البرنامج ترميز PySpark العملي، وSpark SQL، ودفاتر ملاحظات Databricks، وجداول Delta، وهندسة Medallion، ومشاريع Databricks الشاملة.
ليست هناك حاجة إلى خبرة سحابية سابقة. ستكون المعرفة الأساسية بقواعد البيانات أو البرمجة مفيدة ولكنها ليست إلزامية.
نعم، ستتم مشاركة تسجيلات الجلسة مع الطلاب المسجلين للمراجعة والممارسة.
نعم، يتضمن البرنامج مقابلات وهمية، وإعداد السيرة الذاتية، وتحسين الملف الشخصي على LinkedIn، ومناقشات أسئلة المقابلة.
نعم، سيتلقى الطلاب إرشادات بشأن شهادات Microsoft Fabric وDatabricks والشهادات ذات الصلة بـ Azure.
نعم، تتضمن الدورة التدريبية مشاريع واقعية مثل مسارات ترحيل ADF، ومشاريع هندسة Databricks Medallion، ولوحات معلومات Power BI.
