در این پروژه، شرکتکنندگان با پیادهسازی یک پروژه مهندسی داده بر بستر فناوریهای مدرن، با کل زنجیره جمعآوری، پردازش، ذخیرهسازی و تحلیل دادههای فروشگاهی آشنا میشوند. تمرکز دوره بر کار عملی با ابزارهای Apache Spark، HDFS، PostgreSQL و پیادهسازی pipeline های داده به دو صورت batch و stream است. دانشپذیران ضمن کسب مهارت در پردازش موازی دادههای حجیم و دادههای جریانی، توانایی ساخت مدل داده ستارهای (Star Schema) و انجام تحلیلهای تجاری را بهدست خواهند آورد.
پیش نیاز:
فراگیری دورههای مسیر یادگیری مهندس داده
مخاطبان دوره :
اهداف یادگیری :
آشنایی با معماری دادهمحور فروشگاههای آنلاین
پیادهسازی فرآیند ETL به دو شیوه batch و stream
طراحی مدل ستارهای (Star Schema) برای ذخیره دادهها
پردازش دادههای بزرگ با Apache Spark و Spark Structured Streaming