مهندس داده

Data Specializations01

Data Specializations02

What Is Data Engineering

Evolution of the Data Engineer

Data Engineering Lifecycle

Server, Data Center, OS, Storage

Raid Partition File System

OS, Firewall

Service, Application, API

Request Jurny, Virtualization

Structure and unstructure, Database, Pipline, Data Engineering Tools

Data Engineering Skills

کلیات حل مساله

ساختار الگوریتم ها

دستورات شرطی

حلقه و تکرار

حل چند مساله

فلوچارت

تابع نویسی

متغیرهای محلی

ساخت رشته

کنترل نحوه نمایش

لیست ها

توابع کار با لیست

تاپل ها

دیکشنری و مجموعه

ساختار شرطی

حلقه ها

حلقه در ساختارهای داده

رسم اشکال هندسی(حل تمرین)

مثلث خیام پاسکال(حل تمرین)

شی گرایی 1

شی گرایی 2

کار با فایل

آشنایی با انواع خطا

مدیریت استثنا1

مدیریت استثنا2

استثنا(حل تمرین)

ویروس و آنتی ویروس

توضیحات محیط و نصب

عملگرهای ریاضی

عملگرهای شرطی، منطقی و بیتی

رسم نمودار گرافیکی

رسم نمودارهای آماری

توابع لامبدا و رسم سری ریمان(حل تمرین)

آرایه های چند بعدی در Numpy

اعمال توابع در Numpy

آمار و احتمالات در Numpy

فکر بکر 1(حل تمرین)

فکر بکر 2(حل تمرین)

دیتافریم در Pandas

گروه بندی داده ها در Pandas

Introduction to Networks

The Open Systems Interconnection (OSI) Reference Model

Networking Connectors and Wiring Standards

The Current Ethernet Specifications

Networking Devices

Introduction to the Internet Protocol

IP Addressing

IP Subnetting, Troubleshooting IP, and Introduction to NAT

Introduction to IP Routing

Routing Protocols

Switching and Virtual LANs

simulator with packet tracer

Wireless Networking

Remote Network Access

Using Statistics and Sensors to Ensure Network Availability

Using Statistics and Sensors to Ensure Network Availability

Organizational Documents and Policies

High Availability and Disaster Recovery

Data Center Architecture and Cloud Concepts

Network Troubleshooting Methodology

Network Software Tools and Commands

Network Security Concepts

Common Types of Attacks

simulator with packet tracer Part 1

simulator with packet tracer Part 2

simulator with packet tracer Part 3

simulator with packet tracer Part 4

simulator with packet tracer Part 5

آشنایی با لینوکس، نرم افزار آزاد و LPIC

نصب لینوکس

آشنایی با مفاهیم اولیه خط فرمان

آشنایی با انواع دستور

subshell، history و man

آشنایی با nano

آشنایی با vim پارت ۱

آشنایی با vim پارت ۲

آشنایی با emacs

مشاهده و پردازش فایل ها

پردازش فایل ها

regular expression‌ و grep

استفاده از pipes‌ و redirections

redirection

حل تمرین فصل دوم

آشنایی با package manager

آشنایی با dpkg

آشنایی با apt-get

آشنایی با apt-cache

نصب fedora linux

آشنایی با RPM

آشنایی با yum و dnf و zypper

مدیریت library ها

مدیریت فرآیندها

multi plexing با screen

multi plexing با tmux

آشنایی با background process ها و nohup

آشنایی با nice, renice process priority

آشنایی با سیگنال ها در نرم افزار ها ۱

آشنایی با سیگنال ها در نرم افزار ها ۲

kill alternative

حل تمرین فصل سوم

آشنایی با firmware ها و bootLoader(BIOS,UEFI)

آشنایی با hardware interfaces‌ و proc/ و dev/

آشنایی با /sys و دستورات مشاهده سخت افزار

آشنایی با kernel models

آشنایی با تایپ های block devices

پارتیشن بندی با parted,gdiskو fdisk

مدیریت file system ها در لینوکس و مقایسه آنها

ابزار های مدیریت دیسک لینوکس

LVM‌ در لینوکس

udev , multi path‌ و RAID

حل تمرین فصل چهارم

مدیریت فایل ها

فشرده سازی فایل ها

آرکایو دیتا با CPIO و tar

incremental backup

backup و copy‌ بیتی با dd

مدیریت لینک ها

مدیریت دسترسی ها و مالکیت فایل ها

sticky permission و مدیریت پیشرفته ی دسترسی ها

آشنایی با FHS

جست و جوی فایل ها در لینوکس

حل تمرین فصل پنجم

مدیریت boot لینوکس و شناسایی log‌های آن

آشنایی با systemd پارت ۱

آشنایی با systemd پارت ۲

حل تمرین فصل ششم

آشنایی با محیط کاربری لینوکس

remote desktop‌ در لینوکس

محلی سازی لینوکس

حل تمرین فصل هفتم

مدیریت کاربران و گروه ها در لینوکس

مدیریت ایمیل در لینوکس

مدیریت لاگ ها در لینوکس پارت ۱

مدیریت لاگ ها در لینوکس پارت ۲

مدیریت time‌ و ntp در لینوکس

حل تمرین فصل هشتم

مدیریت کاربران و گروه ها در لینوکس

مدیریت ایمیل در لینوکس

مدیریت لاگ ها در لینوکس پارت ۱

مدیریت لاگ ها در لینوکس پارت ۲

مدیریت time‌ و ntp در لینوکس

حل تمرین فصل هشتم

مدیریت شبکه در لینوکس

مدیریت پیشرفته شبکه در لینوکس پارت ۱

مدیریت پیشرفته شبکه در لینوکس پارت ۲

bonding

آشنایی با OSI و TCPIP مدل در شبکه

network troubleshooting‌ پارت۱

network troubleshooting‌ پارت۲

حل تمرین فصل نهم

shell scripting conditions پارت ۱

shell scripting conditions پارت ۲

محاسبات و حلقه ها در bash

functions و clockwork

حل تمرین فصل دهم

مدیریت امنیت شبکه لینوکس

مدیریت پیشرفته امنیت شبکه لینوکس

مدیریت امنیت لینوکس

آشنایی با رمز نگاری و ارتباط SSH

رمزنگاری فایل ها با GPG

حل تمرین فصل یازدهم

معرفی کانتینر قسمت اول

معرفی کانتینر قسمت دوم

معرفی کانتینر قسمت سوم و آشنایی با ایمیج

معرفی ایمیج و ephemeral storage

آشنایی اولیه داکر

پایان فصل اول

معرفی داکر

شروع با کانتینر قسمت اول

شروع با کانتینر قسمت دوم

شروع با کانتینر قسمت سوم

شروع با کانتینر قسمت چهارم

دسترسی کاربران به داکر

آشنایی با داکر فایل

آشنایی ابتدایی با داکر بیلد

مثال برای بیلد یک اپلیکیشن با golang

بهینه‌سازی بیلد

مثال multistage

buildkit , Dockerfile ref

استوریج و والیوم

bind mount TempFS و جمع بندی استوریج مقدماتی

مفاهیم اولیه نتورک در داکر - قسمت اول

مفاهیم اولیه نتورک در داکر - قسمت دوم

مفاهیم اولیه نتورک در داکر - قسمت سوم

مفاهیم اولیه نتورک در داکر - قسمت چهارم (پابلیش)

مفاهیم اولیه declarevie

آشنایی با داکر کامپوز

مثال عملی داکر کامپوز

جمع بندی داکر کامپوز

راه اندازی container registry با docker compose

آشنایی با مفاهیم orchestrator

raft

کلاستر swarm و آشنایی با service

راه اندازی کلاستر swarm

اجرای یک سرویس

Rolling Update

Routing Mesh

Overlay

Secret & Config

Docker Stack

سناریو پایانی (امتحان)

آشنایی با پایگاه‌داده

آشنایی با نرمال‌سازی پایگاه داده

نصب SQL Server و SSMS

آشنایی با محیط SSMS

دستورات مقدماتی SQL

اعمال چندین شرط بر روی ستون‌های متنی و تاریخ

شرط بر روی مقادیر ناموجود

آشنایی با جداول و مقادیر منحصربه‌فرد

آشنایی و استفاده از جا نگهدارها

توابع متنی در SQL

توابع تاریخ در SQL

توابع عددی در SQL

انواع داده در SQL

آشنایی با sub Query

آشنایی با مفهموم Join در SQL

پیاده سازی Joing در SQL

ساخت جداول و دیتابیس در SQL

کلید اصلی و خارجی

ویرایش و حذف جداول و دیتای آن‌ها

درج داده در جداول و به‌روزرسانی داده‌ها

انتقال و استخراج داده از SQL Server به فایل

CROSS JOIN و اپراتور APPLY در SQL

توابع تجمیعی در SQL

برخی کوئری‌های تحلیلی

شرط بر روی خروجی Group By

مروری بر شرط HAVING با دیتابیس جدید

ساخت و تغییر View

استفاده از شرط در SELECT

متغیرها و کنترل جریان اجرای کوئری

ساخت جدول تاریخ با استفاده از حلقه WHILE

جداول موقت و CTE در SQL

اپراتورهای مجموعه‌ای در SQL

کوئری Merge برای مقایسه جداول

آشنایی با توابع پنجره‌ایی (window function)

توابع پنجره‌ای و Rank برای شناسایی مشتریان برتر

توابع Log , Lead و کاربرد آن‌ها

تابع ntile و الگوریتم RFM

ساخت روال ذخیره شده و تابع

ساخت job و زمانبندی اجرای job

مروری بر ایجاد دسترسی

مقدمه‌ای بر بهبود عملکرد با Index

ساخت schema

Data types_1

Data types_2

Data types_3

Data types_4

Database types

columnar concept

database concept_1

database concept_2

CDC

OLTP- OLAP_1

OLTP- OLAP_2

data warehouse

data source, ETL, Storage

data warehouse storage, Data Mart

BI_1

BI, schema on read-write

scaling types

Data Lake

data lake vs warehouse

the importance of datalake

performance of ETL

Data lakehouse

Data Mesh-Data Fabric

ecosystem and monitoring datalake

logging in datalake

security in datalake

processing types

HA-replication

some concepts

5v

Distributed Processing Challenges(1)

Distributed Processing Challenges(2)

Hadoop core

معماری کلی DBMS

Storage Organization

Buffer Pool Manager

Operator

تاریخچه دیتابیس

OlAP Architecture

OLAP StorageFormats

Query Optimization

Query Optimization

Apache Cassandra Overview

Data Model Introduction

Data Partitoning

نحوه ذخیره سازی داده ها در Cassandra

sstable compaction

ClickHouse Architecture

ClickHouse Storage Layer

پیاده‌سازی عملی با استفاده از ClickHouse

مقدمه ای بر کلان داده - بخش اول

مقدمه ای بر کلان داده - بخش دوم

volume , velocity در کلان داده چه هستند؟

veracity , variety در کلان داده چه هستند؟

مقدمه ای بر پایگاه داده های SQL و NoSQL

آشنایی با پایگاه داده توزیع یافته

داکر - مقدمات و آشنایی

داکر - معماری و ساختار کلی

داکر - نصب و کارکرد عملی

داکر - مباحث تکمیلی داکر

مقدمه ای بر هدوپ

نحوه نصب هدوپ توسط داکر

آشنایی با HDFS و نحوه عملکرد آن

مفهوم HDFS - توضیحات تکمیلی

دستورات HDFS و اجرای آنها

آشنایی با Map Reduce و نحوه عملکرد آن

مفهوم Map Reduce - توضیحات تکمیلی

اجرای عملی عملکرد Map Reduce - بخش اول

اجرای عملی عملکرد Map Reduce - بخش دوم

توضیح و بررسی سورس کد Map Reduce

مقدمات توضیح مسئله شمارش فروش

Apache yarn چیست؟

Apache hive - ابزار شبیه ساز SQL بر بستر هدوپ

Apache pig چیست؟

Apache hive - کار با ابزار hive

آشنایی با Hbase

نصب Hbase توسط داکر

نحوه اتصال پایتون به Hbase

معرفی Apache mahout - ابزار یادگیری ماشین در اکوسیستم هدوپ

توضیح تمرین map reduce با استفاده از hadoop streaming

آشنایی با Hadoop Streaming و حل مساله عملی با استفاده از Map Reduce به زبان پایتون

آشنایی با Spark - بخش اول

آشنایی با Spark - بخش دوم

معرفی Scala

معرفی Scala آموزش Scala - بخش اول

آموزش Scala - بخش دوم

مقدمه

آموزش PySpark - قسمت اول

آموزش PySpark - قسمت دوم

آموزش SparkSQL

استراتژی برخورد با مقادیرnull و کار بار داده های زمانی

جمع بندی spark SQL و تست داده های سهام شرکت apple

یادگیری ماشین (Mllib) - مقدمه

حل یک مسئله ی رگرسیون با استفاده از MLlib

ادامه آموزش رگرسیون با استفاده از MLlib

آموزش طبقه بندی با استفاده از MLlib

آموزش خوشه بندی با استفاده از MLlib

حل یک مسئله ی پیش بینی جرم با استفاده از PySpark - جلسه اول

حل یک مسئله ی پیش بینی جرم با استفاده از PySpark - جلسه دوم

Spark GraphX چیست؟

آشنایی اولیه

کار با فایل local

کار با فایل در NameNode

کار با سوکت

نحوه ارتباط با Apache Kafka

مقدمات اولیه پروژه پایانی درس

معرفی متدولوژی های توسعه نرم افزار

چرخه عمر DevOps

طریقه پیاده سازی Gitflow

نصب و راه‌اندازی گیت‌لب

پایپ‌لاین CI/CD

راه‌اندازی گیت‌لب رانر

سامانه ارزیابی کیفیت کد(سونار‌کیوب)

داکر

مدیریت خط تولید

مثال عملی

ارزیابی کیفیت کد پروژه یادگیری ماشین در پایپ لاین 01

ارزیابی کیفیت کد پروژه یادگیری ماشین در پایپ لاین 02

پروژه مسیر کارشناس مهندسی داده

پروژه مسیر کارشناس مهندسی داده بخش دوم