آنالیز کلان داده (Big Data) با پایتون و اسپارک

با توسعه تکنولوژی و افزایش بی وقفه داده ها و اطلاعات، مفهومی به نام کلان داده یا Big-Data به وجود آمد که شامل داده های بزرگ و پیچیده می­شود و برای پردازش این نوع داده های مهم، باید از روش های جدیدی استفاده شود. در سال های گذشته، ابزار هایی برای کار با این نوع داده­های بزرگ معرفی شدند

توضیحات

درصد پیشرفت دوره: % 88
فارسی
13:23
غیر حضوری
پایتون
23 فروردین 1402
70 قسمت
از طریق ارسال تیکت
آنلاین
پیشرفته

آنالیز کلان داده (Big Data) با پایتون و اسپارک

با توسعه تکنولوژی و افزایش بی وقفه داده ها و اطلاعات، مفهومی به نام کلان داده یا Big-Data به وجود آمد که شامل داده های بزرگ و پیچیده می­شود و برای پردازش این نوع داده های مهم، باید از روش های جدیدی استفاده شود. در سال های گذشته، ابزار هایی برای کار با این نوع داده­های بزرگ معرفی شدند که یکی از بهترین های آن، موتور Apache Spark می­باشد که یک موتور چند زبانه برای اجرای پردازش های علم داده و یادگیری ماشین بر روی داده های کلان است. با استفاده از این موتور پردازش دیتای قدرتمند و زبان بسیار محبوب پایتون، به PySpark می­رسیم که یک API پایتون برای موتور Apache Spark است. این API یک چارچوب یا فریم ورک قدرتمند و دارای مجموعه ای از کتابخانه ها برای پردازش داده ها در مقیاس بزرگ و در حالت real-time یا لحظه­ای است. در این دوره مفاهیم کار با کلان داده ها و پردازش آن­ها از سطح مبتدی تا پیشرفته و با رویکردی پروژه محور مورد بررسی قرار گرفته است. دوره­ی پیش رو، متشکل از چهار فصل اصلی شامل مفاهیم مقدماتی داده ها، کار با اسپارک و پایتون مقدماتی، اسپارک پیشرفته و پردازش کلان داده با روش های یادگیری ماشین می­باشد که این مطالب در قالب پروژه های واقعی مورد بررسی قرار خواهند گرفت.

برای توضیحات بیشتر در رابطه با این دوره، لطفا ویدئوی معرفی دوره را مشاهده نمایید.

سرفصل های دوره:

فصل1 : مفاهیم مقدماتی کلان داده و اسپارک

فصل2: اسپارک و پایتون مقدماتی

فصل3: اسپارک پیشرفته

فصل4: بیگ دیتا و یادگیری ماشین

پیش نیاز دوره : تسلط به زبان پایتون

قسمت اول

معرفی دوره

رایگان
قسمت دوم

توضیح سرفصل ها و نقشه راه دوره

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت سوم

فصل اول - مفاهیم مقدماتی کلان داده و اسپارک - مقدمه ای بر Big Data

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت چهارم

مقدمه ای بر Big Data - جلسه 2

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت پنجم

آشنایی با اسپارک و هدوپ

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت ششم

مولفه های اصلی اسپارک

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت هفتم

اکوسیستم اسپارک

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت هشتم

مفاهیم MapReduce و HDFS و DAG

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت نهم

معرفی محیط های Anaconda و Google Colab

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت دهم

راه اندازی اسپارک بر روی Anaconda

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت یازدهم

راه اندازی اسپارک بر روی Google Colab

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت دوازدهم

فصل دوم - مفاهیم مقدماتی و شروع کار با اسپارک

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت سیزدهم

مقایسه اسپارک 2 و اسپارک 3

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت چهاردهم

آشنایی با RDD

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت پانزدهم

آشنایی با مفاهیم Dataset و Data Frame

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت شانزدهم

دیتاست فیلم و پروژه امتیاز دهی فیلم های سینمایی

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت هفدهم

پروژه امتیاز دهی فیلم سینمایی - جلسه 2

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت هجدهم

پروژه میانگین سنی دوستان - جلسه 1

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت نوزدهم

پروژه میانگین سنی دوستان - جلسه 2

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت بیستم

پروژه هواشناسی - جلسه 1

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت بیست و یکم

پروژه هواشناسی- جلسه 2

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت بیست و دوم

پروژه آنالیز متن کتاب - جلسه 1 (استفاده از Flat Map)

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت بیست و سوم

پروژه آنالیز متن کتاب - جلسه 2 (استفاده از RegEx)

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت بیست و چهارم

پروژه آنالیز متن کتاب - جلسه 3

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت بیست و پنجم

پروژه هزینه های مشتریان - جلسه 1

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت بیست و ششم

پروژه هزینه های مشتریان - جلسه 2

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت بیست و هفتدم

معرفی Spark SQL و Data Frame

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت بیست و هشتم

کار با Spark SQL و Data Frame

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت بیست و نهم

پروژه Spark SQL - جلسه 1

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت سی ام

پروژه Spark SQL - جلسه 2

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت سی و یکم

عملگرهای Data Frame

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت سی و دوم

کار با توابع groupby و aggregate

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت سی و سوم

پروژه ی کار با داده های مفقود (Missing Data) - جلسه 1

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت سی و چهارم

پروژه ی کار با داده های مفقود (Missing Data) - جلسه 2

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت سی و پنجم

کار با تاریخ و ساعت در بیگ دیتا

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت سی و ششم

مثال دیتافریم - پروژه آنالیز داده های مالی - جلسه 1

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت سی و هفتم

مثال دیتافریم - پروژه آنالیز داده های مالی - جلسه 2

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت سی و هشتم

مثال دیتافریم - پروژه شمارش حروف

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت سی و نهم

مثال دیتافریم - پروژه هواشناسی

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت چهل ام

مثال دیتافریم - پروژه مجموع هزینه کرد مشتریان

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت چهل و یک

فصل سوم - اسپارک پیشرفته

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت چهل و دوم

دیتا فریم فیلم های سینمایی - پروژه محبوب تریم فیلم

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت چهل و سوم

پروژه پیدا کردن فیلم ها - جلسه 1

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت چهل و چهارم

پروژه پیدا کردن فیلم ها - جلسه 2

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت چهل و پنجم

پروژه ابر قهرمان ها - جلسه 1

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت چهل و ششم

پروژه ابر قهرمان ها - جلسه 2

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت چهل و هفتم

الگوریتم فیلتر مشارکتی مبتنی بر آیتم

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت چهل و هشتم

پروژه پیدا کردن فیلم های مشابه - جلسه 1

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت چهل و نهم

پروژه پیدا کردن فیلم های مشابه - جلسه 2

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت پنجاه ام

پروژه پیدا کردن فیلم های مشابه - جلسه 3

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت پنجاه و یکم

الگوریتم Breadth first search (جستجوی سطح اول)

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت پنجاه و دوم

پروژه DOS - جلسه 1

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت پنجاه و سوم

پروژه DOS - جلسه 2

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت پانجاه و چهارم

پروژه DOS - جلسه 3

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت پنجاه و پنجم

فصل چهارم - اسپارک و یادگیری ماشین

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت پنجاه و ششم

مقدمه ای بر یادگیری ماشین (Machine Learning)

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت پنجاه و هفتم

معرفی MLlib در اسپارک

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت پنجاه و هشتم

آشنایی با رگرسیون خطی

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت پنجاه و نهم

ارزیابی و صحت سنجی مدل های پیش بینی

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت شصتم

بررسی Documentation رگرسیون خطی در PySpark

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت شصت و یکم

مثال رگرسیون خطی - پروژه آنالیز فروشگاه اینترنتی - جلسه 1

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت شصت و دوم

مثال رگرسیون خطی - پروژه آنالیز فروشگاه اینترنتی - جلسه 2

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت شصت و سوم

پروژه شرکت کشتی سازی - جلسه 1

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت شصت و چهارم

پروژه شرکت کشتی سازی - جلسه 2

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت شصت و پنجاهم

آشنایی با الگوریتم های درخت تصمیم و جنگل تصادفی

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت شصت و ششم

بررسی Documentation الگوریتم های درخت تصمیم و جنگل تصادفی

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت شصت و هفتم

الگوریتم GBT

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت شصت و هشتم

پروژه آنالیز کالج ها - جلسه 1

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت شصت و نهم

پروژه آنالیز کالج ها - جلسه 2

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.
قسمت هفتادم

پروژه ترکیبات مواد غذایی

خصوصی
محتوای این درس فقط به خریداران نمایش داده میشود . برای دسترسی کامل به محتوای دوره آن را خریداری کنید.

مدرسان دوره

میلاد
میلاد

میلاد فارغ التحصیل رشته ی علوم کامپیوتر مدرس سایت پارسا تک و موسس piwebs.ir میباشد

نظرات

سوالات و نظراتتون رو با ما به اشتراک بذارید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

شما شاید این را هم دوست داشته باشید

محصولات مشابه

   همین الان ثبت نام کن