Парсинг і аналіз даних на Python: від азів до автоматизації

Центр digital-професій ITtensive пропонує персоналізовані програми з індивідуальними наставниками для освоєння актуальних професій майбутнього: аналітик даних на Python і програміст великих даних.

Курс складається з 4 великих частин.

1. Аналіз даних

Ви вивчіть роботу з імпортом, об’єднанням, перетворенням, фільтрацією даних на pandas, а також навчитеся передбачати тренди.

Ви зможете самостійно завантажувати дані в форматі CSV, TSV, Excel, витягувати з них значення, знаходити взаємозв’язки між різними наборами даних, перетворювати і усікати набори даних. У висновку ви освоїте математичний апарат лінійної регресії для пошуку лінійного зв’язку між даними і ефективно застосувати його для передбачення значень в майбутньому.

2. Парсинг даних

Ви вивчіть отримання даних в Python, використовуючи бібліотеку requests API і формати JSON і XML (включаючи SOAP).

Навчіться працювати з неструктурованими даними в HTML, збирати їх і перетворювати в фрейми даних.

Навчіться збирати дані цілком з сайту в кілька потоків: створите мультіпроцессного робота-павука.

На завершення встановіть SQLite і завантажте всі зібрані дані в базу, а також навчитеся вибирати з бази даних безпосередньо в фрейми даних.

3. Візуалізація даних

Ви вивчіть анатомію matplotlib і типи візуалізації різних даних: лінії, області, стовпці, кругові діаграми.

Навчіться візуалізувати залежності між даними і лінійну регресію за допомогою seaborn: побудуєте ящічковие і парні діаграми, діаграми розподілу.

Вивчіть візуалізацію часових (хронологічних) даних: ряди, ковзаючі середні, відхилення і “японські свічки”.

На завершення розберете роботу з гео-даними і побудова фонових картограм за кількома розділами даних, використовуючи geopandas.

4. Генерація звітів і автоматизація

У цьому курсі ви навчитеся створювати і перетворювати PDF документи, генерувати їх з HTML коду, використовуючи шаблонизатор, відправляти звіти по e-mail і автоматизувати роботу.

В курсі використовуються бібліотеки reportlab, pypdf2, pdfkit, jinja2, smtplib, email, binascii, io, а також бінарний файл wkhtmltopdf. Вирішуємо завдання по створенню PDF документа через полотно, розбору PDF документа, об’єднання PDF документів, створення HTML і PDF документів з HTML, шаблонізаціі HTML через jinja2, перетворенню бінарних даних в base64-кодування. У висновку розберемо відправку e-mail, включаючи HTML-листи і вкладені PDF звіти.