ЛР / ЛР1 / Лабораторная работа 1

Лабораторная работа №1 Предварительный анализ данных

Цель работы: осуществить предварительную обработку данных csv-файла, выявить и устранить проблемы в этих данных.

Краткий теоретический материал

Подготовка данных для анализа называется предобработкой. Аналитик ищет проблемы в данных, оценивает их масштаб и пробует устранить.

Сложности с данными бывают двух видов:

•данные содержат мусор;

•данные корректны, но представлены в такой форме, что малопригодны для анализа.

Принцип GIGO означает буквально «мусор на входе — мусор на выходе (от англ. garbage in — garbage out,»), то есть данные должны быть обработаны.

Какие ошибки могут быть:

-некорректные названия столбцов

-дубликаты в данных

-скрытые повторы (например, одна и та же категория может быть записана по-разному – Фильм или movie, либо семья и СЕМЬЯ).

-пропуски значений

-аномалии (данные, которые не отражают действительность), например отрицательный возраст

-несоответствие типов данных действительности

-и другие.

Некорректные имена столбцов могут содержать:

-Пробелы в названиях (Как и в именах переменных, названия столбцов лучше писать без пробелов, в «змеином_регистре»)

-В названиях используют разные языки (буквы легко спутать)

-Слишком непонятные названия столбцов, которые не отражают суть столбца.

Для переименования столбцов вызывают метод датафреймов rename().

Унего один параметр columns — это словарь, в котором

•ключи — названия столбцов, которые вы хотите заменить (старые названия столбцов);

•значения — новые названия столбцов.

Переименовать можно как все столбцы датафрейма, так и только отдельные:

df = df.rename(columns={'Название1 ': 'col1', 'MIN': 'min_distance', 'MAX': 'max_distance'})

Дубликаты в данных Поиск явных дубликатов

Метод duplicated() ищет дубликаты. По умолчанию он признаёт дубликатами те строки, которые полностью повторяют уже встречавшиеся в датасете. Метод возвращает Series со значением True для таких строк.

print(df.duplicated().sum())

Чтобы избавиться от таких дубликатов, вызовем метод drop_duplicates():

df = df.drop_duplicates()

После удаления строчек лучше обновить индексацию: чтобы в ней не осталось пропусков. Для этого вызовем метод reset_index(). Он создаст новый датафрейм, где:

Поиск неявных дубликатов

Неявные дубликаты можно найти методом unique(). Он возвращает

перечень уникальных значений в столбце: print(df[col1].unique())

Среди уникальных значений ищут неявные дубликаты:

•альтернативные написания одного и того же значения.

•ошибочные написания.

Удаление неявных дубликатов

Неправильные и альтернативные написания значений исправляют методом replace(). В первом аргументе ему передают нежелательное значение из таблицы. Во втором — новое значение, которое должно заменить дубликат:

df['col1'] = df['col1'].replace('футбо', 'футбол')

Поиск пропущенных значений

Специальный метод isna() найдёт все пропуски в таблице. Если значение отсутствует, он вернёт True, иначе — False.

Чтобы посчитать пропуски, результат работы isna() передадим методу sum():

print(df.isna().sum())

Обработка пропусков

В зависимости от целей исследования с пропусками можно обойтись поразному:

•Строки таблицы удаляют полностью, если они потеряли смысл из-за пропущенных значений. Иногда приходится признать, что часть данных бесполезна из-за пропусков — тогда от таких строк остаётся только избавиться.

•Иногда пропуски заполняют другими значениями. Это допустимо,

когда пропущенные значения неважны для целей исследования, но в тех же строках или столбцах остаются ценные данные.

Чтобы не лишиться строк с важными данными, заполним значения NaN в столбце imported_cases нулями.

Для этого вызывают специальный метод fillna(). Он вернёт копию исходного столбца, заменяя все NaN на значение из аргумента:

df['imported_cases'] = df['imported_cases'].fillna(0)

Метод dropna() удаляет строку или колонку, в которой встречается NaN (хотя бы один пропуск). Его поведением управляют два параметра:

•axis — ось, по которой будет ориентироваться метод. Если передать параметру значение 'columns', метод удалит столбцы, в которых встречается NaN. Если не указывать этот аргумент, метод удалит строки, в которых встречается NaN.

•subset — список с названиями столбцов, в которых метод должен искать NaN.

#удаление строк, в которых в столбцах total_cases, deaths или case_fatality_rate встречается NaN

df = df.dropna(subset=['total_cases', 'deaths', 'case_fatality_rate'])

# удаление столбцов, в которых в столбцах total_cases, deaths или case_fatality_rate встречается NaN

df = df.dropna(subset=['total_cases', 'deaths', 'case_fatality_rate'], axis='columns')

Категориальные и количественные переменные

Способ работы с пропущенными значениями зависит от их типа. В датафрейме pandas могут содержаться категориальные или количественные данные:

•Категориальная переменная принимает одно значение из ограниченного набора.

•Количественная — любое числовое значение в диапазоне.

ВPandas есть стандартный метод Pandas — to_numeric(), который превращает значения столбца в числовой тип float64 (вещественное число).

df['amount'] = pd.to_numeric(df['amount'])

•`errors='raise' — дефолтное поведение: при встрече с некорректным значением выдаётся ошибка, операция перевода в числа прерывается;

•`errors='coerce' — некорректные значения принудительно заменяются на

NaN;

•`errors='ignore' — некорректные значения игнорируются, но остаются.

df['amount'] = pd.to_numeric(df['amount'], errors='coerce')

Методом to_numeric() мы не только превратим строки в числовой тип там, где это возможно, но и выясним, на каких значениях метод не работает.

Особенность метода to_numeric() в том, что при переводе все числа будут иметь тип данных float. Это подходит далеко не всем значениям.

В нужный тип значения переводят методом astype(). Например, аргумент ('int') метода astype() означает, что значение нужно перевести в целое число:

Методы Pandas для работы с датой и временем

Вне зависимости от способа записи, дату и время нужно вводить в

арифметические операции. Для этого в Python существует особый тип данных

— datetime.

Методом to_datetime() превратим содержимое этого столбца в понятные для Python даты.

Для этого строку форматируют, обращаясь к специальной системе обозначений, где:

•%d — день месяца (от 01 до 31)

•%m — номер месяца (от 01 до 12)

•%Y — четырёхзначный номер года (например, 2019)

•Z — стандартный разделитель даты и времени

•%H — номер часа в 24-часовом формате

•%I — номер часа в 12-часовом формате

•%M — минуты (от 00 до 59)

•%S — секунды (от 00 до 59)

Преобразуем формат даты 01.04.2019Z11:03:00 из первой строчки

датафрейма:

1.Сначала номер дня месяца. В соответствии с таблицей форматов заменяем его на %d: %d.04.2019Z11:03:00

4.Букву Z оставляем без изменений: %d.%m.%YZ11:03:00

5.Номер часа в 24-часовом формате заменим на %H: %d.%m.%YZ%H:03:00

6.Количество минут обозначим %M: %d.%m.%YZ%H:%M:00

df['date_datetime'] = pd.to_datetime( df['date'], format='%d.%m.%YZ%H:%M:%S'

)

Группировка данных

Часто анализ данных начинают с разделения их на группы по какомунибудь признаку. Эта операция называется группировкой данных.

Вpandas данные группируют методом groupby(), который:

•Принимает в качестве аргумента название столбца, по которому нужно группировать. Например, год.

•Возвращает объект особого типа — DataFrameGroupBy. Это сгруппированные данные. Если применить к ним какой-нибудь метод pandas, они станут новой структурой данных типа DataFrame или Series.

Можно применить метод count или sum.

У sort_values() для датафрейма два параметра:

•by='имя столбца' — имя столбца, по которому нужно сортировать;

• ascending — порядок сортировки. По умолчанию для него установлено значение True. Для сортировки по убыванию установите значение False.

Сводные таблицы

1.Титульный лист

2.Цель работы

3.Вариант задания с кратким описанием набора данных

4.Пояснения и скриншоты по каждому пункту выполнения лабораторной работы

5.Ссылка на ваш Jupyter-ноутбук

6.Расширенный вывод по вашему исследованию

Варианты:

Варианты распределяем по списку. Лучше всего попросить старосту сформировать список с группой и вашим вариантом.

Указание варианта в отчете обязательно!

11.Среднее кол-во людей, которые работали в компании в течение года (S менее 50 сотрудников (малая) M от 50 до 250 сотрудников (средняя) L более 250 сотрудников (крупная))

Группировки, которые можно сделать:

-Средняя зп по профессиям

-Средняя зп по уровню опыта и тд

11.наклон пикового сегмента ST при нагрузке (Вверх: восходящий, Плоский: плоский, Вниз: нисходящий)

12. HeartDisease: выходной класс [1: болезнь сердца, 0: нормальный]