Машинное обучение доступным языком [Елена Капаца] (pdf) читать постранично, страница - 3

появлению централизованных хранилищ
данных. Но только в конце 1980-х и начале 1990-х годов, когда они заняли центральное место,
мир ощутил потребность в специализированных загрузочных инструментах. Первым пользователям нужен был способ извлекать информацию из разрозненных систем, преобразовывать
ее в целевой формат и загружать в конечное место хранения. Первые инструменты ETL были
примитивными, и объем данных, которые они обрабатывали, был скромным по сегодняшним
меркам.
По мере роста объема данных росли и хранилища данных, а программные инструменты
ETL множились и становились все более сложными. Но до конца 20-го века хранение и преобразование данных осуществлялось в основном в локальных хранилищах. Однако произошло
нечто, навсегда изменившее наш взгляд на хранение и обработку.

Облачные вычисления
Объем данных, которые мы генерируем и собираем, продолжает расти с экспоненциальной скоростью. У нас есть все более сложные инструменты, которые позволяют нам использовать все наши данные для получения представления о исследуемом предмете в режиме онлайн.
Традиционная инфраструктура не может масштабироваться для хранения и обработки
большого объема данных. Это неэффективно с точки зрения затрат. Если мы хотим выполнять
16

Е. Капаца. «Машинное обучение доступным языком»

высокоскоростную, сложную аналитику и строить подобные модели, облако – оптимальное
решение.
Облачные хранилища могут бесконечно масштабироваться для размещения практически любого объема данных. Облачное хранилище также позволяет координировать огромные
рабочие нагрузки между группами вычисляющих серверов.
Преобразования и моделирование данных часто выполняются с помощью SQL – языка
запросов к базе данных.
Конечная точка ETL – хранилище данных (DWH).

17

Е. Капаца. «Машинное обучение доступным языком»

DWH

(data warehouse – хранилище данных) предназначено исключительно для выполнения
запросов и часто содержит большие объемы исторических данных. Данные в хранилище
обычно поступают из широкого круга источников, таких как:
• Логи приложений
• Сведения, собираемые с форм на сайте
• Записи различных устройств, вроде видеокамер и датчиков температуры
18

Е. Капаца. «Машинное обучение доступным языком»

Хранилище объединяет большие объемы данных из нескольких источников. Это позволяет генерировать ценные инсайты2 и улучшать процесс принятия решений. С ростом объема и
качества DWH становится бесценным объектом для бизнес-аналитики. Типичное хранилище
данных часто включает следующие элементы:
• Реляционная база данных
• ПО для ETL
• Инструменты анализа и визуализации
• Модели машинного обучения
К популярным хранилищам можно отнести Amazon Redshift, Google BigQuery и
Greenplum.
Стоит отличать DWH от так называемого озера данных (data lake). Хранилище содержит очищенные и структурированные данные, готовые к анализу на основе предопределенных
потребностей бизнеса. В озере же все содержится в необработанном, неструктурированном
виде.
Когда команда ML получает доступ к такому хранилищу, то предваряет моделирование
целой серией действий – разведочным анализом данных (EDA).

2

Решение задачи

19

Е. Капаца. «Машинное обучение доступным языком»

EDA

(exploratory data analysis – разведочный анализ данных) предварительное исследование
датасета с целью определения его основных характеристик, взаимосвязей между признаками,
а также сужения набора методов, используемых для создания модели.
Давайте рассмотрим, на какие этапы разбивают EDA. Для этого мы используем данные3
банка, который продает кредитные продукты своим клиентам. Возьмет ли клиент кредит или
нет?
Мы располагаем обширным набором переменных (столбцов):

3

Исходная англоязычная версия датасета: kaggle.com/datasets/volodymyrgavrysh/bank-marketing-campaigns-dataset

20

Е. Капаца. «Машинное обучение доступным языком»

Это не сам датасет, а только описание столбцов
Столбец Y назван так неслучайно: это общепринятое обозначение целевой переменной
(target variable). Изучив 40 тысяч записей о клиентах, модель автоматически сможет предсказывать, возьмет новый клиент кредит или не возьмет.

21

Е. Капаца. «Машинное обучение доступным языком»

Довольно увесистый датасет: записей в нем более 40 тысяч. Для начала4 импортируем
датасет и посмотрим на "шапку". С помощью метода head() мы отобразим шапку датафрейма
и первые пять записей:
df = pd.read_csv('https://www.dropbox.com/s/62xm9ymoaunnfg6/bank-full.csv?dl=1',
sep=';')
df.head()
Параметр sep используется, чтобы задать нестандартный разделитель данных по столбцам, в данном случае – точку с запятой.

Все столбцы мы отображать здесь, конечно, не будем

4

Здесь и далее ячейка с импортом библиотек будет пропущена. С полной версией кода можно ознакомиться в конце главы
по QR-коду со ссылкой.

22

Е. Капаца. «Машинное обучение доступным языком»

Удаление дубликатов
(duplicates removing) Повторяющиеся