Машинное обучение – это анализ данных без использования четких детерминированных алгоритмов. За последнее десятилетие машинное обучение применяется для создания беспилотных автомобилей, эффективных поисковых систем, в распознавании речи и т.п. Сегодня машинное обучение прочно вошло в повседневную жизнь. С помощью современных инструментальных средств можно выполнить прогнозирование и использовать графику для моделирования проблем. Эта компетенция формирует навыки корректной обработки данных, эффективного обмена данными и проведения базовой разведки больших сложных наборов данных.

В рамках компетенции применяются наиболее эффективные алгоритмы машинного обучения, реализуется опыт их практического применения. Благодаря большому практическому опыту работы с большими данными, накопленному в индустрии, а также новым инструментам и системам, появилась возможность применения этого опыта для решения широкого круга задач. К примеру, используя Hadoop с MapReduce, Spark, Pig и Hive специалистам этой компетенции практически не требуется глубокого знания программирования.

Машинное обучение и большие данные – инновационная специализация, обучение которой проводится не во всех ВУЗах. Вместе с тем продвинутые компании осознают перспективы использования данной компетенции, все чаще прибегая к технологиям машинного обучения в банковском секторе, государственном управлении, сельском хозяйстве.

Описание задания

• очистка и форматирование данных (предобработка);
• разведочный анализ данных;
• конструирование и выбор признаков;
• сравнение метрик нескольких моделей машинного обучения;
• гиперпараметрическая настройка лучшей модели;
• оценка лучшей модели на тестовом наборе данных;
• интерпретирование результатов работы модели;
• разработка пользовательского приложения;
• выводы и работа с документами.

Критерии оценки

• подготовка репозитория хранения данных;
• предобработка больших данных;
• подготовка обучающей и тестовой выборок;
• разработка математического аппарата;
• разработка прикладного решения;
• документирование.