Deep learning на пальцах: как изучить технологию обычному человеку и заработать на этом
Термин Deep learning («глубокое обучение») появился в 1980-х гг., но стал массово известен совсем недавно. Только с 2012 г. для реализации технологии стало хватать мощностей. После нескольких публикаций исследователей, которые стремились объяснить всем миру Deep learning на пальцах, глубокое обучение популяризовалось и заполучило всеобщее внимание.
Deep learning — что это такое и для чего используется
Ключом к Deep learning является понимание различий между несколькими терминами:
- Искусственный интеллект (ИИ) — способность программы находить решения путем вычислений.
- Нейросеть — попытка воспроизведения принципа работы человеческого мозга на компьютере.
- Машинное обучение — попытка научить компьютеры обучаться самостоятельно на основе большого количества данных. Обучение делится на контролируемое (пользователь подает вводные данные и ожидаемые выходные результаты) и неконтролируемое (нейросеть самостоятельно проводит логическую классификацию данных).
Глубокое обучение — это метод Machine learning, в котором применяется имитация нейросети. Deep learning повторяет абстрактное мышление и умеет обобщать.
Сергей Николенко, соавтор книги «Глубокое обучение», пишет, что термины ИИ, машинное и глубокое обучение вложенные. ИИ помогает ПО выполнять задачи, которые решает мозг человека, машинное обучение — раздел ИИ, в котором программы обучаются на основе опыта, глубокое обучение — раздел машинного, изучающий нейросети.
Глубокое обучение — метод искусственного интеллекта
Специалисты каких профессий практикуют Deep Learning
Специалисты по Deep Learning востребованы в фармацевтике, биологических и генетических исследованиях, других научных областях. Практические сферы использования технологии включают:
- медицинскую и техническую диагностику;
- определение спама и мошенничества;
- распознавание речи, жестов, образов, изображений;
- прогнозирование отказа клиентов.
Больше всего проектов с использованием Deep Learning создается в диагностике болезней, распознавании изображений и аудио. Например, при переводах с картинки технология помогает определить сервису Google Translate наличие букв. Еще один проект — система распознавания лиц DeepFace, которая работает приблизительно с такой же точностью, что и человеческий мозг — 97,25%.
Понимать глубокое обучение нужно аналитикам данных, специалистам по Data Scientist, Big Data и Data Engineers. Главной задачей большинства их них является автоматизация анализа данных, настройка и внедрение алгоритма в работу организации. Это позволяет минимизировать количество однотипной работы, избежать ошибок, вызванных человеческим фактором, развить технологические возможности товаров и услуг.
О значимости глубокого обучения рассказывают здесь:
Что нужно знать для работы с искусственным интеллектом
Директор по машинному интеллекту в «Яндекс.Маркете» Михаил Левин рассказывает, что начать карьеру в перспективной области машинного обучения не настолько сложно, как кажется на первый взгляд. База знаний для специалиста такая:
- Английский язык на уровне чтения и написания простых запросов.
- Математика на уровне младших курсов технических вузов. Особенно линейная алгебра, теория вероятностей, построение и интерпретация моделей, алгоритмы, математическая статистика.
- Знание баз данных. Нужно иметь представление о разных типах баз или опыт работы с одной из них.
- Подготовка в области программирования. Нужно знать основы и хотя бы один язык. Самый востребованный, удобный для специалистов по Deep Learning и простой в освоении — Python. Работать можно на R, С++, Java, JS, подходят SAS, Scala и др. В машинном обучении язык — это не определяющий специализацию фактор, а только инструмент для создания моделей.
У специалистов высокого уровня должны быть компетенции в сфере computer vision и обработки естественного языка, опыт работы с различными библиотеками R, Python, инструментами обработки и анализа больших данных (MapReduce, Apache Spark, HDFS, Hadoop).
Обучение Deep Learning
Учиться работе с искусственным интеллектом и машинному обучению нужно на специализированных курсах. Обучение (преимущественно в онлайн-форме) проводится частными онлайн-университетами и крупными IT-компаниями. Вузы только начинают осваивать это направление, поэтому академических программ нет.
Об основах нейросетей рассказывают в этом видео:
Курсы онлайн
Коммерческие курсы по Deep Learning длятся 3-8 месяцев. Продолжительность зависит от насыщенности программы. Например, на одних курсах обучение начинается с изучения линейной алгебры, затем студенты переходят к основам программирования и только потом занимаются искусственным интеллектом, машинным обучением и Deep Learning, другие программы предполагают создание полноценной модели, анализ естественного языка и рекомендательных систем, знакомство с основными библиотеками.
В последнем случае студенты должны знать язык Python и иметь базовое понимание машинного обучения. Полный курс стоит 50-80 тыс. руб.
Можно ли пройти обучение бесплатно
Курсы, которые находятся в открытом доступе, разрабатывают крупные университеты и IT-компании (например, Google или NVIDIA Corporation). За академическим обучением нужно идти на платформы МООК или искать информацию непосредственно на сайтах ведущих технических вузов. В России курсы проводят Институт биоинформатики, НИУ ВШЭ, за рубежом — Стэнфорд, Georgia Institute of Technology, Университет Торонто.
Как изучить Deep Learning самостоятельно
Стоит начать с повторения основ математического анализа, линейной алгебры, статистики и теории вероятностей. В помощь новичкам: книги Гилберта Стрэнга «Введение в линейную алгебру» и Аллена Б. Дауни Think Stats: Exploratory Data Analysis.
Учебник А. Б. Дауни официально находится в открытом доступе, а все необходимые темы покрывают первые 10 глав.
После изучения перечисленных разделов математики можно переходить непосредственно к машинному обучению. Логично и понятно, буквально на пальцах теорию излагает Andrew Ng (бесплатный курс Machine learning), но недостаток этой программы в том, что не рассматриваются конкретные инструменты Machine learning, широко используемые на практике.
Нейросеть на Phyton своими руками:
Deep Learning — развивающееся направление, поэтому ни в одной книге нет полного обзора технологии. Но нужно начать с азов, собирая материал по частям из разных источников:
- глубокие нейросети прямого распространения;
- сверточные;
- проблема исчезающего градиента;
- градиентный спуск;
- рекуррентные нейросети и т.д.
Это теория, а для овладения техническими навыками потребуется изучить Deep Learning фреймворк. Новичкам лучше начинать с фреймворков-конструкторов, потом переходить к низкоуровневым.
Изучить нейронные сети за 30 минут можно с помощью следующего видеоурока:
С чего начать
Специалисты по глубокому обучению могут устроиться в стартап, обычную компанию или работать в качестве фрилансера (но фриланс — не лучший вариант развития в такой сложной области для новичка). Data Scientist, инженеры по Machine learning и Deep Learning востребованы в медицине, финансах, общественных науках.
Устроиться на высокооплачиваемую работу нелегко: нужно иметь подтверждение навыков (диплом курсов, портфолио) и некоторые знания в отрасли. Например, чтобы претендовать на вакансию аналитика по управлению рисками в банке, соискатель должен знать не только Machine learning, но и иметь степень бакалавра или магистра финансов. Поэтому проще сначала попасть на стажировку.
Где пройти практику
Выпускникам нужно начать со стажировки. Это возможность получить работу и увидеть применение технологии на практике. На рынке сейчас дефицит квалифицированных кадров, поэтому компании инициируют обучение с последующим трудоустройством или берут интернов. Этим занимаются «Сбербанк», «Яндекс», EPAM, Google.
Вакансии для специалистов, работающих с ИИ
Для специалистов по Machine learning на HeadHunter открыто более 600 предложений, больше трети из них локализуется в Москве. Инженеров по Deep Learning ищут 250 компаний, как и в предыдущем случае легче всего найти работу в столице — 150 вакансий. Для Data Scientist предложений почти 400, половина приходится на Москву.
Большинство вакансий предполагают полную занятость.
Эксперты исследовательского центра HeadHunter проанализировали спрос на специалистов, работающих с ИИ, на основе количества вакансий в этих направлениях. Спрос на Data Science растет, тогда как ажиотаж на специалистов по машинному обучению и работе с большими массивами данных остался в прошлом.
Зарплаты
Согласно данным Исследовательской службы HeadHunter среди людей, работающих с ИИ, больше всего получают специалисты по машинному обучению — в среднем 145 тыс. руб. Для Data Scientist средний показатель составляет 130 тыс. руб., для аналитиков (Data Analyst) — 100 тыс. руб. Эксперты Банка данных заработных плат HeadHunter сообщают, что на наибольшую зарплату могут претендовать специалисты, которые занимаются научными исследованиями и фармацевтической промышленностью.
Кажется, что глубокие нейросети — далекое будущее, но большинство обычных пользователей уже несколько лет пользуются приложениями на смартфоне, которые работают благодаря этой технологии. Deep Learning уже прочно вошел в повседневную жизнь, так что самое время понять, как работает технология, научиться с ней обращаться и заработать на этом.
