Машинное обучение: история, развитие, основные концепции и алгоритмы

Машинное обучение (ML)¹ используют во многих сферах жизни, однако мало кто задумывается, что оно прошло долгий путь развития и продолжает совершенствоваться по сей день.

Далее мы приведём определение машинного обучения и расскажем, как научить компьютер быстро и правильно решать задачи пользователя.

Что такое ML и чем оно отличается от искусственного интеллекта

Единого понятия «машинное обучение» нет, но многие исследователи понимают его таким образом.

Машинное обучение — это наука о том, как заставить искусственный интеллект (ИИ) учиться и принимать решения подобно человеку, а также регулярно улучшать свои умения и навыки на основе представленных сведений о реальной жизни. Проще говоря, это научный подход, при котором умные алгоритмы начинают решать задачи.

Искусственный интеллект — это способность компьютера учиться, принимать решения и действовать подобно человеку. Также его рассматривают как науку, находящуюся на стыке нескольких областей. Она изучает современные технологии, позволяющие человеку создавать программы и обучать компьютеры самостоятельному решению задач.

Суть машинного обучения заключается в том, что оно является частью искусственного интеллекта. Оно помогает компьютеру научиться думать и принимать решения, а также делать прогнозы подобно человеку, используя исторические сведения, а не работать на основе явно запрограммированных алгоритмов.

Нередко понятия машинного обучения и искусственного интеллекта (ИИ) путают. Однако это разные, хотя и взаимосвязанные термины.

Искусственный интеллект может больше, чем машинное обучение. Учёные создают интеллектуальные системы, выполняющие сложные задачи, а ML может решать только конкретные задачи, для которых оно обучено, зато очень точно.

Задачи машинного обучения

Выделяют такие задачи машинного обучения:

1. Регрессия — прогнозирование исходя из подборки объектов с разными параметрами.

2. Классификация — выявление групп объектов в зависимости от представленных характеристик.

3. Кластеризация — разделение информации на похожие категории по аналогичным параметрам.

4. Идентификация — отделение данных с определёнными характеристиками от общего массива информации.

5. Извлечение знаний — исследование зависимостей между несколькими показателями одинакового явления либо события.

6. Прогнозирование — дача прогнозов на будущее по результатам анализа машинным обучением информации за конкретный период времени.

Чтобы ML могло справиться с задачей, создают модель, способную действовать аналогично человеку при заранее заданных параметрах. Для более эффективного решения задач их постоянно меняют, то есть проводят дообучение.

Image by Freepik

Во время него модель запоминает признаки, которые могут повлиять на решение задачи. Так, модель, отличающая виды домашних животных, может усвоить, что у кошек, в отличие от собак, чаще всего нет шерсти на ушах.

Сложность в том, что некоторые признаки сложно описать словами. Поэтому их выделение порой более ценно, чем решение самой задачи.

История развития машинного обучения

ML претерпело существенные изменения за последние десятилетия. Оно прошло долгий путь от несложных линейных моделей до глубоких нейросетей. Далее вы узнаете всё о развитии машинного обучения.

Появление машинного обучения

Основы машинного обучения зародились ещё в середине прошлого столетия. В это время учёные стали искать, как сделать так, чтобы компьютеры обучались на основе данных.

В 1956 году математик Артур Сэмюэл предложил первую формальную концепцию ML и разработал программу, умеющую играть в шашки подобно человеку.

Это был один из ранних примеров использования умных алгоритмов для достижения хороших результатов в задачах, для решения которых нужны интеллектуальные усилия.

Период экспертных систем

В 1960-х и 1970-х годах учёные трудились над созданием экспертных систем, которые смогли бы моделировать знания специалистов в разных областях. Это стало важным шагом в развитии технологий машинного обучения, но имело существенный недостаток. Новые системы не могли обобщать знания и адаптироваться к новым ситуациям.

Пример экспертной системы — это система MYCIN, которая была создана в 1970-х годах для выявления инфекционных патологий крови. В её основе были базы знаний и правила, полученные от специалистов в медицинской отрасли.

Система работала следующим образом. Пользователи описывали свои симптомы, представляли результаты анализов и другую информацию, а MYCIN, используя свою базу знаний, выставляла диагноз и давала рекомендации по лечению.

Однако систему не применяли не практике, так как она была недостаточно эффективна. Главная проблема заключалась в несовершенстве технологий системной интеграции в период её создания. Система работала автономно на основе данных, полученных от пользователя, поэтому не могла адаптироваться к новым ситуациям. В наше время её интегрировали бы с системой медицинских знаний, что позволило бы ей принимать решения самостоятельно. Тогда же она была предназначена только для решения тех задач, под которые была обучена, и не могла обобщать знания для работы с новыми данными.

Появление статистического обучения

В 1980-х годах активно развивались статистические методы и появлялись более мощные компьютеры, что привело к существенному прорыву в сфере машинного обучения. Умные алгоритмы стали работать на основе статистических моделей и способов оптимизации. В это время появились важнейшие алгоритмы, включая обратное распространение ошибки.

Статистические методы машинного обучения стали использовать в различных областях, например распознавании образов и компьютерном зрении. Нейросети и методы обратного распространения нашли применение для классификации и прогнозирования.

Развитие нейросетей

В 1990-х годах нейросети развивались не очень активно. Очередной виток их становления пришёлся на начало 2000-х годов. Внедрение новейших графических процессоров помогло существенно усилить вычислительные мощности при решении задач и способствовало развитию глубоких нейросетей.

В 2012 году исследователи из Университета Торонто придумали алгоритм глубокого обучения. Он выиграл в популярном конкурсе по распознаванию изображений ImageNet. Это достижение открыло новый этап в сфере ML.

Эра глубокого обучения и больших данных

Впоследние годы соцсети, интернет и цифровые технологии быстро развивались. Это привело к появлению больших массивов данных для обработки, а также глубокого обучения. Оно работает на основе большого количества информации и сложной архитектуры, что позволяет решать трудные задачи генерации, классификации, распознавания и сегментации контента.

Глубокое обучение — вид машинного обучения, основанный на нейросетях с огромным количеством слоёв (глубоких сетей). В отличие от типичных методов ML, требующих определения признаков вручную, глубокое обучение позволяет модели самостоятельно извлекать внутренние представления данных. Оно способно к обработке и анализу трудной иерархической совокупности информации, например, текста, звука и картинок.

Глубокое машинное обучение активно применяют в следующих сферах:

1. Компьютерное зрение — для распознавания образов, например лиц, и классификации изображений.

2. Обработка естественного языка — для анализа и создания текстового контента, автоматического перевода, генерации ответов на вопросы.

3. Медицина — для выявления, прогнозирования и лечения разных заболеваний, анализа медицинских изображений, интерпретации итогов обследования.

4. Рекомендательные системы — для создания персонализированных предложений для пользователей, например, по приобретению товаров.

5. Финансовая аналитика — для составления прогнозов в отношении финансовых рынков, выявления возможного мошенничества.

Конечно, это неполный перечень сфер, где используют глубокое машинное обучение и работающие на его основе нейросети. Отметим, что развитие ML даёт большие возможности для его применения в разных отраслях.

Image by aleksandarlittlewolf on Freepik

Модели машинного обучения

Работа умных систем зависит от того, какое машинное обучение используется. Существуют разные модели ML.

У наиболее простой — два параметра. Чтобы предсказать результат, который линейно зависит от входного признака, надо найти параметры a и b в уравнении прямой линии, то есть вида: y=ax+b.Такая модель создана на основе линейной регрессии.

На практике простые линейные модели машинного обучения используют очень редко, так как для получения результата данных обычно недостаточно. Даже если их очень много, то решить можно только самые простые задачи.

Современные нейросети чаще всего используют тысячи, а порой и миллионы параметров. Они могут усваивать даже самые сложные признаки, требуемые для решения трудных задач.

И хотя алгоритм обратного распространения ошибки придумали достаточно давно, до недавних пор технически реализовать глубокие нейросети, включающие множество слоёв, было нереально.

Стремительное развитие микроэлектроники привело к созданию высокопроизводительных GPU² и TPU³, умеющих обучать глубокие нейросети без компьютеров.

Из чего состоит машинное обучение

Модель ML, допустим, глубинная нейросеть, работает аналогично «чёрному ящику». На вход к ней поступают условия задачи, а после обработки, на выходе,получается произвольный ответ. Допустим, если человек задаёт переводчику фразу на одном языке, то нейросеть воспринимает это как условие, а затем выдаёт готовый перевод, то есть необходимый результат.

Важно обучить нейросеть так, чтобы она выдавала ответы, предельно близкие к верным. А для этого надо найти корректные значения параметров её работы. Когда они будут настроены правильно, нейронная сеть сможет хорошо решать и аналогичные задачи, даже если никогда не знала, как это сделать.

Для решения задач нейросети потребуются:

1. Данные — это примеры решений и всё, что необходимо для обучения, например, расчёты, тексты, исторические события. Такую информацию собирают несколько лет и соединяют в большие массивы —датасеты, имеющиеся практически у всех ИТ-компаний. Пример сбора данных — капча, которая просит пользователя, например, выбрать все изображения колодцев и запоминает верные ответы.

2. Признаки — параметры или качества. Это то, на что должна обращать внимание машина во время обучения. Допустим, стоимость акций, картинка животного или частота слов. Если параметров немного, и они чётко определены или показаны, обучаться будет проще. Однако, чтобы решать трудные задачи, актуальные модели должны учитывать несколько миллионов параметров, решающих, как входы трансформируются в выходы.

3. Алгоритмы —способы решения задач. К одной задаче можно применить очень много алгоритмов машинного обучения. Надо выбрать наиболее точный и результативный.

Типы (виды) ML

Для машинного обучения нужно много данных. В идеале информация, усваиваемая моделью, должна описывать все вероятные варианты развития событий. Однако на практике это невозможно, так как мир постоянно меняется. Поэтому надо сделать так, чтобы тренировочный набор был максимально приближён к реалиям.

Стратегию обучения выбирают исходя из поставленной задачи и актуальных данных для обучения. Вот какие типы машинного обучения бывают:

• классическое;
• с подкреплением;
• ансамбли;
• нейросети и глубокое обучение.

О них мы и расскажем.

Image by Freepik

Классическое обучение

В него входит обучение с учителем и без него.

Обучение с учителем

Это обучение на примерах, когда в роли «учителя» выступают верные ответы. В норме каждая модель должна давать их в определённых случаях. Такие ответы называют «метками», а данные с метками именуют «размеченными».

Таким образом, обучение с учителем — это когда машине даётся «учитель», знающий верный ответ. То есть исходные данные уже размечены необходимым образом, а машине остаётся только выделить объект с необходимым признаком либо рассчитать результат.

Допустим, школьнику рассказали о нескольких способах, позволяющих решить задачи. А затем дали очень много таких задач и верные ответы для каждой из них. Если ученик правильно решит задачи, то можно будет считать, что он разобрался в способах их решения.

На практике с моделями ML не всё так просто, так как им нельзя заранее дать все правильные ответы. Ведь для этого и создаются умные решения: чтобы решать запросы пользователей. Главное, чтобы модель усвоила зависимость результата от входных данных, а не просто повторяла информацию из тренировочного набора, который в действительности может включать неправильные сведения (шум).

Если модель даёт правильные результаты на тренировочном наборе, но почти постоянно допускает ошибки на новых данных, то получается, что она переобучена на таком наборе.

Обучение с учителем применяют для отнесения информации к спаму, распознавания языков и рукописных текстов, обнаружении мошеннических операций, расчёта финансовых значений, оценки платёжеспособности заёмщика и выдачи кредитов. Также эту схему используют в медицине для выявления возможных патологий на снимках пациентов.

Image by Freepik

Обучение без учителя

Это когда машина должна самостоятельно обнаружить среди разрозненных данных правильное решение и сделать сортировку объектов по неустановленным признакам, допустим, выяснить, где на фотографии дерево.

Такая модель появилась в 1990-х годах и в жизни применяется довольно редко. Она актуальна для данных, которые нельзя разметить из-за их внушительного объёма. Обучение без учителя может потребоваться в риск-менеджменте, для сжатия картинок, соединения соседних точек на карте, деления рынка на сегменты, прогнозирования акций и распродаж в розничной торговле, а также мерчандайзинга.

Обучение с подкреплением

Это относительно трудный вид обучения, где ИИ должен не просто анализировать данные, а действовать сам в среде, приближённой к реальной, например, видеоигре. Чтобы продолжать работать без проблем и препятствий, системе надо минимизировать ошибки.

Обучение с подкреплением применяют для роботов-пылесосов, беспилотных летательных аппаратов, управления ресурсами организации и торговли на фондовом рынке.

Ансамбли

Это группы алгоритмов, использующие много методов ML и исправляющие ошибки друг друга. Для их получения существует три способа:

• стекинг—алгоритмы учат по отдельности, а затем передают их результаты на вход последнему, принимающему определённые решения;
• беггинг—один алгоритм неоднократно обучают на случайных подборках, а после рассчитывают для ответов усреднённое значение;
• ·бустинг—алгоритмы учат по очереди, при этом каждый из них учитывает ошибки предшественника.

Ансамбли применяют в поисковых алгоритмах, компьютерном зрении и для распознавания лиц.

Нейросети и глубокое обучение

Самый трудный способ обучения ИИ. Нейросети работают аналогично человеческому мозгу, состоящему из нейронов, регулярно создающих между собой новые связи. Условно их можно представить как сеть с большим количеством входов и только одним выходом.

Нейросеть состоит из трёх слоёв:

• входного;
• одного или нескольких скрытых;
• выходного.

Каждый нейрон связан с нейронами предшествующего слоя через некие веса.

Число слоёв и нейронов неограниченно. Это позволяет нейросети моделировать довольно сложные закономерности, недоступные линейным моделям.

Искусственный интеллект собирает данные со всех входов, анализируя их вес по определённым критериям, затем проводит необходимое действие и выдаёт результат. Сперва он выходит случайным, но спустя несколько циклов получается точнее. Качественно обученная нейронная сеть работает как обычный алгоритм или более точно.

Важным достижением в области искусственного интеллекта стало машинное обучение, которое учит нейросети на нескольких уровнях абстракций.

Применение машинного обучения

ML уже применяют или планируют использовать в разных сферах человеческой жизни. Расскажем, в каких именно.

Робототехника

В будущем роботы смогут трудиться над добычей полезных ископаемых и тушить пожары. Предполагается, что программисты будут использовать решения на основе машинного обучения в написании компьютерных программ.

Сегодня человечество уже применяет беспилотные автомобили, трекеры сна и физической нагрузки, роботы-пылесосы и другие продукты искусственного интеллекта, что значительно упрощает повседневную жизнь.

При этом перспективы использования роботов не ограничиваются. Так, в Калифорнийском университете роботу показали 76 фильмов об операциях, чтобы он научился накладывать швы. В дальнейшем он зашил поддельные раны, однако с точностью примерно 85%. Пока этого мало для полноценной работы. Но, возможно, когда-нибудь такие роботы смогут помогать человеку.

Маркетинг

Поисковые роботы «Яндекс» и Google применяют машинное обучение для отслеживания релевантности рекламных объявлений, а социальная сеть «ВКонтакте» использует свои аналитические программы для оценки интересов посетителей и лучшей персонализации в новостной ленте.

Сеть магазинов косметики «Рив Гош» с помощью ML узнаёт, кто из покупателей, возможно, купит продукцию в ближайшем будущем, какие товары желательно предложить и на что сделать скидку. Исходя из полученных данных торговая сеть делает рассылку. Практика показывает, что у покупателей, с которыми работала умная система, средний чек больше на 42%. Кроме того, в 47% случаев они покупают в магазине снова.

В перспективе машинное обучение будут активно использовать для проведения маркетинговых исследований, направленных на разработку и презентацию товаров компании. Это поможет получить более правдивые данные.

Безопасность

Машинное обучение используют в работе систем распознавания лиц в метро, а также в камерах, сканирующих лица людей и номера автомобилей при движении по дорогам. Это помогает органам правопорядка разыскивать преступников и пропавших людей.

Машинное обучение обеспечивает безопасность, автоматически сообщая о выявленных проблемах. Так , энергетическая компания Shell применяет ML и нейросети для обнаружения угроз безопасности и информирования о них работников. Это позволяет людям отреагировать на проблему до того, как случится катастрофа.

Страхование и финансовая сфера

Использование машинного обучения в прогнозировании реализуется в финансовой сфере. Оно повышает точность биржевых прогнозов, помогает оценить капитализацию брендов, а также принять правильное решение о выдаче кредита частным компаниям и физлицам.

Передача части функций человека ML позволяет снизить нагрузку на работников, а также быстро получить точную информацию.

Машинное обучение помогает бороться и с мошенничеством, а также предотвращать необоснованные обвинения в таком преступлении. Так, благодаря умным решениям иностранный Danske Bank уменьшил количество ложных обвинений в мошеннических действиях на 60%.

Промышленность

С помощью процесса машинного обучения организуют систему управления производством. Специальные датчики оценивают работу промышленного оборудования и предотвращают его поломку, а также помогают минимизировать процент брака, оптимизировать определённые операции и сократить расходы.

Например, использование компанией Simatic платформы на базе ML и IoT⁴, собирающей и оценивающей данные с датчиков на оборудовании в реальном времени, позволило на 75%автоматизировать изготовление продукции, в десять раз повысить объёмы производства при таких же условиях и на 100% снизить брак.

Image by Freepik

Сервисы на основе ИИ от компании Сбер Бизнес Софт отслеживают производственные дефекты, прогнозируют сбои, поломки оборудования, объёмы работ и спрос. Это помогает повысить эффективность производства, предотвратить простои, а также выпустить количество продукции, соответствующее потребностям потребителей.

Медицина и здравоохранение

Машинное обучение помогает оперативно обрабатывать информацию о пациенте, выставлять предварительный диагноз и подбирать персональное лечение, учитывая сведения о патологиях больного из базы данных. Его также используют, чтобы автоматически выявлять группы риска при появлении новых возбудителей вирусных заболеваний.

Искусственный интеллект Corti помогает в диагностике патологий. Он прослушивает обращения в скорую помощь и выставляет предварительные диагнозы быстрее, чем люди (сорок восемь секунд у программы против семидесяти девяти секунд у медицинских диспетчеров).

Кроме того, ML помогает улучшить клиентский сервис в частных клиниках. Так, сеть медцентров «Инвитро» запустила пилотный проект Face Detection по распознаванию лиц пациентов в облаке VK Cloud и в перспективе сможет уменьшить очереди.

Розничная торговля

С помощью ML компании оценивают активность покупателей и товарные остатки. Это позволяет им понять, какие товары и в каком объёме закупать.

Британская сеть супермаркетов Morrisons применяет ML, чтобы спрогнозировать потребительский спрос на определённые товары в конкретное время. Умное решение учитывает разные факторы, включая праздничные дни и погоду. Применение машинного обучения помогло Morrisons на 30% снизить разрывы в поставках.

Сервисы на основе ИИ от Сбер Бизнес Софт прогнозируют покупательский спрос, что позволяет вовремя закупить необходимые товары. Кроме того, они прогнозируют отток потребителей и отклик на маркетинговые предложения, чтобы компания могла принять меры для удержания старых клиентов и привлечения новых. Также, умные решения распознают ценники, товары на фотографиях и отслеживают случаи мошенничества, что значительно увеличивает эффективность работы торговых предприятий и позволяет им предотвратить убытки.

Проблемы машинного обучения

Несмотря на высокую эффективность машинного обучения и нейросетей, существуют некоторые проблемы их применения. Прежде всего, следующие:

1. Для успешного обучения нейросетей и любых трудных алгоритмов требуются большие объёмы данных и технические ресурсы, например, особые помещения, серверы, интернет с хорошей скоростью без перебоев и много электричества.

Чтобы получить необходимую информацию, порой нужно несколько лет работы и миллионы рублей. Такие деньги в развитие машинного обучения могут вкладывать только большие корпорации, работающие в сфере ИТ-технологий. Открытых датасетов— обработанных и структурированных массивов данных — немного, а цена на них велика.

2. По мере увеличения мощностей для сбора и обработки датасетов растут и вредные выбросы, производимые крупными дата-центрами.

3. Данные необходимо не просто собрать, но ещё и разметить так, чтобы машина правильно выявила объект и его признаки. Это относится к числовым данным, текстам и картинкам. Чтобы сделать это человеческими усилиями, нужны большие вложения.

4. Даже если информации много, и она постоянно обновляется, то во время обучения может обнаружиться, что алгоритм нерабочий. Проблема может быть и в самих данных, и в варианте действий, когда машина справилась с определённой задачей, но не может это использовать, чтобы решить задачи с другими условиями.

5. Хотя глубокое обучение развито очень сильно, пока искусственный интеллект не умеет генерировать нечто новое, выходить за границы представленных условий и оказаться выше своих возможностей. Проще говоря, он неспособен превзойти человеческий мозг.

Машинное обучение значительно упрощает и улучшает жизнь человека. Его используют в промышленности, торговле, маркетинге, здравоохранении и других сферах деятельности. Это помогает улучшить результаты работы предприятий, вовремя реагировать на изменения, снизить нагрузку на работников и минимизировать убытки.

ООО «Сбер Бизнес Софт» предлагает решения на основе ИИ для применения в промышленности, сельском хозяйстве, торговле, строительной сфере и государственном секторе.

Заполните форму обратной связи. Специалист свяжется с вами, чтобы подобрать сервис, работающий в интересах вашего бизнеса.

¹ ML (машинное обучение)— наука о том, как заставить компьютер действовать и принимать решения подобно человеку.

² GPU (GPU, или GraphicsProcessingUnit)— это вид микропроцессора, ориентированный на графические вычисления.

³ TPU — это разгонный процессор от ASUS.

⁴ IoT—этосеть устройств, подключённых к иным устройствам и службам через интернет или другую сеть и обменивающихся с ними данными.

Источники:

https://www.standard.co.uk/news/tech/robot-surgeons-watched-videos-to-learn-stitches-a4471776.html

http://www.mskit.ru/news/n207949/

https://d3.harvard.edu/platform-rctom/submission/unlocking-efficiency-gains-through-ai-shell-and-machine-learning/

https://assets.teradata.com/resourceCenter/downloads/CaseStudies/CaseStudy_EB9821_Danske_Bank_Fights_Fraud.pdf

https://www.kommersant.ru/doc/3731972

https://www.theverge.com/2018/4/25/17278994/ai-cardiac-arrest-corti-emergency-call-response

https://cloud.vk.com/cloud-platform/success-story/invitro/

https://cloud.vk.com/blog/17-primerov-mashinnogo-obucheniya?ysclid=luv3peo4hf786778303