Как машинное обучение помогает предсказывать? Почему эти техники работают? А когда они не работают?

Гарвардская книжка – про возможности искусственного интеллекта / машинного обучения заглядывать наперед.

Все начинается с определения. Если термин “предсказание” задать как умение на основании набора данных заполнять пробелы в этом сете данных, то все становится просто.

Если вы знаете поведение части популяции, то можно предсказать поведение остальных.

Если вы научили алгоритм распознавать рак, то он будет распознавать с высокой вероятностью его в новых случаях.

Если вы видите предпочтения человека, то можно найти облако его будущих решений.

Чем машинное обучение отличается от прежних детерминистических моделей и всякого многомерного статистического анализа?

Если взять Мерседес 80-х, который доехал на автопилоте по автобану, то он работал на примитивной модельке считывания разметки. Есть разметка – едем, нет – не едем.

Такие модели работают только в стерильных условиях. Как только в неё загоняешь допусловия, то код разрастается в миллионы строк и становится сложнейшим.

Корреляционные же подходы работают только на обкатанных калиброванных выборках и все равно дают ошибки. Потому что предсказывают средние исходы.

По статистике можно предсказать выигрыши в покер, но трудно рассчитать, кто именно выиграет. Средняя – да, а вот разброс по фамилиям – нет.

Машинное обучение на нейросети стало современным стандартом, потому что даёт возможность самообучения (что не сделаешь с детерминистической моделью) и дает возможность настраивать исходы (что трудно с матстатом).

В итоге, Гугль предскажет, что вы ищете. Амазон знает, что закажете, Тесла сможет вас довести до места.

Сейчас предсказания становятся дешевыми в изготовлении. Но есть загвоздка. Что как только ваш случай особенный, то вам не везёт.

Например, если вы каждый год едете в отпуск и покупаете маску для дайвинга на месте, то карточка может блокироваться, потому что вдруг сменилась локация и тип покупки.

Вас алгоритм спас от ложного фрода. Перестарался. Но пройдёт пара лет, и Виза с Мастеркардом уже знают, что вы ездите в отпуск, поэтому потом блокировать не будут.

Алгоритм научился на вас.

Это радует.

Но еще радует то, что книга разбирает кейс за кейсом, что приход ИИ/МО не приводит к обесцениванию человека.

Потому что за алгоритмами надо смотреть. Потому что доктор+алгоритм ставят диагноз лучше, чем по-отдельности. Потому что скоринг в банке работает лучше при соединении человека и машины.

Так же, как и появление компьютеров в офисах не привело к потере офисного класса.

Еще на эту тематику из книг и других публикаций можно прочитать:
ИИ/AI прав, пока он совсем неправ.
Factfulness by Rosling. 5/5.
Дом-шпион или интернет вещей.
The Sharing Economy. 3/5 и 17%.
Superforecasting by Tetlock. 5/5 и 19%.

На прошлой неделе опубликовали: Flash Boys.

Все публикации копируются в канал Телеграм.

Позиции в статьях отражают частное мнение автора в частном блоге и не могут быть официальным заявлением или публичной рекомендацией от имени компании-работодателя.