Р: What Big Data Can’t Do by Tenner.

0B6CD1B4-6E71-4097-AFF2-A11028760A9DОчень трезвая профессиональная книга Эдварда Теннера про то, где применяли биг дату, и почему она зачастую не давала ожидаемого эффекта. Это к тому, что любая модная и актуальная идея может не выдерживать теста реальности так, как мы от нее ожидаем.

Первое, книга начинается с того, что эффективность, как отдача на вложенный ресурс, для человечества являлась постоянной задачей прогресса и эволюции. Быстрее, лучше, сильнее, дешевле и так далее. Так устроен человек. Только вот в чем ловушка: ровно в том, что пешком человек пройдет сто километров, затратив меньше энергии, чем если проедет на авто. Так и с данными: то, что их есть гигабайт, не факт, что даст эффект по сравнению с килобайтом.

Второе. Вера человечества, что информационный век решает проблемы — не оправдывается так, как это рисовали фантасты и планировали пропоненты биг даты. Наличие дополнительной статистики требует усилий по ее перелопачиванию. Для вас доступно множество публикаций, но теперь возникает вопрос: а что из них правда. Какие данные надежные, верить ли Википедии?

Просто масштаб доступных данных вызывает затраты ресурсов на их отбор, фильтровку и поиск правды. А если fake news перепечатаны тысячу раз, то они и появятся у вас на радаре тысячу раз. Если академический ресерч нарезан на слои, многократно опубликован, то как понять, что он настоящий. Ведь правда в эпоху информации зачастую определяется тем, что вы быстрее нашли первым.

Третье. Биг дата не приводит к тому, что человечество становится умнее. Да, компьютеры ускорились. Но. Человек быстрее учиться не стал. И попытки с помощью новых технологий учить человека быстрее — не работают так, как от них этого ожидали. Получается, что знаний море, а человек не догоняет, но и просто тонет в этом море знаний.

Можно настраивать технологии обучений, собирать массовые тесты, но выясняется затем, что лучшее школьное образование в Финляндии с индивидуальным подходом к ученикам, где нет стандартизированных тестов и биг даты. Вот и вопрос: получается, что от биг даты в образовании студенты и школьники, похоже, не очень выигрывают.

Четвертое. Потеря навыков, когда из-за доступности информации вы разучаетесь искать путь без навигатора. Ориентироваться в пространстве без подручных материалов. Искать ответ без гугля. Думать без википедии. Биг дата с ее доступностью приводит к парадоксу выключения мышления. Если что-то сделано алгоритмом за вас, то вы уже сами не сможете найти дорогу домой из леса.

Может Эд тут и перебирает, ведь большинству людей сейчас умение ориентироваться по мху на деревьях не очень нужно в городских условиях, но вот с тезисом — что медицинские решения на биг дате могут одновременно приводить как к хорошим улучшениям статистики излечивания, так и к массовым потерям жизней на нескольких ложных зависимостях — я полностью согласен.

В общем, нет панацеи в биг дате.

Еще на эту тематику из книг и других публикаций можно прочитать:
Data and Goliath. 5/5 и 19%.
Weapons of Math Destruction. 5/5 и 23%.
Small Data. 5/5 и 14%.
Big Data. 3/5 и 9%.
Двадцать дискет и big data.
Этого человека не существует.
Ружье, черепаха и десятый айфон.

На прошлой неделе опубликовали: Р: When by Daniel Pink. 4/5.

Все публикации копируются в канал Телеграм.

Позиции в статьях отражают частное мнение автора в частном блоге и не могут быть официальным заявлением или публичной рекомендацией от имени компании-работодателя.