Мой первый опыт работы с большими массивами данных начался с дискет. Тех, что три дюйма и по 1.44 мегабайта на каждой. Судьбой я оказался на градообразующем предприятии. Мой босс сказал мне, что есть гипотеза, что качество материалов на входе влияет на качество продукции на выходе. И отправил меня за данными для ее проверки.

Гипотеза очевидная, конечно же, жизнь так и устроена. Garbage in – garbage out. Хорошие материалы – хороший продукт. Осталось добыть данные в эпоху, когда аббревиатуры SAP/ OeBS/ ERP в принципе были особенно не известны, не говоря уж о практическом их применении. Поэтому подход, что сейчас сделаем запрос или найдем специалиста – не работал. Continue reading →