Через декілька років світ перейде в нову епоху - епоху великих даних. Під впливом Big Data від Київстар зміниться все, чого б не торкнувся людей. Розберемося, що це таке, а також розглянемо реальне застосування і перспективи технології.
Що таке Big data?
Великі дані - технологія обробки інформації, яка перевершує сотні терабайт і з часом зростає в геометричній прогресії.
Такі дані настільки великі і складні, що жоден з традиційних інструментів управління даними не може їх зберігати або ефективно обробляти. Проаналізувати цей обсяг людина не здатна. Для цього розроблені спеціальні алгоритми, які після аналізу великих даних дають людині зрозумілі результати.
В Big Data входять петабайт (1024 терабайта) або ексабайт (1024 петабайта) інформації, з яких складаються мільярди або трильйони записів мільйонів людей і все з різних джерел (Інтернет, продажу, контакт-центр, соціальні мережі, мобільні пристрої). Як правило, інформація слабо структурована і часто неповна і недоступна.
Як працює технологія Big-Data?
Користувачі соціальної мережі Facebook завантажують фото, відео і виконують дії кожен день на сотні терабайт. Скільки б людина не брала участі в розробці, вони не впораються з постійним потоком інформації. Щоб далі розвивати сервіс і робити сайти комфортніше - впроваджувати розумні рекомендації контенту, показувати актуальну для користувача рекламу, сотні тисяч терабайт пропускають через алгоритм і отримують структуровану і зрозумілу інформацію.
Порівнюючи величезний обсяг інформації, в ньому знаходять взаємозв'язку. Ці взаємозв'язки з певною ймовірністю можуть передбачити майбутнє. Знаходити і аналізувати людині допомагає штучний інтелект.
Нейромережа сканує тисячі фотографій, відео, коментарів - ті самі сотні терабайт великих даних і видає результат: скільки задоволених покупців йде з магазину, чи буде в найближчі години пробка на дорозі, які обговорення популярні в соціальній мережі і багато іншого.
Методи роботи з великими даними:
• Машинне навчання.
• Аналіз настроїв.
• Аналіз соціальної мережі.
• Асоціація правил навчання.
• Аналіз дерева класифікації.
• Генетичні алгоритми.
• Регресійний аналіз.
Машинне навчання
Ви переглядаєте стрічку новин, лайкать пости в Instagram, а алгоритм вивчає ваш контент і рекомендує схожий. Штучний інтелект вчиться без явного програмування і сфокусований на прогнозуванні на основі відомих властивостей, витягнутих з наборів «навчальних даних».
Машинне навчання допомагає:
• Розрізняти спам і не спам в електронній пошті.
• Вивчати користувальницькі переваги і давати рекомендації.
• Визначати кращий контент для залучення потенційних клієнтів.
• Визначати ймовірність виграшу справи і встановлювати юридичні тарифи.
Data Mining - як збирається і обробляється Біг Дата
Завантаження великих даних в традиційну реляційну базу для аналізу займає багато часу і грошей. З цієї причини з'явилися спеціальні підходи для збору і аналізу інформації. Для отримання і подальшого вилучення інформацію об'єднують і поміщають в "озеро даних". Звідти програми штучного інтелекту, використовуючи складні алгоритми, шукають повторювані патерни.
Зберігання та обробка відбувається наступними інструментами:
• Apache HADOOP - пакетно-орієнтована система обробки даних. Система зберігає і відслідковує інформацію на декількох машинах і масштабується до декількох тисяч серверів.
• HPPC - платформа з відкритим вихідним кодом, розроблена LexisNexis Risk Solutions. HPPC відома як суперкомп'ютер Data Analytics (DAS), що підтримує обробку даних як в пакетному режимі, так і в режимі реального часу. Система використовує суперкомп'ютери та кластери зі звичайних комп'ютерів.
• Storm - обробляє інформацію в реальному часі. Використовує Eclipse Public License з відкритим вихідним кодом.
