BigData следит за тобой!

Что угодно, кроме мата и нарушения законодательства РФ

BigData следит за тобой!

Сообщение Olej » 06 апр 2017, 15:31

Для тех, кто до зелёных соплей мечтает о анонимности в сети и вопит об ограничениях их сокровенных свобод в Интернет ... попались мне на глаза интересные данные:
- техникой анализа и обработки BigData ...
- 36 лайков, которые вы поставили (возможно непроизвольно) в Интернет (за всю свою жизнь) на 100% достаточно чтобы определить ваш пол, характер, уровень образования, уровня дохода и т.д.
- 300 лайков, которые вы оставили в Интернет достаточно, чтобы получить о вас информации больше, чем знают о вас члены вашей семьи.

Вот откуда идёт такой бешеный интерес к алгоритмике и математическим основам BigData технологий обработки информации!
Всплеснувшийся в последние 3-5 лет.
Olej
 
Стаж: 48 лет 4 месяца 23 дня

BigData следит за тобой!

Спонсор

Спонсор
 

Re: BigData следит за тобой!

Сообщение ALEXX » 06 апр 2017, 16:06

Вопрос скорее в раздел пофлудить... Переношу...
Предлагаете инструкцию как себя спрятать?
Могу организовать проксю - через проксю.... Нужно кому на форуме?
Или лучше тором будем пользоваться?
Аватар пользователя
ALEXX
Администратор
Администратор
 
Сообщений: 1147
Фото: 35
Стаж: 3 года 5 месяцев 3 дня
Откуда: Королёв
Благодарил (а): 330 раз.
Поблагодарили: 187 раз.

Re: BigData следит за тобой!

Сообщение Olej » 06 апр 2017, 16:20

hotmax писал(а):

Вопрос скорее в раздел пофлудить... Переношу...
Предлагаете инструкцию как себя спрятать?
Могу организовать проксю - через проксю.... Нужно кому на форуме?
Или лучше тором будем пользоваться?

Вы чего-то недопоняли: все ваши прокси с торами, в данном случае, в этом контексте - до фени. Объяснять надо почему?
Инструкцию не предлагаю, а хотел бы, напротив, выслушать соображения на счёт... или информацию.

P.S. А в флудилку - напрасно перенесли, потому что эта тема - мировоззренческая, идеологическая + куда интересней, чем все остальные темы форума, вместе взятые. :shock:
Olej
 
Стаж: 48 лет 4 месяца 23 дня

Re: BigData следит за тобой!

Сообщение ALEXX » 06 апр 2017, 16:30

Olej писал(а):

Вы чего-то недопоняли: все ваши прокси с торами, в данном случае, в этом контексте - до фени. Объяснять надо почему?
Инструкцию не предлагаю, а хотел бы, напротив, выслушать соображения на счёт... или информацию.

P.S. А в флудилку - напрасно перенесли, потому что эта тема - мировоззренческая, идеологическая + куда интересней, чем все остальные темы форума, вместе взятые. :shock:

Это именно пофлудить, а не руководство к боевым действиям... Смогли рассказать как следят -расскажи как спрятаться.
Аватар пользователя
ALEXX
Администратор
Администратор
 
Сообщений: 1147
Фото: 35
Стаж: 3 года 5 месяцев 3 дня
Откуда: Королёв
Благодарил (а): 330 раз.
Поблагодарили: 187 раз.

Re: BigData следит за тобой!

Сообщение Oleg65 » 06 апр 2017, 17:12

Тут вопрос анализа. Хотя не уверен, что с точность определяют все параметры, девиация должна быть достаточно большая...
Аватар пользователя
Oleg65
Местный говорун
Местный говорун
 
Сообщений: 842
Стаж: 3 года 4 месяца 6 дней
Откуда: г.Коломна Моск.обл.
Благодарил (а): 70 раз.
Поблагодарили: 201 раз.

Re: BigData следит за тобой!

Сообщение Olej » 06 апр 2017, 17:14

Oleg65 писал(а):

Тут вопрос анализа.

Вот это (и информация об этом) и представляется особо интересным!
Как? Алгоритмика? ...
Olej
 
Стаж: 48 лет 4 месяца 23 дня

Re: BigData следит за тобой!

Сообщение Oleg65 » 06 апр 2017, 17:44

Olej писал(а):

Oleg65 писал(а):

Тут вопрос анализа.

Вот это (и информация об этом) и представляется особо интересным!
Как? Алгоритмика? ...
Скорее всего, ведь не персонал же сидит и анализирует такой поток данных... Вот на чем она основана, эта алгоритмика :? , что-то из психоанализа? :?
Аватар пользователя
Oleg65
Местный говорун
Местный говорун
 
Сообщений: 842
Стаж: 3 года 4 месяца 6 дней
Откуда: г.Коломна Моск.обл.
Благодарил (а): 70 раз.
Поблагодарили: 201 раз.

Re: BigData следит за тобой!

Сообщение Olej » 06 апр 2017, 17:53

Oleg65 писал(а):

Скорее всего, ведь не персонал же сидит и анализирует такой поток данных...

Да нет.
BigData - это совершенно технический и строгий термин. Это новая техника математической обработки очень больших объёмов данных, их перекрёстного анализа. Ещё не так давно просто вычислительных мощностей, требуемых для алгоритмики BigData, технически не присутствовало в природе (или присутствовало в виде уникальных суперкомпьютеров). А на сегодня эти техники могут быть перенесены на достаточно рядовые вычислительные средства.
Olej
 
Стаж: 48 лет 4 месяца 23 дня

Re: BigData следит за тобой!

Сообщение Olej » 06 апр 2017, 17:58

Большие данные
Цитата:
Больши́е да́нные (англ. big data, [ˈbɪɡ ˈdeɪtə]) — совокупность подходов, инструментов и методов обработки структурированных и неструктурированных данных огромных объёмов и значительного многообразия для получения воспринимаемых человеком результатов, эффективных в условиях непрерывного прироста, распределения по многочисленным узлам вычислительной сети, сформировавшихся в конце 2000-х годов, альтернативных традиционным системам управления базами данных и решениям класса Business Intelligence[1][2][3].

В широком смысле о «больших данных» говорят как о социально-экономическом феномене, связанном с появлением технологических возможностей анализировать огромные массивы данных, в некоторых проблемных областях — весь мировой объём данных, и вытекающих из этого трансформационных последствий[4].

Big Data от А до Я. Часть 1: Принципы работы с большими данными, парадигма MapReduce
Цитата:
21 сентября 2015 в 18:47
Термин Big Data появился сравнительно недавно. Google Trends показывает начало активного роста употребления словосочетания начиная с 2011 года.
Изображение
При этом уже сейчас термин не использует только ленивый. Особенно часто не по делу термин используют маркетологи. Так что же такое Big Data на самом деле? Раз уж я решил системно изложить и освятить вопрос – необходимо определиться с понятием.
В своей практике я встречался с разными определениями:
· Big Data – это когда данных больше, чем 100Гб (500Гб, 1ТБ, кому что нравится)
· Big Data – это такие данные, которые невозможно обрабатывать в Excel
· Big Data – это такие данные, которые невозможно обработать на одном компьютере

Цитата:
Таким образом под Big Data я буду понимать не какой-то конкретный объём данных и даже не сами данные, а методы их обработки, которые позволяют распредёлено обрабатывать информацию. Эти методы можно применить как к огромным массивам данных (таким как содержание всех страниц в интернете), так и к маленьким (таким как содержимое этой статьи).

Приведу несколько примеров того, что может быть источником данных, для которых необходимы методы работы с большими данными:
· Логи поведения пользователей в интернете
· GPS-сигналы от автомобилей для транспортной компании
· Данные, снимаемые с датчиков в большом адронном коллайдере
· Оцифрованные книги в Российской Государственной Библиотеке
· Информация о транзакциях всех клиентов банка
· Информация о всех покупках в крупной ритейл сети и т.д.
Количество источников данных стремительно растёт, а значит технологии их обработки становятся всё более востребованными.
Olej
 
Стаж: 48 лет 4 месяца 23 дня

Re: BigData следит за тобой!

Сообщение Olej » 06 апр 2017, 18:30

Olej писал(а):

Большие данные

Цитата:
Исходя из определения Big Data, можно сформулировать основные принципы работы с такими данными:

1. Горизонтальная масштабируемость. Поскольку данных может быть сколь угодно много – любая система, которая подразумевает обработку больших данных, должна быть расширяемой. В 2 раза вырос объём данных – в 2 раза увеличили количество железа в кластере и всё продолжило работать.

2. Отказоустойчивость. Принцип горизонтальной масштабируемости подразумевает, что машин в кластере может быть много. Например, Hadoop-кластер Yahoo имеет более 42000 машин (по этой ссылке можно посмотреть размеры кластера в разных организациях). Это означает, что часть этих машин будет гарантированно выходить из строя. Методы работы с большими данными должны учитывать возможность таких сбоев и переживать их без каких-либо значимых последствий.

3. Локальность данных. В больших распределённых системах данные распределены по большому количеству машин. Если данные физически находятся на одном сервере, а обрабатываются на другом – расходы на передачу данных могут превысить расходы на саму обработку. Поэтому одним из важнейших принципов проектирования BigData-решений является принцип локальности данных – по возможности обрабатываем данные на той же машине, на которой их храним.

Все современные средства работы с большими данными так или иначе следуют этим трём принципам. Для того, чтобы им следовать – необходимо придумывать какие-то методы, способы и парадигмы разработки средств разработки данных. Один из самых классических методов я разберу в сегодняшней статье.

Исходя из того, что обработку в технике Big Data реализуется на компьютерных кластерах, это имеет прямое и непосредственное отношение к Linux, поскольку подавляющее большинство суперкомпьютеров (кластеров) в мире работают под управлением Linux - Практические применения Linux
Цитата:
Изображение
... общий top-500, в котором вы можете сами отобрать по любому критерию, в том числе и по ОС:
Цитата:
Linux - 462
UNIX - 24
Windows - 2


Вот свежие статистики (ноябрь 2016) по используемым ОС для суперкомпьютеров:
Изображение
Последний раз редактировалось Olej 06 апр 2017, 18:44, всего редактировалось 1 раз.
Olej
 
Стаж: 48 лет 4 месяца 23 дня

След.

Вернуться в Флудилка

Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1