??? ????? Big Data ? ??? ? ???? ?????????????
Big Data ?????????? ????? ??????? ??????????, ??????? ?????????? ???????????????? ?????????? ???????? ??-?? ????????? ??????, ???????? ??????????? ? ???????????? ????????. ??????????? ????? ??????????? ?????????? ????????? ???????? ?? ????????? ????????.
???????????? ? ??????????? ??????????? ???????? ????????? ????????. ??????? ?????????? ???????? ? ???????????????. ????? ???????? ??????? ?? ???????????. ????? ????? ???????? ??????????? ????????? ??? ????????? ?????????. ????????? ??? — ???????????? ??????????? ??? ????????? ???????.
?????????? Big Data ????????????? ?????? ????????? ???????????????? ??????. ???????? ????????? ??????? ??????????????? ????????. ????????? ??????? ????????????? ??????????? 1??? ? ?????? ??????????? ???????. ???????? ????????? ??????????? ?????? ??? ??????????? ????????.
???????? ??????????? Big Data
????????? ??????? ?????? ????????? ?? ???? ???????? ?????????, ??????? ?????????? ????? V. ?????? ????? — Volume, ?? ???? ?????????? ????????. ??????????? ?????????????? ????????? ? ????????? ?????????? ???????????. ?????? ???????? — Velocity, ???????? ???????????? ? ???????. ?????????? ??????? ????????? ???????? ?????? ?????? ???????. ?????? ???????? — Variety, ???????????? ???????? ??????.
????????????????? ???????? ????????? ? ???????? ? ??????????? ?????? ? ??????. ??????????????? ?????? ?? ???????? ?????????????? ???????? ?????. ??????????, ???????????, ????????? ????? ????????? ? ???? ????. ????????????????????? ?????? ????? ????????????? ?????????. XML-????? ? JSON-????????? 1win ???????? ???? ??? ??????????? ????????.
?????????????????? ??????? ?????????? ????????? ???????? ?? ????????? ???????? ???????????. ???????? ????????????? ?????????????? ???????? ??? ?????????? ???????????. ???????????????? ???????????? ??????????? ?????????? ??????? ??? ???????? ?????????. ?????????? ???????????? ??????????? ???????? ??? ?????? ?? ????? ?????????. ???????????? ?????????? ??????? ?????? ?? ????????? ??????? ??? ??????????? ???????????? ? ???????????? ?????????.
????????? ??????? ??????
??????????? ????????? ???????? ?????? ?? ???? ??????????. ?????? ????????? ??????? ?????? ??????? ???????? ??? ????????? ????????????.
??????? ?????? ???????? ?????????? ????????:
- ?????????? ???? ????????? ????????? ?????????, ????????, ????? ? ?????????? ? ?????????? ?????????. ??????? ??????????? ?????, ??????? ? ???????????.
- ???????? ????? ?????????? ????? ????????, ??????? ? ?????????. ??????????? ??????? ????????? ???????? ??????????. ??????????? ?????????? ??????????? ?????????? ? ??????????? ? ?????????????.
- ?????????????? ??????? ?????????? ???????? ???????? ? ??????. ?????????? ????????? ?????????? ??????????. ??????-???????? ?????? ?????? ??????? ? ?????? ???????????? 1??? ??? ???????????????? ???????????.
- ???-??????? ??????????? ?????? ?????????, ????? ? ???????? ?? ??????. ????????? ????????? ???????????? ??????? ?????????????.
- ????????? ?????????? ??????????? ?????????????? ???????? ? ?????? ?? ?????????? ???????.
?????? ????????? ? ???????? ??????
?????????? ???????? ?????????? ?????????????? ??????? ???????????? ????????. API ????????? ?????????? ?????????????? ???????? ?????????? ?? ????????? ????????. ???-????????? ????????? ?????? ? ??????. ????????? ?????????? ??????????? ????????????? ??????????? ?????? ?? ???????? ? ?????? ?????????? ???????.
??????? ???????? ???????? ???????? ??????????? ?? ????????? ?????????. ??????????? ????????? ?????????? ???????? ? ???????? ?? ????????????. NoSQL-????????? ????????? ???????????? ????????? ??? ??????????????????? ????????. ???????????????????????? ????????? ?????????? ?????????? ? ??????? JSON ??? XML. ???????? ??????? ???????????????? ?? ?????????? ?????? ????? ?????? 1??? ??? ????????? ?????????? ?????.
?????????????? ???????? ??????? ???????????? ???????? ?? ???? ?????. Hadoop Distributed File System ????? ????????? ?? ????? ? ???????? ?? ??? ????????????. ???????? ??????? ???? ?????????????? ?????????. Amazon S3, Google Cloud Storage ? Microsoft Azure ??????????? ??????????? ?? ?????? ??????? ????.
??????????? ???????? ?????????? ? ????????? ?????????? ????????. ??????? ????????? ?????????? ?????? ? ??????????? ?????? ??? ???????????? ???????. ????????????? ????????? ????? ??????????? ??????? ?? ??????????? ??????????.
??????? ??????? Big Data
Apache Hadoop ?????????? ????? ??????? ??? ?????????????????? ????????? ????????????? ????????. MapReduce ????????? ???????? ?? ????? ????? ? ????????? ??????? ??????????? ?? ???????????? ?????. YARN ????????? ?????????? ???????? ? ????????? ???????? ????? 1??? ????????. Hadoop ???????????? ????????? ?????????? ? ???????????? ???????????.
Apache Spark ????????? Hadoop ?? ???????? ??????? ????????? ?????????? ??????????? ??????. ??????? ????????? ???????? ? ??? ??? ??????? ????????? ??????. Spark ?????????? ????????? ??????, ????????? ?????????, ???????? ???????? ? ??????? ????????. ???????????? ????????? ??? ?? Python, Scala, Java ??? R ??? ?????????? ????????????? ????????.
Apache Kafka ????????????? ??????????? ???????? ?????? ????? ???????????. ????????? ???????????? ???????? ??????? ? ??????? ? ?????????????? ???????????. Kafka ?????? ?????? ???????? 1 win ??? ??????????? ??????? ? ??????????? ? ??????? ????????? ????????? ??????.
Apache Flink ???????????????? ?? ??????????? ??????????? ?????????? ? ????????? ???????. ??????? ???????????? ???????? ?? ???? ?? ????????? ??? ?????????. Elasticsearch ????????????? ? ????????? ???????? ? ??????? ?????????????. ?????????? ?????????? ?????????????? ?????????? ? ????????????? ??????????? ??? ????????, ??????????? ? ???????.
????????? ? ???????? ????????
????????? ??????? ???????? ???????? ?????? ???????? ?? ???????? ??????????. ???????????? ????????? ????????? ???????????? ???????. ??????????????? ???????? ???????????? ????????? ??????????. ???????????? ????????? ???????????? ????????????? ?????? ?? ?????? ???????? ??????. ???????????????? ????????? ???????? ????????? ????.
???????? ???????? ?????????????? ??????????? ????????? ? ??????. ?????? ?????? ?? ???????? ? ???????? ????????????? ???????????. ????????? ???????? ????????? ?????????????? ?????? ??? ??????????. ????????? ?????????? ?????? ????????? ??? ???????? ??????????.
???????????????? ???????? ???????????? ????????? ??????????? ? ????????????? ??????????. ??????????? ?????????? ??????? ??????? ??? ?????????? ????????????. ???????? ? ????????????? ???????? ????? ??????? 1 win ??? ?????????? ??????????????.
???????? ???????? ????????? ????????? ???? ??? ??????????? ???????. ?????????? ?????? ???????????? ??????????. ???????????? ???? ?????????????? ????????? ?????????????????? ? ????????? ?????.
??? ???????????? Big Data
???????? ???????? ?????????? ??????? ?????????? ??? ???????????????? ??????????? ???????????. ???????? ????????? ??????? ??????? ? ?????????? ?????? ?????????. ??????? ????????????? ????? ?? ?????? ? ??????????? ????????? ???????. ????????? ???????????? ??????????? ???????? ??? ????????? ???????????????? ???????.
???????? ?????? ????????? ????????? ??? ????????????? ?????????? ????????. ????????? ????????? ??????? ???????? ????????????? ? ?????????? ????????? ?????????? ? ????????? ???????. ??????? ???????? ????????? ?????????????????? ???????? ?? ???? ???? ??????????. ????????? ?????????? ?????? ??? ??????????? ???????? ?????????.
??????????????? ??????????? ?????? ??? ????????? ????????? ???????. ??????????? ?????????? ??????? ????? ?????? ? ???????????? ????????? ???????? ???????. ???????????? ??????? 1 win ???????????? ???-?????????????????? ??? ???????????? ?????????????? ???????. ???????????? ??????? ???????????? ?????????? ???????? ? ????????? ? ??????????? ??????????.
????????????? ??????? ?????????????? ??????????? ?????????? ? ?????????????? ???????? ??????. ??????????? ???????????? ???????? ??????? ? ???????????? ?????????. ????? ?????????? ?????????? ????????????? ????????????? ? ???????????? ?????????. ????????????? ??????? ????????? ?????? ?? ?????? ? ?????????????? ???????.
??????? ???????????? ? ???????????
?????? ?????????? ?????? ?????????? ????????? ????????? ??? ???????????. ?????? ???????? ???????? ?????????????? ?????? ??????????, ????????? ????????? ? ?????? ???????. ??????????? ???????? ????????? ????????? ????? ? ????? ? ????????????? ???????. ?????? ???????? ??????? ??? ??????? ?????? ????????.
???????????? ????????? ?????????? ?? ???????????????????? ?????????????. ??????? ???????????? ???????? ? ???????? ????????? ??? ???????????? ????. ??????????? 1win ???????? ???????? ??? ???????? ?? ???? ? ???????? ?? ???????. ?????????????? ?????????????? ???????????? ???????? ??????????? ????? ??????????????? ?????.
??????????? ???????? ?????? ????????? ????????????? ?????????????? ??????. ??????????? ???????? GDPR ????????????? ???????????? ???????? ?? ??????????? ??????. ???????? ????????? ???????? ??????????? ? ?????????? ?????????????? ????????. ?????????? ?????? ?????? ?? 4% ?? ???????? ??????.
???????????? ??????? ???????????????? ???????? ?? ??????? ??????????. ??????? ????????? ?????, ?????????? ? ??????? ????????. ???????????????? ??????????? ????????? ?????????????? ?????? ? ???????????. ?????? ???????????? ??????????? ?????????????? ??? ???????????? ?????????? ????????? ?????. ?????????? ????? ????????? ?????????? ?????????? ?? ???????????? ????????? ??????????.
????????? ?????????? ??????? ????????
????????? ???????? ???????? ?????? ??????? ??????????. ????????? ??????? ?????? ??????? ?????? ?? ??????? ?????? ???. ??????? ??????? ????????????????? ??????, ????????? ????? ? ????????????? ?????????? ????. ??????????? ??????????? ????????? ? ???????????? ????????? ???????????.
???????????? ?????????? ????????? ?????? ?????? ????? ? ?????? ????????????. ??????? ???????????? ?????????? ???????? ??? ?????????? ? ??????. ?????? ???????????? ?????????? ? ????????? ?????????? ???????????. ??????????????? ????????? ????????? ????????????? ? ????????????? ????????? ??????? ?? ?????.
????????????? ????????? ???????????? ???????????? ???????????? ????????????? ???????. ?????????????? ???????? ???????? ??????? ?????? ????????? ??? ??????????? ?????????. ????????? ?????? ?????????? ????????????? ???????? ??? ???????? ??????. ????????? ???????? ?????????? ????????????? ? ????????? ??????????? ? ??????????.
?????????????????? ???????? 1win ????????? ???????? ??????? ?? ?????????????? ????????? ??? ??????? ??????????. ??????? ???????? ?????? ??????????? ??????, ???????? ??????????????????. ???????? ???????????? ??????? ??????? ? ??????????? ????????. ???????? ???????????? ??????????? ???????? ? ?????? ?? ????????.