当前位置:首页 > 生活小百科

生活小百科

干什么的(带你一秒了解其中秘密)

分类:生活小百科 2021-08-05
干什么的(带你一秒了解其中秘密)

干什么(带你一秒了解其中秘密)

1.什么是Hadoop
1.1、短篇小说版本的解读
小明接到一个任务:计算一个100米文字文件的字数。文本文件有几行,每行有几个单词,每行的单词用一个空格键隔开。小明对处理这种100M尺度数据的计算任务感到轻松。他先把这个100米的文件复制到他的电脑上,然后写一个计算程序在他的电脑上运行,把结果顺利输出。
后来小明接到另一个任务,计算一个1T(1024G)的文本文件中的字数。后来,小明接到一个任务,计算一个1P(1024T)文本文件中的字数.
面对如此大规模的数据,小明的电脑无法存储,也无法计算出这么大的数据文件里有多少字。机智的小明上网百度了一下,在百度输入框里写道:大数据存储计算怎么办按回车键后,出现一个关于Hadoop的网页。
小明看了很多网页,总结出一句话:Hadoop是存储和分析海量数据的工具。
1.2,专业一点的解释
Hadoop是一个由java语言编写的开源框架,它在分布式服务器集群上存储大量数据,并运行分布式分析应用程序。它的核心组件是HDFS和MapReduce。
HDFS是一个分布式文件系统:引入了存储文件元数据信息的服务器Namenode和实际存储数据的服务器Datanode,以分布式方式存储和读取数据。
MapReduce是一个计算框架:MapReduce的核心思想是将计算任务分配给集群中的服务器。通过拆分计算任务(映射计算/减少计算),任务根据作业跟踪器进行分配。
1.3、记住下面的话:
Hadoop框架的核心设计是HDFS和MapReduce。HDFS为海量数据提供存储,而MapReduce为海量数据提供计算。
HDFS被理解为用于存储大规模数据的分布式、冗余和可动态扩展的大硬盘。
将MapReduce理解为一个计算引擎,根据MapReduce的规则编写Map计算/Reduce计算的程序,可以完成计算任务。
2.Hadoop能做什么
大数据存储:分布式存储
日志处理:擅长日志分析
ETL:数据被提取到oracle、mysql、DB2、mongdb和主流数据库中
机器学习:比如Apache Mahout项目
搜索引擎:Hadoop lucene的实现
数据挖掘:目前流行的广告推荐和个性化广告推荐
Hadoop是专门为离线和大规模数据分析而设计的,不适合随机读写几条记录的在线事务处理模式。
实际应用:
(1)水槽日志隐藏卡夫卡火花流实时日志处理和分析
(2)酷狗音乐大数据平台
3.如何使用Hadoop
3.1、Hadoop集群建设
无论是在windows上安装几个虚拟机来玩Hadoop,还是安装一个真实的服务器来玩,简单来说就是在每台服务器上放Hadoop安装包,改变配置,启动Hadoop集群。
3.2.将文件上传到Hadoop集群
Hadoop集群建成后,可以通过网页查看集群的情况,通过Hadoop命令将文件上传到hdfs集群,通过Hadoop命令在hdfs集群上建立目录,通过Hadoop命令删除集群上的文件,等等。
3.3.编写映射/简化程序
通过集成开发工具(如eclipse)导入Hadoop相关的jar包,编写map/reduce程序,将程序做成jar包扔在集群上执行,运行后生成计算结果。
提示:作者在不断更新,请稍等。
作者:CHANGE_GOAL_FOCUS
来源:CSDN
原文:
容量修复棒是干什么用的
剃须棒利用两种颜色的阴影来创造光影效果,让人在视觉上感觉脸很小。还用于修改脸部轮廓,在两侧产生阴影,在鼻侧产生阴影,使五官看起来更有立体感。浅色的头可以提亮面部。
如何使用维修棒
1.深色修边棒从颧骨下方的发际线位置开始,勾勒出两侧下颌骨的位置。鼻子和鼻子的位置也要画,嘴唇下面要画一条线,增加嘴唇的立体感。
2.在额头、下巴、鼻梁和前面的三角形涂上浅色,使其变亮。记得把前面的三角形放在黑眼圈下面,眼袋下面。
3.选择刷子或者海绵,先把光修能力摊开,再拍开暗修能力。
剃须膏的质地
剃须棒的质地是糊状的,不用担心剃须棒会不会干。保湿度很好。用起来不会油,整体上是很舒服的质感。
维修棒使用注意事项
1.剃须膏本身属于膏体,和口红很像。所以如果放在高温环境下,会融化甚至破裂。建议平时放在干燥通风的地方。如果发现剃须棒融化了,就放冰箱里。
2.修复棒打开后,其膏体会与空气、空气中的细菌、灰尘接触,加速其变质。因此,当它用完时,需要立即用盖子盖住它的糊状物。
3.修复棒不仅可以画脸,还可以画锁骨的位置,可以让锁骨更明显。

本文地址:http://www.miaowen123.com/baike/2997.html