Ⅰ 大数据和大数据开发有什么区别
大数据指纯粹的大量数据；大数据开发指从大量数据中找到有用的信息加以开发利用。
Ⅱ 大数据其实就是写sql吗
大数据产业上游是基础支撑层，主要包括网络设备、计算机设备、存储设备等硬件供应，此外，相关云计算资源管理平台、大数据平台建设也属于产业链上游;
大数据产业中游立足海量数据资源，围绕各类应用和市场需求，提供辅助性的服务，包括数据交易、数据资产管理、数据采集、数据加工分析、数据安全，以及基于数据的IT运维等;
大数据产业下游则是大数据应用市场，随着我国大数据研究技术水平的不断提升，目前，我国大数据已广泛应用于政务、工业、金融、交通、电信和空间地理等行业。
Ⅲ 从事大数据工程师要学会哪些语言
1、Java基础
90%以上的大数据框架都使用Java开发语言，所以要想学习大数据技术，首先要掌握Java的基本语法和JavaEE的相关知识。
2、MySQL数据库
这是学习大数据的必备知识之一。数据的操作语言是SQL，所以很多工具的开发目标都是在Hadoop上使用SQL。
3、Linux系统
大数据的框架安装在Linux操作系统上，掌握Linux相关知识也是学习大数据的基础知识。
Ⅳ 大数据开发需要学什么基础掌握什么技能
【导读】大家都知道，近几年大数据发展的特别的火，很多人报班学习大数据，做起了大数据工程师，那么你知道大数据开发需要学什么基础?掌握什么技能吗?学习大数据要学习那个方向呢?下面我们就来具体的了解一下吧!
只需要学习Java的标准版JavaSE就可以了，像Servlet、JSP、Tomcat、Struts、Spring、Hibernate，Mybatis都是JavaEE方向的技术在大数据技术里用到的并不多，只需要了解就可以了，当然Java怎么连接数据库还是要知道的，像JDBC一定要掌握一下。
有同学说Hibernate或Mybites也能连接数据库啊，为什么不学习一下，我这里不是说学这些不好，而是说学这些可能会用你很多时间，到最后工作中也不常用，我还没看到谁做大数据处理用到这两个东西的，当然你的精力很充足的话，可以学学Hibernate或Mybites的原理，不要只学API，这样可以增加你对Java操作数据库的理解，因为这两个技术的核心就是Java的反射加上JDBC的各种使用。
通用的技能：除了具备基础的Sql能力以外，包括会用传统的Mysql、Oracle这种传统数据库，而且要会用Hive、Hbase这些基于分布式的数据库;当然Java编程能力是不可少的，其他方面的诸如Maprece和Spark也会就更好了。
会用集群，集群除了问题有一定解决集群问题的能力。数仓开发：要会数仓建模，维表、事实表、主题表、星型模型、雪花模型等等，要对业务非常熟悉，有全局观，才能建好数据仓库。
数据开发：数据开发有离线开发和实时开发，这种更偏向后端开发，类似java有需求就开发，加上平时对程序维护。
数据分析：这个要求sql功底强，如果能用python对数据分析那会更好了。要会用sqoop和kettle等这些常用的ETL工具，会用报表系统。
以上就是小编今天给大家整理发布的关于“大数据开发需要学什么基础?掌握什么技能??”的相关内容，希望对大家有所帮助。更多关于零基础学大数据的相关内容，关注小编，持续更新。
Ⅳ 要成为一名大数据开发工程师必备哪些技能
首先我们要了解Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。
大数据
Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据基础。
Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。
Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapRece和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapRece是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。
Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。
Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。
Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。
Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapRece程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。
Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapRece、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。
Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。
Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。
Spark：它是用来弥补基于MapRece处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。
Ⅵ 大数据开发怎么学习
Java
大家都知道Java的方向有JavaSE、JavaEE、JavaME，学习大数据要学习那个方向呢？只需要学习Java的标准版JavaSE就可以了，像Servlet、JSP、Tomcat、Struts、Spring、Hibernate，Mybatis都是JavaEE方向的技术在大数据技术里用到的并不多，只需要了解就可以了，当然Java怎么连接数据库还是要知道的，像JDBC一定要掌握一下。
Linux
因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。
Hadoop
这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapRece和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapRece是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。
YARN
是体现Hadoop平台概念的重要组件有了它大数据生态体系的其它软件就能在hadoop上运行了，这样就能更好的利用HDFS大存储的优势和节省更多的资源比如我们就不用再单独建一个spark的集群了，让它直接跑在现有的hadoop yarn上面就可以了。
Zookeeper
这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。
Mysql
我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那？你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。
Sqoop
这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。Hive这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapRece程序。有的人说Pig那？它和Pig差不多掌握一个就可以了。
Oozie
既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapRece、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。
Hbase
这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。
Kafka
这是个比较好用的队列工具当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方（比如Kafka）的。
Spark
它是用来弥补基于MapRece处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。
Ⅶ 从事大数据开发需要具备哪些技能
大数据开发一般要具备编程能力，就我从业3年多经验来看，有编程能力会获得更好的发展。
大数据开发一般有数仓开发、数据分析、数据开发三大类，每类要求的技能是不一样的。但是都有很多共通的技能。
通用的技能：除了具备基础的Sql能力以外，包括会用传统的Mysql、Oracle这种传统数据库，而且要会用Hive、Hbase这些基于分布式的数据库；当然Java编程能力是不可少的，其他方面的诸如Maprece和Spark也会就更好了。会用集群，集群除了问题有一定解决集群问题的能力。
数仓开发：要会数仓建模，维表、事实表、主题表、星型模型、雪花模型等等，要对业务非常熟悉，有全局观，才能建好数据仓库。
数据开发：数据开发有离线开发和实时开发，这种更偏向后端开发，类似java有需求就开发，加上平时对程序维护。
数据分析：这个要求sql功底强，如果能用python对数据分析那会更好了。要会用sqoop和kettle等这些常用的ETL工具，会用报表系统。
当然，如果你想学习，可以深入学习更多的东西。毕竟在平时开发的过程中，尤其是小公司分工不明确的情况下，这些技能或多或少都需要我们掌握的。就是一个人可以当几个人用，类似全栈工程师。
Ⅷ 只会sql能做大数据吗
只会sql能做大数据。大数据应用开发岗位需要的知识结构包括大数据平台体系结构、编程语言、数据库NoSQL、算法设计等内容可见在大数据应用开发岗位需要掌握SQL，NoSQL的意思是NotonlySQL，不仅仅是SQL，不是说不需要SQL。对于应用程序开发人员来说掌握SQL是基本的要求。
sql数据分析
在数据分析过程中，数据预处理是最重要也最复杂的环节。懂得SQL编程语句的专业人员能够在数据分析过程中做相应的处理工作，包括数据连接、过滤属性构造、分类汇总、去重排序等等。但现在即使不会做SQL，也可以应用超级数据处理算子功能帮助普通人员在无需掌握SQL语句的前提下，通过可视化操作无需编码就可以进行数据处理大大提高数据处理的效率。
Ⅸ 大数据开发是不是很难学没有基础可不可以学习呢
如今大数据人才紧缺，不少人都想通过培训进入到大数据行业，那么同时也会问，大数据培训难不难学？零基础能不能学大数据？大数据培训难不难，还是得看个人坚持学习的毅力。零基础参加大数据培训当然是没问题的了，目前许多大数据培训机构都开设了零基础培训班。也算是针对广大零基础的学员一种福利。
零基础学习大数据是不是很难？
在这个人才紧缺的时代，能够把握时间，找准方向，快速的融入到这一行，肯定不是那么容易的事情，因为你各个环节上都得深思熟虑一番，才能开始去行动，比如你正在犹豫要不要转行；好不容易决定之后又在犹豫选择哪家机构；哪里有零基础授课的培训机构等等问题扑面而来。
当零经验进入时，肯定需要工作技巧、行业背景知识等多方面的输入，如果沟通能力强，可以很好的把人际关系维护好的话，会更容易得到支持。
零基础的学习大数据开发之后，得具备那些东西？
理论+思路+工具+实践
理论：简单的数理统计原理，请熟悉。一开始不必了解太高深，知道抽样的原理，常见统计方法即可。随着工作和业务的需求，进一步有针对性的深入学习。
思路：这个是比较重要的，也是需要逐渐培养的，什么情况应该有什么方法做统计分析？希望通过分析得到什么结论？
工具：excel的常用统计公式，统计方法需要了解。大量数据的可以考虑学习下spss，再高阶可以用R等等。
实践：这是最重要的，可以尝试从身边的一些日常案例入手，培养自己的洞察力。
补充一点：要以此为职业，建议认真研读这类岗位的招聘需求，文章很多，已经明确告知了你需要哪些能力，可以把自己当作是已经在职的人员思考，如果我来做这个业务，应该怎么去做。