上一章节详细讲了Spark的运行原理，没有关注的童鞋可以关注加米谷大数据查看上一章节的详细内容。通过Spark运行原理的讲解大家了解了Spark在底层的运行，那Spark的运行模式又是什么样的呢？通过...
Spark
Spark
Spark
Spark运行原理-加米谷大数据
在大数据领域，只有深挖数据科学领域，走在学术前沿，才能在底层算法和模型方面走在前面，从而占据领先地位。 Spark的这种学术基因，使得它从一开始就在大数据领域建立了一定优势。无论是性能，还是方案的统一...
Python
Spark下使用python写worldCount
安装spark就省略了，网上很多方法。 test-data.txt文件 a b c aaa bbb ccc a b c c b a vi wordcount.py #!/usr/bin/env pyt...
Hadoop
数据报告|数据科学从业者，你要怎样才能赚更多钱？（附下载）
作为数据控的你内心肯定特别关注数据行业未来的赚钱能力，而知名计算机图书出版商O'Reilly近日发布的《2016数据科学从业者薪酬报告》就提供了答案。 ▍报告要点 O'Reilly根据来自45个国家9...
Hadoop
一文读懂Hadoop、HBase、Hive、Spark分布式系统架构
机器学习、数据挖掘等各种大数据处理都离不开各种开源分布式系统，hadoop用户分布式存储和map-reduce计算，spark用于分布式机器学习，hive是分布式数据库，hbase是分布式kv系统，看...
Hadoop
盘点主流大数据工具，你知道几个？
业内有这样一种说法，SQL虽然在大数据分析领域久经考验，但是无奈长江后浪推前浪，和炙手可热的Hadoop相比，SQL已经过时了。这个说法有点言过其实，现在很多的项目都是将Hadoop作为数据存储，然后...
Spark
为什么说Spark SQL远远超越了MPP SQL
作者：祝威廉 前言 这里说的并不是性能，因为我没尝试对比过(下文会有简单的说明)，而是尝试从某种更高一层次的的角度去看，为什么Spark SQL 是远远超越MPP SQL的。 Spark SQL 和 ...
Python
我的数据分析/数据挖掘/机器学习必读书目
总结一下我读过的机器学习/数据挖掘/数据分析方面的书，有的适合入门，有的适合进阶，没有按照层次排列，先总结一下，等总结的差不多了再根据入门--->进阶分块写。下面列的书基本上我写的都是读完过的，...
大数据
大数据架构师技能图谱
大数据通用处理平台 Spark Flink Hadoop 分布式存储 HDFS 资源调度 Yarn Mesos 机器学习工具 Mahout Spark Mlib TensorFlow (Google ...
Hadoop
大数据分析流程
这篇文章来自一个公司内部的分享，是自己所服务的业务中数据平台的发展历程，已经讲了有几个月了，最近打算挑几个点拿出来用文章的形式写出来。是自己进入公司以来参与过或者接触过的数据型项目的情况。基本包含了业...
