初试Spark之K-Means聚类算法实现
关键词：kmeans文本聚类spark、spark kmeans 聚类、spark实现kmeans算法、kmeans聚类算法原理、k means聚类算法
自学Spark有将近一个月了，一直想找一个稍微复杂点的例子练练手，K均值聚类算法实...
cdadata
8年前 (2017-05-13) 5644℃
1喜欢
Spark 随机森林算法原理、源码分析及案例实战
关键词：随机森林算法原理、随机森林算法详解、随机森林算法流程、随机森林算法实现、机器学习、随机森林算法源码分析
本文首先对决策树算法的原理进行分析并指出其存在的问题，进而介绍随机森林算法。同单机环境下的随机森林构造不同的是，分布式...
cdadata
8年前 (2017-05-11) 4854℃
2喜欢
ubuntu安装配置hadoop和hive
1、下载jdk并配置环境变量
http://www.oracle.com/technetwork/java/javase/downloads/index.html
ls
-rwxr–r– 1 lpxuan lp...
cdadata
9年前 (2016-04-13) 3512℃
0喜欢
Hadoop计算文件大小
关键词：hadoop 查看文件大小 hadoop查看文件夹大小 hadoop 文件大小
//Hadoop计算文件大小:
public static void main(String[] args) throws IOException{
String t...
cdadata
9年前 (2016-03-30) 5140℃
0喜欢
hadoop wordcount运行实例
root@hadoop1:/opt/hadoop# echo “hello hadoop world” > /tmp/test_file1.txt
root@hadoop1:/opt/hadoop# cat ...
cdadata
9年前 (2016-03-10) 4018℃
0喜欢
如何利用Hadoop降低大数据分析成本
大数据将成为代替云计算的新一代热门话题。这是必然的结果：随着时间的推移，企业产生的数据量已经越来越大了，这些数据包括客户购买偏好趋势、网站访问和习惯、客户审查数据等等;那怎样才能把这么大的数据集整理成综合形式呢?传统的商业智能(BI)工具(...
cdadata
9年前 (2016-02-26) 5039℃
2喜欢
大数据下的数据分析平台架构
随着互联网、移动互联网和物联网的发展，谁也无法否认，我们已经切实地迎来了一个海量数据的时代，数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB，对这些海量数据的分析已经成为一个非常重要且紧迫的需求。
作为一家互联网数据分析公司，我们在海量数...
cdadata
9年前 (2016-02-22) 4713℃
1喜欢
Hadoop集群应用于大数据分析优势和挑战
大数据分析在过去几年里非常流行。即便如此，很多组织发现，现有的数据挖掘和分析技术还是不能胜任大数据的处理任务。对于这个question，一个可能的解决方案就是搭建Hadoop集群，但它并不适合所有情况。让我们了解一下使用Hadoop集群...
cdadata
9年前 (2016-01-25) 4323℃
1喜欢
Hadoop如何计算map数和reduce数
关键词：hadoop map reduce、hadoop reduce个数 hadoop培训
Hadoop在运行一个mapreduce job之前，需要估算这个job的maptask数和reducetask数。首先分析一下job的ma...
cdadata
9年前 (2016-01-25) 3590℃
0喜欢
Hadoop安装部署-系统架构
关键词：hadoop系统架构 hadoop安装部署 hadoop生态系统架构图 hadoop单机安装部署
Hadoop要求所有机器上hadoop的部署目录结构要相同，并且都有一个相同的用户名的帐户，所以需要每台机器见一个同名的用户。Hadoop...
cdadata
9年前 (2015-11-14) 3655℃
0喜欢
