写在前面 层出不穷的新技术、新概念、新应用往往会对初学者造成很大的困扰，有时候很难理清楚它们之间的区别与联系。本文将以数据研发相关领域为例，对比分析我们工作中高频出现的几个名词，主要包括以下几个方面：...
数据库、数据仓库、大数据平台、数据中台、数据湖对比分析
阅读全文
大数据HBase问题排查经过及HDFS 安全模式理解
一次断电开关机后，网站的信息无法浏览了。 代码查源 我们代码会有连接的有以下的组件： Solr cloud MySQL Oracle HBase 一个一个检查，首先排除了MySQL和Oracle，不然...
HBase在腾讯大数据的应用实践
腾讯产品与技术的发展，几乎任何一个与用户相关的在线业务的数据量都在亿级别，每日系统调用次数从亿到百亿，对海量数据的高效插入和快速读取变得越来越重要。而传统关系型数据库模式固定、强调参照完整性、数据的逻...
python大数据开发：实现微信自动报表
作者：我在等风也等你 大数据时代下，从基层到管理层都希望从日常数据着手，关注业务每日变化的同时寻找可以驱动业务的点。所以日常报表的及时性和便捷可读性非常重要。特别是有时候周末放假，老板突然想知道这两天...
Apache Kylin：大数据下的Olap解决方案
OLAP的历史与基本概念 Olap全称为在线联机分析应用，是一种对于多维数据分析查询的解决方案。 典型的Olap应用场景包括销售、市场、管理等商务报表，预算决算，经济报表等等。 最早的Olap查询工具...
Apache Kylin是什么？大数据分析界的“神兽”
1.Apache Kylin是什么？ 在现在的大数据时代，越来越多的企业开始使用Hadoop管理数据，但是现有的业务分析工具（如Tableau，Microstrategy等）往往存在很大...
Blink开源PK Spark3.0，实时流计算技术框架谁能称霸大数据领域？
2019年伊始，实时流计算技术开始步入普通开发者视线，各大公司都在不遗余力地试用新的流计算框架，实时流计算引擎Spark Streaming、Kafka Streaming、Beam和Flink持续火...
大数据分析六大工具：hadoop到Pentaho BI
一、hadoop Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因...
什么是云计算?什么是大数据?联系和区别是?
大数据和云计算的概念区别：大数据说的是一种移动互联网和物联网背景下的应用场景，各种应用产生的巨量数据，需要处理和分析，挖掘有价值的信息;云计算说的是一种技术解决方案，就是利用这种技术可以解决计算、存储...
阿里基于Hbase搜索离线大数据平台架构 如何实现秒级百万TPS？
什么是搜索离线？ 一个典型的商品搜索架构如下图所示，本文将要重点介绍的就是下图中的离线数据处理系统（Offline System）。 何谓离线？在阿里搜索工程体系中我们把搜索引擎、在线算分、Searc...
大数据产品经理必备数据挖掘知识概述
了解数据挖掘知识是大数据产品经理必备的技能，经过了一段时间的深入学习，以及所负责项目中用到的数据挖掘内容，使我对数据挖掘有了更深一步的认识，但自认为还是小白阶段。 路漫漫其修远兮，在这里，先将总结出来...
Java、大数据开发、Python哪个前景好薪资更高？
人工智能和大数据主要用的语言就是Java和Python。今天我们就来分析一下，当前java，python和大数据，哪个就业前景更好？自己该学哪一个？ Java和Python是编程语言，而大数据则是一系...