小新叶

 找回密码
 立即注册

QQ登录

只需一步,快速开始

mito
查看: 728|回复: 7

2018年电信大数据项目实战(电信级海量数据处理)视频教程

[复制链接]

5万

主题

5万

帖子

16万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
165222
发表于 2018-10-2 08:42:49 | 显示全部楼层 |阅读模式
课程名称:  2018年电信大数据项目实战(电信级海量数据处理)视频教程

课程简介:
2018年电信大数据项目实战(电信级海量数据处理)视频教程


通信运营商每时每刻会产生大量的通信数据,例如通话记录,短信记录,彩信记录,第三方服务资费等等繁多信息。数据量如此巨大,除了要满足用户的实时查询和展示之外,还需要定时定期的对已有数据进行离线的分析处理。例如,当日话单,月度话单,季度话单,年度话单,通话详情,通话记录等等。我们以此为背景,寻找一个切入点,学习其中的方法论。
系统版本
windows10专业版
linuxCentOS 6.8 or CentOS7.2 1611内核




开发工具:
工具版本
idea2017.2.5 旗舰版
maven3.3.9
JDK1.8+
尖叫提示:idea2017.2.5 必须使用 maven3.3.9,不要使用 maven3.5,有部分兼容性问题




集群环境:
框架版本
Hadoopcdh5.3.6-2.5.0
zookeepercdh5.3.6-3.4.5
hbasecdh5.3.6-0.98
hivecdh5.3.6-0.13
flumecdh5.3.6-1.5.0
kafka2.10-0.8.2.1




硬件环境:
linux01linux02linux03
内存4G2G2G
CPU2 核1 核1 核
硬盘50G50G50G


----------------------课程目录------------------------------


1、运营商项目项目架构简介
2、项目开发环境介绍(系统,框架,开发工具等)
3、idea工具基本设置之Maven
4、idea工具基本操作设置
5、idea新建项目
6、生产数据的数据结构
7、构建模拟的数据
8、日志生产代码编写完成
9、日志生产,代码打包,测试
10、idea编码设置
11、kafka的初始化与主题创建
12、实时生产日志,flume采集,到kafka并测试成功
13、producer模块总结
14、新建ct_consumer项目,并构建常用工具类
15、通过kafka API实现消费数据到控制台,并成功测试




1、前情回顾,以及项目整体再次梳理
2、封装HBaseAPI,判断表是否存在
3、封装HBaseAPI,初始化命名空间
4、设计Table的region分区键
5、设计rowkey的分区号
6、HbaseDAO的封装
7、写入实时数据到HBase测试成功
8、协处理器的编写与讲解
9、HBase协处理器测试以及遇到一些问题
10、HBase上一个视频的遗留问题的解决(协处理器中的过滤逻辑错误,jar包运行时需要注意的问题)




1、HBase存储数据源码走读
2、HBase代码以及其他设置优化
3、HBase批量保存数据测试
4、HBase时间戳toBytes的一些问题,以及面试中遇到的乱码问题
5、anlysis阶段需求分析以及表结构探讨
6、Mysql表结构总结
7、Mysql结果表的创建
8、初始化数据分析工程module
9、封装JDBCUtil以及自定义输出Key的维度类型
10、封装ComDimension以及输出的Value类型
11、迷茫知识点之梳理
12、数据分析:Mapper
13、数据分析:Reducer




1、前一天知识梳理总结
2、Runner的Job组装
3、RecordWriter
4、维度转换:缓存键的生成
5、维度转换:封装实现1
5、维度转换:封装实现2
5、维度转换:封装实现3
6、OutputForamt封装
7、2个Bug的修复
8、又1个Bug的修复
9、RecordWriter封装完成
10、3个Bug,运行测试成功,并查验Mysql中的数据分析结果




1、MR源码走读理解OutputFormat
2、构建Web工程
3、构建JAVABean,DAO,SQL查询语句
4、构建Controller中返回的数据
5、运行测试Web项目查看返回结果
6、Web font显示数据
7、项目总结





    下载地址:
游客,如果您要查看本帖隐藏内容请回复




楼主热帖
回复

使用道具 举报

0

主题

1163

帖子

2506

积分

金牌会员

Rank: 5Rank: 5

积分
2506
发表于 2018-10-2 19:27:32 | 显示全部楼层
666666666666666
回复 支持 反对

使用道具 举报

快速回复changefastreply
弱弱的冒个泡!
路过,学习下
有道理。。。
支持一下啦
不知该说些什么
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|手机版|小新叶

GMT+8, 2024-12-23 17:53 , Processed in 0.204505 second(s), 42 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表