电商数仓实战：大数据项目V1.2新版，含源码课件

这套电商数据仓库实战课程以真实电商业务场景为背景，带你从零开始搭建一套完整的大数据数仓系统。课程内容覆盖数据采集、处理、分析到数仓建模的全流程，适合大数据初学者以及希望提升数仓实战能力的开发者。

课程核心模块一览：

• 项目简介与架构设计：从用户行为、埋点概念讲起，逐步深入数仓概念、项目需求、技术选型、数仓架构、框架版本选型、服务器选型及集群规模规划，帮助学员建立全局视角。
• 用户行为数据采集：详细讲解埋点数据格式、事件日志与启动日志、日志生成、虚拟机准备、Hadoop与JDK安装、Hadoop启动及SSH配置，并包含HDFS多目录配置、LZO压缩及索引创建、HDFS读写测试、Hadoop参数调优等项目经验。
• Zookeeper与Flume采集：涵盖Zookeeper安装与启动停止脚本、登录式与非登录式Shell、日志启动、集群日志生成启动脚本、集群时间同步修改脚本、集群所有进程查看脚本；Flume安装、组成、采集配置、ETL拦截器、分类型拦截器、启动停止脚本，以及生成日志到Flume采集通道打通。
• Kafka与日志消费：包括Kafka安装、启动停止脚本、通道打通、压力测试、机器数量计算，以及Flume消费Kafka配置、Flume组件、日志消费Flume启动停止脚本、Flume内存优化、采集通道启动停止脚本。
• 知识回顾与业务数据采集：回顾Linux Shell、Hadoop、Zookeeper、Flume、Kafka等前置知识；业务数据采集部分讲解电商业务流程、电商常识（SKU、SPU）、电商表结构与介绍、MySQL安装、Sqoop安装、业务数据生成、同步策略、分析表同步策略、脚本中前一天时间获取、Sqoop参数说明与脚本完成，并演示数据导入过程与导入后查看。
• Hive与Tez安装：完成Hive安装与Tez安装，为后续数仓搭建做好准备。
• 数仓理论与建模：系统讲解数仓分层及好处、数据集市与数据仓库概念、命名规范、范式概念、函数依赖、三范式、关系建模和维度建模、维度表、事实表，以及ODS层、DWD层、DWS_DWT_ADS层建模与总结。
• 数仓搭建实战：从创建数据库开始，完成ODS层启动日志处理、事件日志处理、单引号和双引号区别、用户行为脚本、业务数据脚本；DWD层启动日志表、启动日志表脚本、事件日志表解析分析、事件日志表建表、自定义UDF函数等核心操作。

课程特色：

• 实战驱动：以电商项目为主线，每个知识点都配有对应的操作演示与脚本编写，学完即可上手。
• 源码课件齐全：附带完整源码与课件，方便对照学习与二次开发。
• 项目经验穿插：在采集与搭建过程中融入HDFS配置、LZO压缩、Hadoop调优、Kafka机器数量计算、Flume内存优化等一线项目经验，帮助学员少走弯路。
• 体系完整：从数据采集到数仓建模，再到分层搭建，形成完整闭环，适合系统化学习大数据数仓开发。

无论你是刚接触大数据的新手，还是希望补齐数仓实战经验的开发者，这套课程都能为你提供清晰的路径和扎实的动手指导。