性能优化

天下功夫,唯快不破。性能优化,舍我其谁

这是门算法课

大数据要在技术上落地,必须有高性能的计算作为保障。硬件不能无限扩容,如何在有限资源上消灭"龟速"?掌握高效率的算法才是问题的关键!
这门课将告诉你数十种高性能算法及相关的存储方案。超强算法降低计算复杂度,性能提升数量级不是梦。

这门课很创新

这门课并不是把过去几十年教科书中的算法简单地汇编到一起,而是融会贯通再创新。课程中有不少业界首次提出的算法,翻遍其它书籍论文你都找不到!单边HASH、半序排序、布尔维序列、倍增分段、…,是不是没听说过?

这门课很实战

这门课讲述结构化大数据各种运算目标、分析特征并设计提速原理和代码。还有随堂习题和综合案例,让学员有实际的切身体会。充分训练后才能掌握算法,学会发现数据和计算需求的特征,因地制宜地设计适合的存储结构和计算方法。

这门课很有用

这门课会使你算法功力大增,无论代码编写还是技术选型都会有长足进步。不再被厂商忽悠,明白某些场景用某种技术或产品无论如何跑不出期望性能;享受速度提高十倍百倍的喜悦,看着自己的代码性能远超大牌数据库,…

这门课有点难

算法的基础是数学,分析复杂度离不开严谨的数学思维。理解掌握算法还需要坚实的基础知识,可惜很多程序员已经把大学数据结构课上学到的东西还给老师了。初步目测会有一大半人不能坚持下去,希望你是那一小半!

课程目录

    第一章 查找

    • 1.1 单键值查找
      • 二分法(内存)
      • 序号定位(内存)
      • 哈希索引(内存)
      • 位置索引(内存)
      • 多层序号定位(内存)
      • 二分法(外存)
      • 排序索引(外存)
      • 内外存查找技术类比
      • 哈希索引(外存)
    • 1.2 多键值查找
      • 键值排序
      • 索引查找行存文件
      • 索引查找列存文件
      • 带值索引
      • 索引缓存
    • 1.3 结果集查找
      • 索引返回多条
      • 物理有序存储
      • 数据更新
    • 1.4 多条件查找
      • 区间查找
      • 多字段联合索引
      • 多字段分别索引
      • 多条件次序
      • 全文检索-排序索引
      • 全文检索-全文索引

    第二章 遍历

    • 2.1 存储方案
      • 存储格式
      • 并行和分段
      • 文本分段
      • 二进制分段
      • 区块分段
      • 倍增分段
      • 列式存储
      • 列存倍增分段
      • 有序压缩
      • 内存压缩
      • minmax索引
    • 2.2 常规遍历
      • 延迟计算
      • 游标前过滤
      • 过滤条件
      • 多路游标(内存)
      • 多路游标(外存)
    • 2.3 分组排序
      • 小分组
      • 大分组
      • 大排序
      • 哈希大分组
      • 聚合理解
      • 有序分组
      • 有序去重
      • 半序分组
      • 半序排序
      • 序号小分组
      • 序号大分组
      • 序号大排序
      • 利用索引排序
      • 分组维度冗余
    • 2.4 高级遍历
      • 遍历复用
      • 数据拆分
      • 有序游标-字段变化
      • 有序游标-条件变化
      • 组内迭代
      • 程序游标
      • 手工并行

    第三章 连接

    • 3.1 连接运算理解
      • 连接运算
      • 传统计算方法
      • 连接剖析
      • 外键表
      • 同维表
      • 主子表
    • 3.2 外键表
      • 全内存外键预关联
      • 全内存多外键预关联
      • 全内存复制外键属性
      • 全内存复制多个外键
      • 仅维表全内存-临时指向
      • 仅维表全内存-外键序号化
      • 仅维表全内存-排号键连接
      • 仅维表全内存-排号键
      • 维表过滤-利用已建索引
      • 维表过滤-对位序列
      • 内连接-维表字段仅用于过滤
      • 内连接-游标读取时关联过滤
      • 内连接-关联过滤同时属性化
      • 内连接-游标读取时关联过滤属性化
      • 大维表、小事实表
      • 维表事实表都很大-单边哈希手段
    • 3.3 主子与同维表
      • 有序归并
      • 并行有序归并
      • 用主表过滤子表
      • 用子表过滤主表
      • 主子表一体化存储
      • 有序和数据更新
    • 3.4 子查询转换
      • 子查询转连接
      • 事实表包含维表部分主键
      • 外键表的IN、EXISTS
      • 主子表的IN、EXISTS
      • 主子表,关联字段过滤成逻辑主键
      • WHERE子查询转换为连接
      • 集合运算-差集
      • 集合运算-交集
      • 同表关联,EXISTS非等值条件
      • 子查询转换-小结

    第四章 多维分析

    • 4.1 聚合
      • 全量预汇总
      • 部分预汇总
      • 时间段预汇总
    • 4.2 切片
      • 布尔维序列解决切块
      • 冗余排序
      • 冗余排序-索引
      • 二值维度(是否型)
      • 预处理为小整数
      • 随时间变化小的标签数据
    • 4.3 数据路由
      • 数据路由

    综合练习一 高并发有关联查询

    综合练习二 大明细表自关联

    综合练习三 事实指标计算

课程观看方法

  1. 登录【乾学院】进入【VIP版】观看课程视频及PDF教程,每天限时1小时(从第一次进入VIP版块开始计时)
  2. 加入【友乾营】看课程视频(不过无法随意调整播放节奏) 如何加入友乾营?
  3. 前往【微店】购买课程的视频和学习材料(PDF完整版电子书+练习数据) 去微店购买学习材料
敲黑板!现在是录制期,方式1尚未正式开始计时,也就是想看多久就可看多久,机不可失,时不再来,抓紧时间点击观看哦……