数据蒋堂 目录下的全部文章
性能优化是个手艺活

性能优化是个手艺活

发布时间:2018-10-18 分类:数据蒋堂 Tag:,,

大数据的技术本质就是高性能,性能优化也是程序员们的永恒话题。 这里说的性能优化,主要是指在程序员的努力下能达到 […]

数据分布背后的逻辑

数据分布背后的逻辑

发布时间:2018-10-09 分类:数据蒋堂 Tag:,,

在分布式数据库及大数据平台中,数据如何分布到多台机器中是个很关键的问题。因为很多运算是数据密集型的,如果数据分 […]

为什么我们需要C程序员

为什么我们需要C程序员

发布时间:2018-08-28 分类:数据蒋堂 Tag:,

再说一个招聘的话题。 大家可能知道,润乾的软件产品主体都是Java写的,几乎没有别的语言。但是,我们在招聘算法 […]

从一道招聘考题谈起

从一道招聘考题谈起

发布时间:2018-08-28 分类:数据蒋堂 Tag:,

润乾研发部在招聘时有一个笔试题: 1/2,1/5,1/20,1/64,1/125都可以写成有限小数,而1/3, […]

报表工具的SQL植入风险

报表工具的SQL植入风险

发布时间:2018-08-14 分类:数据蒋堂 Tag:,

所有的报表工具都会提供参数功能,主要都是用于根据用户输入的查询条件来选取合适的数据。比如希望查询指定时间段的数 […]

内置的数据无法实现高性能

内置的数据无法实现高性能

发布时间:2018-08-07 分类:数据蒋堂 Tag:

这里说的“内”, 是指数据库之内。 当数据量变大时,我们常常会感到数据库的性能下降明显,但是,无论怎样优化SQ […]

怎样生成有关联的测试数据

怎样生成有关联的测试数据

发布时间:2018-07-24 分类:数据蒋堂 Tag:,,,,

在向用户推荐新的数据处理技术,特别是涉及性能优化的场景时,经常会碰到生成测试数据的需求。毕竟,新方案要经过验证 […]

遍历复用

遍历复用

发布时间:2018-07-17 分类:数据蒋堂 Tag:

减少外存(硬盘)访问量一直是提高大数据计算性能的永恒话题,我们也讨论过列存、压缩等直接减少访问量甚至存储量的手 […]

一些数据压缩手段

一些数据压缩手段

发布时间:2018-07-10 分类:数据蒋堂 Tag:,,

我们知道,外存(硬盘)的性能远远低于内存,即使是同样复杂度的运算(CPU计算量相同),如果能减少外存的访问量, […]

用HBase做高性能键值查询?

用HBase做高性能键值查询?

发布时间:2018-07-03 分类:数据蒋堂 Tag:,

最近碰到几家用户在使用HBase或者试图使用HBase来做高性能查询,场景也比较类似,就是从几十亿甚至上百亿记 […]