大数据和云计算技术周报

写在第3期周报

Q1：老生常谈，上一期周报反响如何？

A1：第2期热度持续高涨，同学们纷纷用红包表达了真爱。特别致谢陈炯总对第2期周报的大红包。编辑部同学表示说“同学们都是真爱，早饭都帮忙解决了”。同学们，请继续打赏表达你们的真爱，支持我们坚持下去！

Q2: 本期有啥干货？

A2: 本期会给大家奉献上精彩的：NoSQL/NewSQL、Hadoop基础概念、kafka基础概念、应用和生态还有当前大热门AI相关内容。全是干货，希望大家喜欢。

Q3：周报有啥优化不？

A3：欢迎大家持续给我们提意见，我们会持续优化，以更好的内容奉献给支持我们的读者和社区的朋友。本期开始，根据魏同学的建议，将进一步缩短网址链接和优化二维码样式，方便大家阅读，希望大家喜欢！

Q4:文末有惊喜?

A4:嗯！

以下是正文，限于众编辑水平有限，不保证大家都喜欢。

1

AI近闻

1）Github年度报告盘点：TensorFlow无疑是最大赢家！

http://dwz.cn/73xirR

2）英伟达发布新一代旗舰显卡Titan V：Volta架构，售价3000美元

3）重磅人工智能报告：2017人工智能+内容生产研究报告.pdf

https://pan.baidu.com/s/1eR5i3Fc

2

应用和生态

1）刚刚结束的中国大数据大会（BDTC），部分PPT已经提供下载了：

http://dwz.cn/73wYYp

3

NoSQL/NewSQL

1）小媳妇终于转正，impala也终于升为顶级项目了。就是不知道在大压力下挂死，内存溢出等问题解决没？

2）HBase以其支持海量数据秒级查询而被逐渐使用，然而某些需要当做rowkey的字段由于其递增性，并非适合直接当做行键，主要原因在于当一个region达到阈值后，会分裂成两个region，而新插入的数据会直接插入到新的region，这样导致以前所有的Region处于“半饱”状态；同时，这些region会处于同一个Regionserver上,造成所谓的“热点”问题。这边文章为我们提供了如何设计rowkey的以避免数据倾斜的思路。

http://student-lp.iteye.com/blog/2309075

3）如何高效可靠地存储海量小文件。文件大小为几KB~几MB，文件总数据量上百PB，并且高速增长，并追求高存储效率，节省服务器成本、电力成本、数据存储成本等

http://dwz.cn/73xo29

4

Hadoop基础概念

5

kafka基础概念

6

精选FAQ

社区定期精选一些FAQ，分享给更多的人，本期推关于SSD存储寿命的问题：

007

文末彩蛋，开心一刻

致谢：

刘涛、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉