一年一度的 Databricks Data+AI 峰会于上周在旧金山 Moscone 会议中心热闹开展。作为全美乃至全球最大的科技会议之一，Data+AI 峰会自然吸引了大量数据与人工智能领域工作者的目光。而以往年不同的是，今年的峰会在举办之前便火药味十足。在今年早些时候，Databricks 与 Snowflake 这两家最大的云数据平台厂商便先后宣布将在同一时间，也就是六月最后一周，举行各自的年度会议。这意味着，广大科技工作者们只能在这两家公司的活动中做出二选一的艰难抉择。而在峰会期间，Databricks 更是大规模投放广告，直接叫板 Snowflake，高调宣称自家的数据湖仓相比于 Snowflake 拥有 9 倍性价比提升。
TiDB Cloud 是为开源分布式数据库 TiDB 打造的全托管 DBaaS (Database-as-a-Service) 服务。
新粉请关注我的公众号 昨天写了一篇文章Apache Kyuubi：一个有趣的大数据开源项目，介绍了网易开源的Apache Kyuubi，是如何把Spark变成为一个数仓的。 有一些人联系我，有问我是不是不知道有个产品叫Databricks SQL的，也有问我Databricks SQL和这个比起来怎么样。 有这么多问题，我想我应该没办法一个接一个回答。所以我还是简单写一篇文章。 首先，大家不用怀疑我知道还是不知道Databricks SQL这个产品。我是不是大数据专家这一点大家可以质疑。我是不是大数据八卦专
新粉请关注我的公众号 在今年的Data+AI summit上，Databricks宣布了不少东西，其中之一就是2019年同样的Data+AI Summit上开源的Delta Lake，这次宣布开源2.0。 这个2.0按照Databricks的说法，就是把之前藏着的捏着的“高级”功能全部都开源出来了。这也包括了Databricks之前觉得特别重要的Z-Ordering。 Delta Lake这个项目Databricks最开始做的应该是最早的，但是不开源，只是卖钱给付费客户用。 2019年的时候终于开源了。开
Databricks 已同意收购由 Apache Iceberg 创建者领导的存储平台供应商 Tabular，以促进 Lakehouse 中的数据互操作性。
新粉请关注我的公众号 Delta Lake 2.0 正式发布了。网易的大数据产品也没闲着，这就搞了点事情：从Delta 2.0开始聊聊我们需要怎样的数据湖。 这篇文章的内容很多，大家有需要的可以自己读读，肯定有收获。我就不展开一一分析了。 今天的重点是看看这篇文章网易是如何打脸Databricks的。 这是Databricks在官宣要发布Delta Lake 2.0的讲座的时候的一张PPT。网易的文章也引用了。简单来说就是Delta Lake 2.0快，Iceberg Hudi都是渣渣。 这个测试是第三方
编译 | 核子可乐、Tina Databricks 与 Snowflake 之间的激烈竞争再上新台阶，甚至有可能给整个数据仓库领域带来更加深远的影响。 短短半个月，大数据领域新一代领军企业 Databricks 和 Snowflake 就互撕了几回。 11 月 2 日，Databricks 在其官方博客发布声明，表示其数据湖仓（lake house）技术创下 TPC-DS 基准测试新记录，并强调第三方研究表明实际性能可达 Snowflake 的 2.5 倍。 在博客中，Databricks 声称这是一
Databricks是spark商业孵化公司，主要做的工作是在AWS上提供SaaS化的spark服务。最近在databricks博客上公布了做的一些有意思的进展： Databricks把这个称为Runtime artifact，包括Apache Spark和其他软件，如Scala，Python，DBIO和DBES。 以前，云上的版本和spark是同一个版本，Databricks准备和spark版本解耦出来，单独命名版本号，Databricks Runtime3.0配套spark 2.2。 相比spark，D
是时候将数据分析迁移到云端了。我们比较了 Databricks 和 Snowflake，以评估基于数据湖和基于数据仓库的解决方案之间的差异。 在这篇文章中，我们将介绍基于数据仓库和基于数据湖的云大数据解决方案之间的区别。我们通过比较多种云环境中可用的两种流行技术来做到这一点：Databricks 和 Snowflake。 正如我们在上一篇文章中了解到的，数据分析平台可以分为多个阶段。上面，我们可以看到一张图片，大致了解了管道中 Snowflake 和 Databricks 的角色。在这里，我们可以将工具分
编者按： 每年仲夏之际，全球两大数据平台巨头 Snowflake、Databricks 均会召开各自的年度大会，成为数据圈的“超级碗”。随着竞争的加剧，Snowflake、Databricks 把 2023 年度重磅市场大会放在相同日期（6.26-6.29），充满着火药味。大会召开在即，云器科技作为专注数据领域的创业公司，策划一系列文章，从主题演讲、重点发布、客户案例等方面对比和解读这两个年度大会。本文是第一篇，对两个大会做前瞻对比，并预测最值得听的场。
Databricks公司（点击阅读原文可访问该公司首页）通过简化对GPU加速型机器学习方案的访问支持自家云Spark服务。 作为Apache Spark内存内大数据项目的支持与开发合作厂商，Databricks公司已经对其自家Apache Spark云实现方案进行两轮支持升级，旨在让更多IT用户享受其便利。 此次推出的新功能——即GPU加速与多套深度学习库集成——在理论上能够实现Apache Spark在任意位置的安装工作。不过Databricks方面表示，其版本目前仍处于调整阶段，这是为了避免资源争用情况
编译 ｜ 核子可乐、Tina 全球首个完全开源的大语言模型，性能堪比 GPT3.5！ 大数据热潮催生了许多成功的公司，例如 Snowflake、Databricks、Splunk 和 Cloudera。现在我们进入了生成式人工智能时代，那么会不会有新的“人工智能和大数据”结合方式？ 最近，大数据公司 Databricks 就在生成式人工智能领域采取了行动。两周前，该公司发布了一个名为 Dolly 的开源大型语言模型，旨在应对市场对于生成式 AI 及相关应用的旺盛需求，我们可以称之为 Dolly 1.0
Databricks今天推出了AutoML Toolkit，这是一种自动化的端到端机器学习服务，旨在为具有丰富经验的开发人员提供服务。
近日，大数据软件公司 Databricks 获得 6000 万美元 C 轮融资，由New Enterprise Associates 领投，Andreessen Horowitz 参投，本次投资有望帮助公司完成在数据的组织、计算和交付方面的一次跨跃。 Databricks 成立于 2013 年，总部设在旧金山，属于 Spark 的商业化公司，由美国伯克利大学 AMP 实验室著名的 Spark 大数据处理系统多位创始人联合创立。Databricks 致力于提供基于 Spark 的云服务，可用于数据集成，数
紧接着，最近刚刚发生的事件，Iceberg 的 Contributor Kanou Natsukawa 呼吁 Icerberg 的 PMC Chair 辞职，核心他的担忧是存在利益冲突。
刚刚，超级独角兽Databricks重磅推出1320亿参数的开源模型——DBRX。
最近一段时间，有拿了Databricks或者Snowflake的offer，或者两者皆有的人，加我微信，然后问我问题的人数已经很多很多了。 我被重复的问同样的问题两位数次，也答的不厌其烦。所以我就写篇文章在这里。以后有拿了这两家公司的offer，然后想加我微信问问题的，先看这里。 第一个问题：Databricks/Snowflake的估值是不是偏高/偏低？ 这个问题我没办法回答。估值是一个很个人的问题。有人觉得高，有人觉得低。 客观说几句，Snowflake是上市公司，有好几个季度的财报，所以判断起来，信息
昨日，人工智能大数据初创公司Databricks成功完成了16亿美元的H轮融资，其估值达到了380亿美元。
机器之心报道 编辑：泽南、蛋酱 我们鼓励员工手搓了一个数据集，训练 LLM 还把它开源。 众所周知，在 ChatGPT 的问题上 OpenAI 并不 Open，从 Meta 那里开源的羊驼系列模型也因为数据集等问题「仅限于学术研究类应用」，在人们还在因为寻找绕过限制方法的时候，主打 100% 开源的大模型来了。 4 月 12 日，Databricks 发布了 Dolly 2.0，这是两周前发布的类 ChatGPT 人类交互性（指令遵循）大语言模型（LLM）的又一个新版本。 Databricks 表示，Dol
大数据和人工智能软件的公司Databricks近日宣布完成1.4亿美元融资，本轮融资由Andreessen Horowitz牵头，New Enterprise Associates(NEA)跟投，新投资人包括Battery Ventures、Future Fund Investment、A.Capital，Geodesic Capital和Green Bay Ventures。 Databricks联合创始人兼CEO Ali Ghodsi在采访中表示： 在利用人工智能技术处理和分析大数据方面，只有1%的公司
Databricks研究调查的初步结果显示，96％的组织认为数据相关的挑战是将AI项目移至生产时最常见的障碍。数据是人工智能的关键，但数据和人工智能则处在孤岛中。Databricks是统一分析领域的领导者，由Apache Spark的原创者创建，利用统一分析平台解决了这一AI难题。今天在旧金山召开的Spark + AI峰会上，由4,000位数据科学家，工程师和分析领导者组成的年度盛会，为企业降低AI创新障碍创造了新的能力。这些新功能统一了数据和AI团队和技术：用于开发端到端机器学习工作流的MLflow，用于ML的Databricks Runtime以简化分布式机器学习，用Databricks Delta以提高数据的可靠性和性能。
Databricks CEO Ali Ghodsi 曾表达过这样的观点：Databricks 的目标是实现数据普惠和 AI 普惠，数据普惠使得数据能够触达企业内的每一名员工，而 AI 普惠则将人工智能引入每一个产品中。他强调“每个组织都应该从 AI 革命中获益，并更好地掌控数据的使用方式。”在过去，Databricks 在 AI 领域积累了大量经验，如今在大模型的潮流下，他们不仅推出了自家的开源大模型 Dolly 2.0，还以 13 亿美元的价格收购了生成式 AI 公司 MosaicML，迅速强化了大模型方面的实力。最近，Databricks 发布了一系列创新产品，例如 Lakehouse IQ、AI Gateway, Unity Catalog 等。作为大数据领域的领军企业，我们相信 Databricks 正在塑造着未来。在 QCon 北京到来之际，我们采访了 Databricks Engineering Lead 李潇，以深入了解他们在数据领域的创新思想。
就在本周一，大数据初创公司Databricks在官网宣布他们完成了10亿美元的G轮融资，对公司的估值为280亿美元。作为同类公司，之前Snowflake的IPO就引发资本的热捧，此次Databricks的融资也印证了这点。为什么资本对数据平台公司如此关注？正如之前我的一篇《当红炸子鸡Snowflake》中谈到，“云计算+大数据”催收了无限遐想空间。下面就让我们来看看这个独角兽Databricks的情况。本文内容部分摘自Databricks官网。
来源：https://guiguzaozhidao.fireside.fm/s6e06
今天要介绍的平台叫做databricks，它是spark的创建者开发的统一分析平台。单凭spark创建者这几个字大家应该就能体会到其中的分量，其中集成了Scala、Python和R语言的环境，可以让我们在线开发调用云端的spark集群进行计算。
作为 DeNexus 安全服务提供商，需要良好选型的数据平台实现巨量数据的分析和管理。DeNexus 根据自身需求选型了 Databricks 的湖仓一体解决方案，满足自身对数据类型、用户类型、可扩展性、版本管理和 MLOps 上的需求。
Apache Spark开源生态系统在2014上半年大幅增长，已迅速成为大数据领域中最活跃的开源项目，HDFS位列第二，其代码变动次数（commits）和行数仅仅有Spark的一半： 有超过50个机构250个工程师贡献过代码 和去年六月相比，代码行数几乎扩大三倍。 随着1.0版本于5月30日推出，Spark提供了一个稳定的API，开发人员可以依靠它来保证代码的兼容性。所有主流的Hadoop发行商，包括Hortonworks、IBM、Cloudera、MapR和Pivotal都提供了Spark的包装和技术支持
最近大数据领域最值得关注的，不是技术上有什么突飞猛进的进展，而是人才的流动问题。 以前是大数据发源地的各大互联网企业，包括三驾马车提出者的谷歌，都面临了新一波的大数据人才逃离。 根据我朋友圈和LinkedIn的数据，在这次的大数据人才逃离中，谷歌尤其的惨淡。 谷歌下面的几个大数据团队，比如著名的BigQuery，还有F1，都大量流失大数据人才。 这些人去的地方也非常有意思，小部分去创业了，大部分去了两家当红的大数据公司：Snowflake和Databricks。 有关这两家公司我之前写过很多分析文章了，尤
新粉请关注我的公众号 在最近费城召开的SIGMOD2022上，Databricks当仁不让成为了赢家，一共拿到了两项大奖： 1.Spark拿到了SIGMOD System Award 2.Photon拿到了Best Industry Paper Award SIGMOD和VLDB是数据库领域两大顶级会议。后面还跟着ICDE。有人认为这三大会差不多，但是大部分人还是觉得ICDE差一点。 2020年以前我每年会尽量争取去其中一个会议，以便紧跟形势。疫情起来以后就没去过了。有关SIGMOD是啥就不多介绍了，很
假设你有1亿条记录，有时候用到75%数据量，有时候用到10%。也许你该考虑10%的使用率是不是导致不能发挥最优性能模型的最关键原因。
新粉请关注我的公众号 我收到了一封邮件，具体内容截图如下： 简单说，就是官宣Delta Lake 2.0正式发布了。这个距离Databricks的年度大会上面宣布，也有些时日了。 Databricks在发布里面指出了一些新功能。我挑重点讲几个。 首先是Change Data Feed。这个东西的作用就是你对Delta Table做的数据改变，它都会生成Change Data Feed。你要是订阅了这个东西，比如说把它放进一个Kafka集群里面，理论上就可以准实施复制出一份数据来。 这个东西有点像什么呢
翻译自 Multiple Vendors Make Data and Analytics Ubiquitous 。
周五MongoDB股价猛涨后，现在市值几乎相当于IBM在2019年达成的交易中为收购Red Hat支付的价格。 本周早些时候，Databricks完成了一轮私募融资，估值高达380亿美元，这使其成为有史以来价值最高的开源公司。 更多的公司将开源项目变成大受欢迎且利润丰厚的企业软件产品，因此赚得盆满钵满。 IBM在2018年底同意斥资340亿美元收购Red Hat时，这笔交易标志着开源软件行业迎来分水岭时刻，证明公司可以将免费工具打包成高价值的产品。 那个收购价可能很快就会变成一抹回忆。 周五，在M
之前我写了文章简单的讲了一下最近非常热闹的由Databricks发起的和Snowflake的撕逼文章们：
新粉请关注我的公众号 今天聊聊这个由Kyligence和Intel一起搞的开源项目Gluten。 Gluten是什么呢？简单来说，这个项目的作用是给Spark引擎的执行赋予调用Native Vectorized engine，比如ClickHouse的能力。 要具体来说呢，就是在Spark查询Plan生成的时候，Gluten把一些Spark的查询计划拦截下来，让下面的native 引擎比如ClickHouse去执行。 当然，由于native引擎的问题，有些东西干不了，Gluten对干不了的operator重
DataBricks最近新开源了一个项目Delta Lake。这其实不算是个新项目了。DataBricks在其商业版里面提供这样的功能已经有一段时日了。对我来说Delta Lake就是久闻大名，但是不知道庐山真面目。
在过去十年里，随着公有云的崛起、数据激增和人工智能的兴起等浪潮席卷，整个数据架构经历了巨大的变革和更新。这些激变使得数据架构发生了天翻地覆的变化。作为一家领先的大数据处理平台提供商，Databricks 一直扮演着引领者的角色。
Spark3.0 从2019年开始就说要准备发布了，然后就一直期待这个版本，毕竟对于 Spark 而言，这是一个大版本的跨越，从 2.4 直接到了 3.0，而之前发布都是 Spark2.0 到 Spark2.4 这种小版本的更新。按照 Databricks 博客的说法，这是一次“the culmination of tremendous contributions from the open-source community”(是开源社区有史以来贡献力度最大的一次)。事实上也是如此，最近发布的 Spark3.0 新特性没有让人失望。
2021年有两条主线，一个是生态系统和商业模式的成熟，比如早在2020年就上市的云数据仓库公司 Snowflake 公司站稳了在资本市场的脚跟、Databricks、Dataiku、Datarobot 等公司估值更高了并且募集了大量的资金，甚至正在追求 IPO；另一方面则是新一代的数据和机器学习创业公司正在崛起，无论是几年前还是几个月前成立的公司都在过去一年左右经历了突飞猛进的增长。
Databricks是大数据领域的元老公司，我印象中在14/15年那段时间是和Cloudera、Hortonworks齐名的，而18年那两家已经走下坡路合并了，但Databricks反而这几年越来越好，和Snowflake成为双子星。我司也用Spark（或者说它是批计算的业界标准），并且基于它们提出的Lakehouse湖仓一体架构。很有幸能听到它的华人联合创始人辛湜的分享。
Flink Forward Asia 2022最近在开，有关Flink的讨论，又开始在国内热闹起来。从技术上来说，Flink当然已经是streaming processing的一个标杆了。
5月的大数据圈子，波澜不兴之余，华为主导的开源项目Apache CarbonData发布2.0 RC2版本。这是CarbonData这个项目的一次巨大升级。
Spark Connect是我想写的一个大数据相关的选题。但是由于各种原因一直拖拖拉拉的，就拖到了2022年的最后几天。
2020年6月18日，开发了近两年（自2018年10月份至今）的Apache Spark 3.0.0正式发布！
6月5～7日，Spark Summit 2017 在美国旧金山举行。来自 Databricks 的 Matei Zaharia、Michael Armbrust 和 Tim Hunter 分享了 《E
目前市面上流行的三大开源数据湖方案分别为：delta、Apache Iceberg和Apache Hudi。其中，由于Apache Spark在商业化上取得巨大成功，所以由其背后商业公司Databricks推出的delta也显得格外亮眼。Apache Hudi是由Uber的工程师为满足其内部数据分析的需求而设计的数据湖项目，它提供的fast upsert/delete以及compaction等功能可以说是精准命中广大人民群众的痛点，加上项目各成员积极地社区建设，包括技术细节分享、国内社区推广等等，也在逐步地吸引潜在用户的目光。Apache Iceberg目前看则会显得相对平庸一些，简单说社区关注度暂时比不上delta，功能也不如Hudi丰富，但却是一个野心勃勃的项目，因为它具有高度抽象和非常优雅的设计，为成为一个通用的数据湖方案奠定了良好基础。
他们宣布了一个名为Koalas的新项目，这是Spark的本地“pandas”翻译。现在可以自动将Pandas代码移植到Spark的分布式世界。这将成为人们习惯于pandas环境的绝佳桥梁。许多在线课程/大学使用pandas教授数据科学。现在新数据科学家将减少损失。
2020年6月18日，开发了近两年（自2018年10月份至今）的Apache SparkTM 3.0.0正式发布！
最近正好有个需求，就是从不同的数据库以及表里拉出数据，经过一定的处理放到ES里供查询，最好还能放个到parquet里，这样可以支持更复杂的SQL。之前StreamingPro是只能配置一个数据源的，所以做了些改造，方便配置多个数据源，以及多个写出。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
