編譯|硅兔賽跑

Snowflake和Databricks一直是數(shù)據(jù)庫領(lǐng)域關(guān)注度非常高的兩家公司，雖然同在一個(gè)地盤，但各有特色，競(jìng)爭(zhēng)一直沒有擺到臺(tái)面上。而這一次的生成式AI浪潮，兩家公司非常積極的通過收購布局，Snowflake完成了對(duì)Neeva（企業(yè)級(jí)AI搜索引擎）的收購，Databricks 13億美金收購MosaicML（ML模型部署），并低調(diào)宣布對(duì)OmniML（模型壓縮）的收購。兩家一改一直以來表面和睦、暗里較勁的態(tài)勢(shì)，選擇同一天舉辦公司最重要的年會(huì)，亮明自家的生成式AI布局，野心藏不住了。

Snowflake 2020年上市，目前市值579.2億美金（2023.8.1），Databricks還未上市，根據(jù)上一輪融資，其估值已達(dá)到380億美金。在生成式AI的加持下，Databricks的估值/未來上市市值能否追上Snowflake？Snowflake又能否更上一層樓？ 作為投資了Snowflake的基金Madrona的合伙人Vivek和投資人Sabrina

分享了他們對(duì)兩家公司在生成式AI領(lǐng)域扳手腕的看法，以下，Enjoy 。

上周對(duì)數(shù)據(jù)和人工智能領(lǐng)域從業(yè)者來說是重要的一周，兩個(gè)最重要的參與者——Databricks和Snowflake——分別在舊金山和拉斯維加斯舉辦了他們的年度會(huì)議（Databricks的Data and AI Summit和Snowflake的Summit）。這兩個(gè)巨頭決定在同一周舉辦他們的重要活動(dòng)，這大概率不是巧合。在過去十年中，Snowflake和Databricks一直是朋友也是對(duì)手，但這一周明顯表明，它們現(xiàn)在是彼此的主要競(jìng)爭(zhēng)對(duì)手，而新的戰(zhàn)場(chǎng)就是人工智能。

毫不奇怪的是，兩個(gè)會(huì)議上的討論和宣布大部分都圍繞生成式人工智能。所傳達(dá)的重要信息是，為了建立生成式人工智能戰(zhàn)略，每家公司都必須從數(shù)據(jù)戰(zhàn)略開始。不出所料，Databricks和Snowflake都為自己為什么可以在這一旅程中為客戶提供最佳支持進(jìn)行了論證。

兩家公司從價(jià)值鏈的不同部分開始，曾經(jīng)甚至是戰(zhàn)略合作伙伴關(guān)系，為何在這個(gè)人工智能的新時(shí)代演變?yōu)槿绱思ち业母?jìng)爭(zhēng)對(duì)手呢？

讓我們深入探討。

硅兔編輯部翻譯

01 Snowflake：從數(shù)據(jù)倉庫到數(shù)據(jù)云

Snowflake由Beno t Dageville和Thierry Cruanes于2012年創(chuàng)立。他們是兩位在Oracle工作多年的數(shù)據(jù)庫專家，他們敏銳地觀察到大多數(shù)數(shù)據(jù)倉庫“固化、昂貴且難以使用”。Dageville和Cruanes與Vectorwise的前首席執(zhí)行官M(fèi)arcin Zukowski合作，構(gòu)建了基于三個(gè)關(guān)鍵前提的未來數(shù)據(jù)倉庫：

1）完全基于云的架構(gòu)；

2）將計(jì)算與存儲(chǔ)分離，實(shí)現(xiàn)近乎無限擴(kuò)展；

3）在計(jì)算資源使用上具有彈性，從而實(shí)現(xiàn)查詢處理和靈活性方面的前所未有的速度。

如今，Snowflake已經(jīng)從“僅僅”一個(gè)云數(shù)據(jù)倉庫發(fā)展成為一個(gè)“數(shù)據(jù)云”，為客戶提供訪問、構(gòu)建、協(xié)作和變現(xiàn)其數(shù)據(jù)的單一平臺(tái)。僅用十多年時(shí)間，Snowflake已發(fā)展成為市值550億美元的上市公司，為6000多家客戶和許多《財(cái)富》500強(qiáng)企業(yè)提供服務(wù)。Snowflake已與主要超大規(guī)模云服務(wù)提供商（Azure、AWS和GCP）并肩作戰(zhàn)，現(xiàn)在他們明確將目光投向人工智能領(lǐng)域以贏得更多關(guān)注。

為了實(shí)現(xiàn)這一目標(biāo)，他們?cè)谌斯ぶ悄芎蜋C(jī)器學(xué)習(xí)領(lǐng)域進(jìn)行了一系列收購和產(chǎn)品推出，包括：

1）Snowpark允許數(shù)據(jù)科學(xué)家使用其首選編程語言進(jìn)行端到端的機(jī)器學(xué)習(xí)工作負(fù)載開發(fā)、部署和編排。通過Snowpark，客戶可以攝取、分析和轉(zhuǎn)換其數(shù)據(jù)，以訓(xùn)練機(jī)器學(xué)習(xí)模型和運(yùn)行更多的預(yù)測(cè)性分析。

2）Streamlit是一個(gè)數(shù)據(jù)驅(qū)動(dòng)的應(yīng)用程序構(gòu)建工具，Snowflake于2022年3月以8億美元收購。Streamlit使客戶能夠僅通過幾行代碼開發(fā)數(shù)據(jù)密集型應(yīng)用程序。Streamlit簡(jiǎn)化了通過前端Web應(yīng)用程序?qū)?shù)據(jù)分析任務(wù)和機(jī)器學(xué)習(xí)模型輸出進(jìn)行上下文化的過程。

3）Neeva是Snowflake今年早些時(shí)候收購的公司，旨在加速企業(yè)與數(shù)據(jù)的交互和搜索，尤其是以更具對(duì)話性的方式進(jìn)行。

02 Databricks: 構(gòu)建Lakehouse

Databricks成立于2013年，僅比Snowflake晚一年。與Benoit和Theirry是行業(yè)從業(yè)者不同，Databricks是由一群與學(xué)術(shù)界和開源社區(qū)有著深厚淵源的人士創(chuàng)立的。包括現(xiàn)任CEOAli Ghodsi在內(nèi)的七位創(chuàng)始人是UC Berkeley的AMPLab研究員，他們構(gòu)思了Apache Spark，這是一個(gè)用于大規(guī)模數(shù)據(jù)處理的開源統(tǒng)一分析引擎。Spark已經(jīng)發(fā)展成為最大且最常用的數(shù)據(jù)處理框架之一，在大規(guī)模數(shù)據(jù)工程、數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)方面起著重要作用。

Databricks最初的目標(biāo)是商業(yè)化Spark，推出了企業(yè)級(jí)的Spark版本，提供了大型組織所需的所有功能（治理、支持、托管等）。Databricks隨后發(fā)展成為創(chuàng)新的“Lakehouse平臺(tái)”，統(tǒng)一了數(shù)據(jù)、分析和人工智能。統(tǒng)一的Lakehouse概念將“集成、存儲(chǔ)、處理、治理、共享、分析和人工智能”融合在一個(gè)平臺(tái)上。

在過去的十年中，Databricks已成為全球估值最高的私人公司之一，2021年估值達(dá)到380億美元，并于近期實(shí)現(xiàn)了10億美元的收入里程碑。他們?yōu)槌汕先f的企業(yè)客戶和開源用戶提供服務(wù)，并被視為最受矚目的IPO之一。在所有這些增長(zhǎng)中，他們?cè)絹碓綄⒆约憾ㄎ粸槿斯ぶ悄茴I(lǐng)域的領(lǐng)導(dǎo)者，并最近進(jìn)行了重要的收購和產(chǎn)品發(fā)布，包括以13億美元收購MosaicML（下文將更詳細(xì)介紹），并開源了Dolly，這是一種以低于30美元的成本訓(xùn)練的指令調(diào)優(yōu)LLM。

03 AI中的碰撞

Snowflake和Databricks都有良好的生態(tài)位，可以繼續(xù)利用長(zhǎng)期的結(jié)構(gòu)性趨勢(shì)，因?yàn)槠髽I(yè)正在為生成式人工智能的轉(zhuǎn)變做準(zhǔn)備。隨著生成式人工智能應(yīng)用的廣泛應(yīng)用，這兩家公司都試圖將自己定位為戰(zhàn)略性的多產(chǎn)品數(shù)據(jù)平臺(tái)。以下是各自會(huì)議中的一些重要公告以及我們對(duì)每家公司整體人工智能戰(zhàn)略的看法。

Snowflake主要公告：

開發(fā)者公告

1）Snowflake的原生應(yīng)用框架：通過允許開發(fā)人員創(chuàng)建、分發(fā)和變現(xiàn)應(yīng)用程序，以新的方式利用數(shù)據(jù)，可基于Snowflake的數(shù)據(jù)云擴(kuò)展。

2）Snowpark容器服務(wù)：擴(kuò)展數(shù)據(jù)可編程性和計(jì)算基礎(chǔ)架構(gòu)，以支持編程語言、訪問第三方軟件，并為托管全棧應(yīng)用程序和LLM提供增強(qiáng)的安全性和治理。通過泛化Snowflake的計(jì)算平臺(tái)，提供進(jìn)一步的靈活性，使客戶能夠從底層（數(shù)據(jù)層）一直到UI層運(yùn)行完整的端到端應(yīng)用程序。

3）其他重要公告：Snowpipe流式處理功能；動(dòng)態(tài)表格（也稱為材料化表格）；Document AI（一項(xiàng)新服務(wù)，用于提取文檔中的非結(jié)構(gòu)化數(shù)據(jù)）；以及Iceberg Tables。

合作伙伴公告

Snowflake宣布NVIDIA、Microsoft和Weights &Biases等幾個(gè)重要合作伙伴。

1）與NVIDIA的合作計(jì)劃將其NeMo企業(yè)開發(fā)框架嵌入到Snowflake的數(shù)據(jù)云中，這將使Snowflake的客戶能夠構(gòu)建和部署LLMs和基于人工智能的應(yīng)用程序，利用存儲(chǔ)在Snowflake中的專有數(shù)據(jù)。

2）與Microsoft的合作將擴(kuò)展與Azure的合作伙伴關(guān)系，重點(diǎn)是圍繞Microsoft Azure的OpenAI和Azure AI/ML服務(wù)進(jìn)行新產(chǎn)品整合。該合作有可能將工作負(fù)載和客戶引入數(shù)據(jù)云。

3）與Weights &Biases這家領(lǐng)先的MLOps平臺(tái)的合作，Snowflake的容器服務(wù)使Weights &Biases能夠加速在Snowflake數(shù)據(jù)云中進(jìn)行ML模型、LLMs和LLM驅(qū)動(dòng)應(yīng)用的迭代開發(fā)。最終，這項(xiàng)合作將幫助企業(yè)和用戶更輕松地構(gòu)建和利用生成式人工智能。

4）除了這兩家公司，Snowflake還宣布了與Alteryx、Hex、Dataiku、RelationalAI、Pinecone等公司的許多其他合作伙伴關(guān)系。

我們的看法

直到最近，Snowflake沒有透露任何在現(xiàn)有能力上添加生成式人工智能的計(jì)劃，許多投資者對(duì)Snowflake在這個(gè)領(lǐng)域（尤其是與Databricks相比）的競(jìng)爭(zhēng)能力表示擔(dān)憂。然而，在2023年的峰會(huì)上，Snowflake展示了一個(gè)強(qiáng)大的愿景，將自己定位為可信賴的數(shù)據(jù)云提供商，并以此打造了一個(gè)與生成式人工智能相關(guān)的強(qiáng)大故事。

Snowflake與Nvidia的合作，以及Snowpark容器服務(wù)的宣布，使他們?cè)贏I數(shù)據(jù)堆棧中成為一個(gè)更具可行性的參與者。他們想傳達(dá)的核心觀點(diǎn)是，他們可以讓客戶在Snowflake數(shù)據(jù)云中安全地訪問、開發(fā)和部署LLMs和基于人工智能的應(yīng)用程序，同時(shí)提供Nvidia GPU和AI軟件的加速計(jì)算。

雖然他們的故事和傳遞的信息令人印象深刻，但我們認(rèn)為他們?cè)谌斯ぶ悄茴I(lǐng)域相對(duì)于Databricks仍然處于劣勢(shì)狀態(tài)...

Databricks主要公告：

開發(fā)者公告

1）LakehouseIQ：基于LLM的自然語言接口，用于搜索和查詢數(shù)據(jù)，并強(qiáng)大地理解客戶的數(shù)據(jù)、內(nèi)部行話和使用模式，以了解客戶的架構(gòu)、文檔、查詢、系統(tǒng)等。

2）LakehouseAI：Databricks在Databricks ML方面宣布了許多新功能，包括一些關(guān)于LLMOps的能力，例如整合數(shù)據(jù)、為機(jī)器學(xué)習(xí)準(zhǔn)備數(shù)據(jù)集、微調(diào)和策劃機(jī)器學(xué)習(xí)模型，以及部署模型本身。Databricks還宣布了關(guān)于向量搜索、特征服務(wù)和MLFlow Gateway的許多功能。

3）MosaicML：就在峰會(huì)開始之前，Databricks宣布以13億美元收購MosaicML，該收購在峰會(huì)期間定位為“構(gòu)建GenAI模型的機(jī)器”。

4）其他值得注意的公告：Delta Lake 3.0、MLFlow 2.5支持不同后端LLMs、Lakehouse Apps和Databricks Lakehouse Monitoring智能監(jiān)控。

我們的觀點(diǎn)

Databricks通過將數(shù)據(jù)、人工智能模型、監(jiān)控和治理能力整合到Lakehouse平臺(tái)中，采取了統(tǒng)一的人工智能方法。因此，Databricks使客戶能夠更高效地開發(fā)他們的GenAI解決方案，并且客戶認(rèn)為Databricks是一個(gè)值得信賴的合作伙伴，平均而言，在機(jī)器學(xué)習(xí)開發(fā)方面更快速、更經(jīng)濟(jì)、更易于使用。

雖然Databricks已經(jīng)被視為人工智能堆棧中的關(guān)鍵參與者，但通過對(duì)模型（如Dolly，一個(gè)開源的指令跟隨LLM）的投資以及對(duì)MosaicML的重大收購，Databricks在GenAI領(lǐng)域鞏固了其領(lǐng)導(dǎo)地位。Databricks繼續(xù)強(qiáng)調(diào)他們的Lakehouse是GenAI初創(chuàng)企業(yè)訓(xùn)練和部署自己的人工智能模型的最佳方式，以成本效益的方式利用自己的專有數(shù)據(jù)，而不受大型科技公司的束縛。

04 展望未來，我們可以期待什么呢？

盡管生成式人工智能的熱潮已經(jīng)持續(xù)了8個(gè)多月，但過去一周明確表明，Snowflake和Databricks正在展開競(jìng)爭(zhēng)，爭(zhēng)奪這個(gè)領(lǐng)域的心智和市場(chǎng)份額。

那么，我們可以對(duì)這種加劇的競(jìng)爭(zhēng)有哪些期待？

1.收購將繼續(xù)進(jìn)行→ Snowflake和Databricks都相對(duì)有良好的生態(tài)位來繼續(xù)收購與其整體戰(zhàn)略相輔相成的小公司。Snowflake在其資產(chǎn)負(fù)債表上擁有約40億美元的現(xiàn)金，而Databricks則擁有可用于交易的高估值。同時(shí)，數(shù)百家AI和數(shù)據(jù)工具初創(chuàng)企業(yè)渴望在干旱的IPO市場(chǎng)找到出口。我們不認(rèn)為Neeva和MosaicML會(huì)是這些巨頭最后一次收購，市場(chǎng)將出現(xiàn)整合。

2.客戶將受益→ 在Snowflake和Databricks之間逐漸升級(jí)的競(jìng)爭(zhēng)中，最明顯的贏家應(yīng)該是他們的客戶。這兩家巨頭正在快速為他們的平臺(tái)添加新穎的產(chǎn)品和服務(wù)，構(gòu)建“一站式商店”，供客戶構(gòu)建數(shù)據(jù)應(yīng)用程序并利用LLMs。這種平臺(tái)增強(qiáng)將有助于民主化訪問人工智能，并讓數(shù)據(jù)科學(xué)家、數(shù)據(jù)工程師和人工智能從業(yè)者能夠更有意義地進(jìn)行合作。

3.Azure和AWS將賺取更多的利潤→ 隨著Snowflake和Databricks繼續(xù)在AI市場(chǎng)上進(jìn)一步擴(kuò)張，它們將需要大量的計(jì)算能力，主要由Azure和AWS提供。數(shù)據(jù)工程師Anant Packidurali敏銳地觀察到這一點(diǎn)。與Nvidia在AI中受益一樣，為Snowflake和Databricks的計(jì)算需求提供基礎(chǔ)設(shè)施的超大規(guī)模云服務(wù)提供商無論誰在AI競(jìng)爭(zhēng)中獲勝，都將獲得利益。

隨著企業(yè)對(duì)數(shù)據(jù)的依賴程度越來越高，以支持其生成式人工智能戰(zhàn)略，我們相信Snowflake和Databricks都處于良好的位置，可以利用這一代的轉(zhuǎn)變。盡管它們來自價(jià)值鏈的不同部分，并且它們的關(guān)系在過去十年的發(fā)展中發(fā)生了變化，但它們現(xiàn)在正處于一場(chǎng)獎(jiǎng)勵(lì)巨大的競(jìng)賽中。