大数据时代过去了,我很怀念它【让编程再次伟大#36】

📌 大数据时代过去了,我很怀念它【让编程再次伟大#36】

⓵ 容易懂 Easy Know

想像一下,前幾年有個很紅的新詞叫「大數據」,就像現在大家都在說AI一樣。那時候很多人覺得,未來每個人、每個公司都會產生多到數不清的資訊(數據),多到連最厲害的電腦都裝不下、算不動。所以大家就花很多錢蓋了超級大的「數據倉庫」和「計算工廠」,想說有了這些數據,機器就能告訴我們怎麼賺大錢、怎麼做決定。但實際情況是,大多數人產生的數據沒想像中那麼多,而且電腦也越來越快、越來越厲害了,本來以為需要好幾個大工廠一起算的東西,現在一台普通的電腦就搞定了。還有啊,很多老闆還是喜歡自己做決定,不太想完全聽數據的。所以那些花大錢蓋的數據倉庫,很多就沒派上用場。這就像我們學到一個教訓:有時候對新技術的預測會太樂觀,現實發展和想的不太一樣。

-----

⓶ 總結 Overall Summary

本文作者回顧了在2010年代達到高峰的「大數據」熱潮,認為其作為一個被賦予革命性商業預言的時代並未真正來臨,甚至可以說「沒有活過」,因為其關鍵預測未能實現。作者親身經歷了那個時代的起落,並將其視為一個寶貴的教學案例,說明人類如何錯誤預測技術未來。

大數據熱潮的興起背景源於21世紀初網路服務帶來的使用者和數據指數級增長,超越了當時硬體的線性處理能力,因此催生了基於分散式計算的大數據技術。當時科技巨頭的大力推廣,讓「數據即將指數級增長」成為普遍接受的預言,許多企業因此投入巨資建構大數據系統。然而,現實發展與預測出現了「死亡交叉」:數據實際增長是線性的,而計算機硬體性能卻穩步快速提升,許多過去需要分散式處理的問題現在單機即可高效解決。

作者分析了預測失誤的兩大原因:首先,嚴重高估了企業的數據規模。絕大多數企業的數據量遠未達到TB量級,百GB仍是常態,與預期的天文數字般規模相去甚遠。其次,實際有用的數據比想像中少。企業為了追趕潮流,不論價值地收集大量數據(如日誌),其中很多是噪音。加上現代決策週期縮短,業務更關注近期數據(如24小時內),即使數據倉庫龐大,實際計算需求仍停留在GB或MB級。

更關鍵的失敗在大數據的商業預言層面:用科學數據分析驅動決策未能實現。作者指出,決策層不願放棄權力將重要決策交給機器,數據分析往往淪為印證領導既有想法的工具,其客觀價值被嚴重壓縮。人類對數據驅動模式的信心不足,也導致許多系統採用數據驅動與人工干預並存的模式,進一步稀釋了大數據的應用效益。

儘管預言中的大數據時代未能到來,作者肯定了這段歷程留下的技術遺產和新的商業思考模式。他強調,從大數據的預測失誤、落地障礙等失敗經驗中學習,對於我們冷靜判斷當前(如AI)及未來技術熱潮至關重要,避免重蹈覆轍。

-----

⓷ 觀點 Viewpoints

大數據時代的預言未能實現,其作為革命性力量「沒有活過」。
預測數據將呈指數級增長是基於當時網路服務的發展,但實際增長遠低於預期。
計算機硬體性能的穩步提升,導致其處理能力逐漸能趕上甚至超越實際數據增長的需要,減少了對分散式處理的依賴。
企業普遍高估了自身數據規模,許多公司數據量遠未達到TB級,且收集了大量低價值的「噪音」數據。
業務決策週期縮短,使得只有近期數據(如24小時內)具有高價值,降低了對總體數據量的計算需求。
大數據未能真正驅動決策,領導層不願放棄權力,數據分析常被用於服務管理層的既有觀點。
研究大數據等技術失敗案例提供的經驗,對理解和應對當前及未來的技術熱潮(如AI)至關重要。

-----

⓸ 摘要 Abstract

✅ 大數據預言的時代並未真正來臨。
⚠️ 過度樂觀預測數據將呈指數級增長是錯誤的。
📌 實際數據增長是線性的,硬體性能提升超越了計算需求。
✅ 大多數企業的數據量並未達到預期的TB或PB級。
⚠️ 企業收集了大量低價值或無用的數據。
📌 快速決策週期使得只有近期數據受到重視,降低了總體計算需求。
⚠️ 組織領導層不願放棄決策權給數據,阻礙數據驅動落地。
📌 數據分析常被用於證明管理層的既有觀點。
✅ 從大數據的失敗中學習,能幫助我們更冷靜判斷未來技術趨勢。

-----

⓹ FAQ 測驗

1. 根據文章,為什麼當年對大數據的需求預測與現實發生了偏差?
A. 數據的實際增長速度遠超預期,硬體跟不上。
B. 計算機硬體性能的增長速度超過了實際線性增長的數據計算需求。
C. 分散式計算技術的發展速度停滯不前。
D. 企業停止了數據的收集。
正確答案:B. 解釋:文章提到硬體性能的穩步提升與數據的線性增長形成「死亡交叉」,使得許多原本預計需要分散式處理的問題現在單機即可解決。

2. 文章指出,大多數企業的數據倉庫體積與大數據熱潮期間的預期存在差距,實際常態是哪個量級?
A. TB (太字節)
B. PB (拍字節)
C. GB (吉字節)
D. EB (艾字節)
正確答案:C. 解釋:文章引用市場分析指出,絕大多數企業數據倉庫體積未達到TB量級,百GB仍是標配基準。

3. 作者認為從大數據熱潮的經驗中學到的最重要教訓之一是什麼?
A. 應避免所有新技術的投資,因為預測總是不準。
B. 應更冷靜地判斷技術預測,並研究失敗案例以從中學習。
C. 企業應無條件地將所有決策權交給數據分析結果。
D. 大數據技術雖然預言失敗,但仍然是商業成功的唯一關鍵。
正確答案:B. 解釋:作者在文末強調,從大數據的失敗經驗中學習如何判斷技術的未來曲線和落地的障礙,對於應對新的技術熱潮(如AI)非常寶貴。

✡ Oli小濃縮 Summary bot 為您濃縮重點 ✡

https://youtu.be/n7z1V2lo_gQ

*

張貼留言 (0)
較新的 較舊

廣告1

廣告2