大數據變革在數據本身(車品覺)
大數據公司最大的痛苦是什麼?不是沒有數據,而是有太多數據。各種各樣包括結構性和非結構性的數據從四面八方而來,但哪些有用?如何挑選?才是最難。
有一次,我在美國碰巧遇到谷歌的前數據部門主管,他跟我說了一件他覺得很痛苦的事:提出數據需求的人,往往70%的情況並沒有使用所獲提供的數據。他為此非常生氣,便質問業務方:「為什麼你們老問我要數據,結果卻不用?」業務方回答:「是的,因為我用了之後才知道這些數據沒有用。」對於一個每天都要準備數據的人來說,這好比你是一家餐廳的老闆,廚師每天為你準備很多菜卻只用一小部分材料。所以,我從事大數據行業一直有個夢想:如果有一天可以把數據的處理自動化,該多好!
創新方法自動清洗準備
說起數據處理的自動化,不得不提一家在數據領域有突破創新的公司Paxata,它是美國少有接地氣的自助型數據開發 (data preparation)平台。這家公司的專注領域令人興奮,因為目前市場上幾乎所有的數據分析,包括BI軟件和創新都聚焦在解決數據分析的算法、視覺化、模型等等的自動化,卻忽略了一個事實:現實工作中,數據科學家和分析師首先需要花費80%、甚至更多的時間在數據清洗和準備。Paxata採用機器學習的創新方法解決data preparation。其功能如下:
一、讀取數據:讀取任何形式的數據,自動解析和識別數據的類型及數據的意義;
二、數據探索:通過人機交互的形式,幫助用戶主動發現數據質量問題。比如提供全文搜尋、數據品質熱力圖、發現規律,來發現數據中的錯誤、重複、稀疏、缺失等問題;
三、數據清洗和修改:Paxata平台的核心是語義融合和機器學習引擎。該引擎基於算法智能識別並進行數據變換以改善數據;
除了上述功能,Paxata還能夠通過人機交互的形式完成數據合併、發布、改進、分享、安全控制等數據準備的所有環節。其中一個有趣的功能是數據富集(data enrichment),能基於第三方數據庫建議用戶增加更多的變量以提升挖掘價值,並自動完成數據的轉化。他山之石可以攻玉,同類公司所關注的變量及挖掘路徑可以互相借鑑。
今天大數據之所以說起來容易、做起來難,主要是因為兩個問題,其一是數據的易用性,其二是數據處理的成本。因此,底層數據處理的自動化將愈加重要。我們需要將使用數據的經驗數據化,並把這些經驗轉化為其他公司對自己數據的理解和使用能力。
或許在不久的將來,我們就會發現只要我們對某一領域使用數據的經驗有足夠的沉澱,哪怕給我一堆毫無關係的數據,我也能根據數據經驗庫,告訴你我從中看到了什麼。世界日新月異,變化之快令人咋舌,我們數據人也只有不斷顛覆自己使用數據的能力,才能找出大數據未來的方向。
更多車品覺文章:
支持EJ Tech
如欲投稿、報料,發布新聞稿或採訪通知,按這裏聯絡我們。
Related Posts
Latest News
-
巴黎奧運|阿里雲利用AI技術 為體育盛事歷史時刻添色彩
奧運開幕在即,阿里巴巴集團在巴黎舉行了短片《永不失色的她》(To the Greatness of HER)的首映禮,展示自19世紀末以來性別平等的發展歷程。
- Posted July 26, 2024
- 0
-
固網寬頻新標準F5G-A(林國誠)
流動通訊網絡由最初2G直至現時的5G,一說起大家都知這裏的G就是指Generation,代表了第幾代流動通訊網絡,最新標準有5.5G(又稱5G-Advanced)。可是,就固網寬頻而言,香港從來沒有一個統一標準,所以不同互聯網服務供應商提供的體驗均有參差。
- Posted July 26, 2024
- 0
-
CrowdStrike事件的警示(黃岳永)
2024年7月19日無聲無息隨機爆發─網絡安全巨頭CrowdStrike的一次例行更新,意外導致全球數以百萬計的Windows電腦出現「藍屏死機」。
- Posted July 26, 2024
- 0
-
新護膚產品|新防曬乳抗紫外線強三成
美國西北大學兩位科學家德拉維(Leila Deravi)及馬丁(Camille Martin),她們配製出一種新護膚成份Xanthochrome,標榜為全球首款以章魚為靈感的防曬乳。
- Posted July 26, 2024
- 0
-
政府新部門|數字辦成立 提升政府效率
創新科技及工業局轄下的數字政策辦公室(數字辦)昨天正式成立,旨在合併原來的政府資訊科技總監辦公室(資科辦)及效率促進辦公室(效率辦),以加快數字政府建設。
- Posted July 26, 2024
- 0
-
fb吸客|二十歲慶生 五大變革吸年輕客
社交媒體Facebook(fb)今年面世20周年,似乎漸被年輕一代冷落。fb昨天舉辦亞太傳媒簡報會「The Future of Facebook」,該公司總監艾利森(Tom Alison)在席上表示,旗下核心產品將會「重大升級」,為下代社媒消費者做好準備。
- Posted July 26, 2024
- 0
-
AI個別定價?|美國八企業 AI追蹤消費行為個別定價
美國聯邦貿易委員會(FTC)周二(23日)向8間公司發出命令,指他們利用人工智能(AI)及演算法,追蹤消費者特徵及行為,例如位置、人口統計、信用紀錄、瀏覽或購物歷史等資訊,為商品設定個人化價格。
- Posted July 26, 2024
- 0