大數據變革在數據本身(車品覺)
大數據公司最大的痛苦是什麼?不是沒有數據,而是有太多數據。各種各樣包括結構性和非結構性的數據從四面八方而來,但哪些有用?如何挑選?才是最難。
有一次,我在美國碰巧遇到谷歌的前數據部門主管,他跟我說了一件他覺得很痛苦的事:提出數據需求的人,往往70%的情況並沒有使用所獲提供的數據。他為此非常生氣,便質問業務方:「為什麼你們老問我要數據,結果卻不用?」業務方回答:「是的,因為我用了之後才知道這些數據沒有用。」對於一個每天都要準備數據的人來說,這好比你是一家餐廳的老闆,廚師每天為你準備很多菜卻只用一小部分材料。所以,我從事大數據行業一直有個夢想:如果有一天可以把數據的處理自動化,該多好!
創新方法自動清洗準備
說起數據處理的自動化,不得不提一家在數據領域有突破創新的公司Paxata,它是美國少有接地氣的自助型數據開發 (data preparation)平台。這家公司的專注領域令人興奮,因為目前市場上幾乎所有的數據分析,包括BI軟件和創新都聚焦在解決數據分析的算法、視覺化、模型等等的自動化,卻忽略了一個事實:現實工作中,數據科學家和分析師首先需要花費80%、甚至更多的時間在數據清洗和準備。Paxata採用機器學習的創新方法解決data preparation。其功能如下:
一、讀取數據:讀取任何形式的數據,自動解析和識別數據的類型及數據的意義;
二、數據探索:通過人機交互的形式,幫助用戶主動發現數據質量問題。比如提供全文搜尋、數據品質熱力圖、發現規律,來發現數據中的錯誤、重複、稀疏、缺失等問題;
三、數據清洗和修改:Paxata平台的核心是語義融合和機器學習引擎。該引擎基於算法智能識別並進行數據變換以改善數據;
除了上述功能,Paxata還能夠通過人機交互的形式完成數據合併、發布、改進、分享、安全控制等數據準備的所有環節。其中一個有趣的功能是數據富集(data enrichment),能基於第三方數據庫建議用戶增加更多的變量以提升挖掘價值,並自動完成數據的轉化。他山之石可以攻玉,同類公司所關注的變量及挖掘路徑可以互相借鑑。
今天大數據之所以說起來容易、做起來難,主要是因為兩個問題,其一是數據的易用性,其二是數據處理的成本。因此,底層數據處理的自動化將愈加重要。我們需要將使用數據的經驗數據化,並把這些經驗轉化為其他公司對自己數據的理解和使用能力。
或許在不久的將來,我們就會發現只要我們對某一領域使用數據的經驗有足夠的沉澱,哪怕給我一堆毫無關係的數據,我也能根據數據經驗庫,告訴你我從中看到了什麼。世界日新月異,變化之快令人咋舌,我們數據人也只有不斷顛覆自己使用數據的能力,才能找出大數據未來的方向。
更多車品覺文章:
支持EJ Tech
如欲投稿、報料,發布新聞稿或採訪通知,按這裏聯絡我們。
Related Posts
Latest News
-
手機AI之戰|傳Apple高層訪台積電 商議包下2納米首批產能
台灣傳媒報道,蘋果營運總監威廉斯(Jeff Williams)近日低調到台灣訪問台積電,獲台積電總裁魏哲家親自接待。
- Posted May 20, 2024
- 0
-
加人工!|調查發現香港具AI技能員工 將帶來28%薪酬升幅
Amazon Web Services(AWS)發布的最新研究顯示,當人工智能(AI)獲普及利用時,香港具備AI技術和專業知識的人才將獲得高達28%的薪酬漲幅,當中 IT(28%)和研發(27%)部門人員的受益最大,其次為銷售和行銷(25%)部門。
- Posted May 20, 2024
- 0
-
新版iPhone?|傳 Apple 明年推出超薄版 iPhone
據外電爆料,蘋果公司正在開發一款超薄版iPhone,售價或高於iPhone Pro Max,預計將於2025年9月與iPhone 17一起推出。
- Posted May 20, 2024
- 0
-
中國電動車|加拿大考慮提高中國電動車關稅
加拿大國際貿易部長伍鳳儀(Mary Ng)在亞太經合組織(APEC)會議接受彭博採訪時表示,在美國宣布新關稅後,加拿大正考慮是否需要提高對中國製造電動汽車的關稅。
- Posted May 20, 2024
- 0
-
中港兩地|廣州預留興建通道 磁浮車貫穿京港澳
廣州市政府日前公布,綜合立體交通網規劃、超前謀劃與其他超大城市高速磁懸浮通道布局及實驗線建設,包括預留興建京港澳高速磁懸浮列車的通道。
- Posted May 20, 2024
- 0
-
本地電子支付平台|BoC Pay推出專區支持數字人民幣支付服務
為配合擴大數字人民幣在香港的試點,中銀香港(02388)於流動支付應用程式BoC Pay推出「數字人民幣專區」,此乃首個本地應用程式支持數字人民幣支付服務,進一步方便本地客戶使用數字人民幣。
- Posted May 20, 2024
- 0
-
AI之戰|內地AI企業雅通攻東南亞澳紐
內地人工智能(AI)軟件公司雅通科技上月底獲近1億元人民幣等值美元融資後,雅通聯合創辦人兼行政總裁王佳接受本報專訪時表示,計劃把業務擴張至東南亞、澳洲及紐西蘭,亦透露目前在港已接近簽訂合約階段,準備在香港拓展業務。公司亦擬今年內在港建立研發團隊,以便打造適用於海外的產品。
- Posted May 20, 2024
- 0