從2012年開始,幾乎人人(至少是互聯網界)言必稱大數據,似乎不和大數據沾點邊都不好意思和別人聊天。從2016年開始,大數據系統逐步開始在企業中進入部署階段,大數據的炒作逐漸散去,隨之而來的是應用的蓬勃發展期,一些代表成熟技術的標志性IPO在國內外資本市場也不斷出現。轉眼間,大數據幾年前經歷的泡沫正在無可爭議地轉移到人工智能身上。可以說,在過去的一年,AI所經歷的共同意識“大爆炸”與當年的大數據相比,有過之而無不及。最近風口又轉移到區塊鏈上了,某種程度上也成為業內人士焦慮的一種誘因了。
但無論技術熱點如何變換,我們能看到的是,隨著行業沉下心來進行實質的落地,大數據生態也越來越細分。今天就我和大家來談談大數據領域的一些新變化、新趨勢。
三、數據科學自動化 Security
數據科學家(Data Scientist)依然是市場上炙手可熱的爭奪對象。但是我們在周圍卻很少見到這類人,哪怕是財富前1000強的公司也為無法招到更多“數據科學家”而感到困擾。而在一些組織里,數據科學部門正在從使能者演變為瓶頸。
與此同時,AI的大眾化以及自服務工具的蔓延使得數據科學技能有限的數據工程師,甚至是數據分析師在執行一些基本操作時變得更加容易了,而這些操作直到最近仍然是數據科學家的領地。在自動化工具的幫助下,企業大量的大數據工作,尤其是那些簡單枯燥的工作,將由數據工程師和數據分析師進行處理,而不必麻煩有著深厚技術技能的數據科學家。當然,即便如此,數據科學家目前還不需要太過“恐懼”。
在可預見的未來里,自服務工具和自動化模型將會“增強”數據科學家而不是消滅他們,會解放他們,讓他們把焦點放在需要判斷、創造力、社會化技能或者需要垂直行業知識的任務上,那樣才能更加體現科學家的名號。
四、大數據管理員的崛起
大數據管理員(BDA)也對標于數據庫管理員(DBA),雖然兩個英文字母只是變換了一下順序,但是其內涵相差甚遠。一個非常明顯的趨勢是,企業將對一個新崗位角色產生需求,即大數據管理員。DBA大家已經非常熟悉,但它與大數據時代下的數據管理員,有非常大的差別。
數據管理員處于數據使用者和數據工程師之間。為了取得成功,數據管理員在進行大數據系統的維護工作之外,還必須了解數據的含義以及掌握應用于數據中的一些技術。
這數據管理員需要清楚整個組織內需要執行的數據分析類型,哪些數據集非常適用于這項工作,以及如何將數據從原始狀態轉換為數據使用者執行這項工作所需的形態和形式。數據管理員應使用像自助服務數據平臺這樣的系統來加快數據使用者訪問基本數據集的端到端流程,而無需制作無數的數據副本。
結語
以上四個方面是數據科學在實踐發展中提出的新需求,誰能在這些方面得到好的成績,誰便會在這個大數據時代取得領先的位置。
我們擁有國內頂級的設計、技術團隊和多年互聯網軟件開發經驗。