這個時代不缺數(shù)據(jù)，缺的是足夠開放的思維

作為人群聚集區(qū)，城市是一個天然的數(shù)據(jù)集中池。

 

社交媒體、交通流量、氣象、地理等多種大數(shù)據(jù)都在這里匯聚，物聯(lián)網(wǎng)、傳感器的發(fā)展，也讓這些數(shù)據(jù)得以被追蹤存儲。當(dāng)這些時空數(shù)據(jù)集被組合起來，并與人工智能結(jié)合，這似乎是一條解決交通擁堵、環(huán)境惡化、能耗增加等城市問題的新的角度。

 

“我們都生活在城市中，城市跟我們的生活密切相關(guān)。我是做計算機科學(xué)的人，那為什么不能想辦法解決身邊的那些最常見的問題呢？”在一次公開采訪中，鄭宇如此描述自己鐘情城市計算的一個原因。

 

近年來，城市計算（Urban Computing）逐漸走入公眾視野，并且越來越受到社會關(guān)注。這是是計算機科學(xué)以城市為背景，與城市規(guī)劃、交通、能源、環(huán)境、社會學(xué)和經(jīng)濟等學(xué)科融合的新興領(lǐng)域。城市計算通過不斷獲取、整合和分析城市中不同領(lǐng)域的大數(shù)據(jù)來解決城市所面臨的挑戰(zhàn)。

 

在2013年，鄭宇因為在城市計算方面的杰出研究被《MIT科技評論評》評為全球杰出青年創(chuàng)新者。

 

雅虎創(chuàng)始人楊致遠、谷歌聯(lián)合創(chuàng)始人拉里?佩奇、Facebook創(chuàng)始人馬克?扎克伯格、Twitter聯(lián)合創(chuàng)始人杰克?多西以及蘋果設(shè)計師喬納森?艾維等多位互聯(lián)網(wǎng)明星都曾入選TR35。而鄭宇是當(dāng)年入選者中僅有的兩位來自中國機構(gòu)的創(chuàng)新者之一。

 

微軟研究院鄭宇帶領(lǐng)團隊主持“城市計算”以來，通過分析和融合城市中的各種大數(shù)據(jù)，實現(xiàn)了一系列關(guān)于智能交通、城市規(guī)劃、環(huán)境和能源的實際案例。相關(guān)技術(shù)不僅被應(yīng)用于微軟的產(chǎn)品，并且還在多個城市服務(wù)于中國政府。

 

3月20日，微軟亞洲研究院“城市計算”領(lǐng)域負責(zé)人鄭宇博士近期在清華大數(shù)據(jù)講座上分享了題為“大數(shù)據(jù)驅(qū)動城市計算”的講座。（點擊查看大數(shù)據(jù)文摘推送的相關(guān)文章《微軟鄭宇：多種大數(shù)據(jù)組合起來，解決空氣污染、房價預(yù)測等城市問題(視頻+PPT)》）

 

演講后，我們有幸針對“數(shù)據(jù)科學(xué)團隊建設(shè)問題”對鄭宇博士補充了相關(guān)采訪問題，針對這樣一個時空數(shù)據(jù)交雜的分析領(lǐng)域，鄭宇在組建數(shù)據(jù)團隊和數(shù)據(jù)人才培養(yǎng)方面有著自己的獨到見解，此外，針對技術(shù)和研究方向上，他也給出了基于自己經(jīng)驗的看法。

 

以下為問答實錄——

 

數(shù)據(jù)分析師與數(shù)據(jù)科學(xué)家的區(qū)別就像本科與博士做研究一樣?

 

Q：數(shù)據(jù)分析師和數(shù)據(jù)科學(xué)家有什么區(qū)別？

 

鄭宇：很多公司的招聘廣告上面寫招聘數(shù)據(jù)科學(xué)家其實都不是招真正的數(shù)據(jù)科學(xué)家，而是數(shù)據(jù)分析師。數(shù)據(jù)分析師有明確的任務(wù)，明確的數(shù)據(jù)，結(jié)果也明確，他會用一些分析工具去跑一些報表，然后提交結(jié)果。而數(shù)據(jù)科學(xué)家要有能力自己找題目，首先要懂得行業(yè)問題，其次懂得數(shù)據(jù)背后的隱含信息，然后還要知道這個行業(yè)問題之后你要知道用什么數(shù)據(jù)如何解決這個問題。除此以外，還要對各種模型都很清楚，不光是機器學(xué)習(xí)，還有數(shù)據(jù)管理以及可視化，把很多模型要組合在一起。最后要對云計算平臺有一定的了解，要學(xué)會怎么用，甚至要學(xué)會怎么改它，一個好的數(shù)據(jù)科學(xué)家是站在云平臺上面看問題、想數(shù)據(jù)、關(guān)聯(lián)模型，把這些模型有機組合起來部署到云平臺上面，產(chǎn)生鮮活的知識，解決行業(yè)問題，這個才是大數(shù)據(jù)。其中的區(qū)別就像本科與博士做研究一樣，本科生是老師手把手教題目，博士生是自己找題目。

 

我通過兩個例子講述一下什么叫數(shù)據(jù)科學(xué)家，什么叫數(shù)據(jù)分析師：

 

先舉一個數(shù)據(jù)分析師的例子，銀行向用戶發(fā)信用卡，用戶提交的表格上有他的年齡、職業(yè)、收入等信息，需要分析師判斷是否給這個用戶發(fā)信用卡。這是一個YES or NO的問題，分析師要做的是拿個人的信用記錄去訓(xùn)練一個分類模型。任務(wù)明確，數(shù)據(jù)明確，決定也很明確。

 

再說一個政府向數(shù)據(jù)科學(xué)家提出的需求，“徐匯區(qū)有一條路灰很多，怎么用大數(shù)據(jù)去處理？”、“北京市建副中心到通州以后對北京整個的經(jīng)濟、環(huán)境、交通有什么影響？”這個問題不是因果問題，不是預(yù)測問題，也不是關(guān)聯(lián)問題，需要你去想找什么樣的數(shù)據(jù)，怎么展現(xiàn)怎么實施。沒有具體問題也沒有具體數(shù)據(jù)，這就是數(shù)據(jù)科學(xué)家應(yīng)該解決的問題。

 

Q：您的團隊大致有多少人組成？與數(shù)據(jù)相關(guān)的團隊有多少人，有哪些不同的職位劃分？

 

鄭宇：我的核心團隊其實沒有大家想象的那么大。有2位研究員、4名軟件工程師和八、九名研究助理組成。根據(jù)城市計算的四個層面（城市感知、城市數(shù)據(jù)管理、城市數(shù)據(jù)的分析和挖掘、服務(wù)提供）以及每個人的特長和興趣，我會給這些組員分配不同的工作。其中一位研究員帶領(lǐng)幾名研究助理和工程師，負責(zé)數(shù)據(jù)管理層面。另一位研究員帶領(lǐng)幾名研究助理和工程師，負責(zé)城市數(shù)據(jù)的挖掘和分析層面。另外幾名研究助理會分布在城市感知以及服務(wù)提供兩個層面。我會參與到城市計算各個層面的項目中去。此外，我們會跟一些合作伙伴展開合作，比如，會有一些高校的團隊在某些項目中幫助我們做一些可視分析. 另外，我們也會經(jīng)常跟市場部門的合作伙伴一起跟客戶溝通，了解他們的需求，協(xié)調(diào)數(shù)據(jù)并最終部署技術(shù)。

 

Q：數(shù)據(jù)相關(guān)團隊在微軟及您的整個團隊中所處地位如何？

 

鄭宇：數(shù)據(jù)團隊在一個項目的始終都扮演者及其重要的作用。從最開始的市場接入環(huán)節(jié)，我們的數(shù)據(jù)團隊就要開始參與到其中，了解用戶的需求和掌握的數(shù)據(jù)情況，甚至要幫助用戶分析和提出他們的需求。在現(xiàn)在這些數(shù)據(jù)驅(qū)動和人工智能主導(dǎo)的項目中，單純依靠銷售和市場團隊很難打開局面，也很難形成跟客戶的有效配合。最后期，我們還要對第三方運維企業(yè)做有效的培訓(xùn)，確保他們能夠維護我們部署的系統(tǒng)。

 

大數(shù)據(jù)時代我們真的不再缺數(shù)據(jù)了缺得是我們的思維不夠開放 ?

 

Q：一個好的數(shù)據(jù)科學(xué)家最關(guān)鍵的品質(zhì)是什么？

 

鄭宇：你會發(fā)現(xiàn)在大數(shù)據(jù)時代我們真的不再缺數(shù)據(jù)了，缺得是我們的思維不夠開放，思考問題A的時候不要一直看問題A的數(shù)據(jù)，其實會發(fā)現(xiàn)問題B和C的數(shù)據(jù)都可以拿來用，而且這個數(shù)據(jù)完全可以不是你這個領(lǐng)域的數(shù)據(jù)。只有你對這個問題理解深刻以后才能把別的數(shù)據(jù)背后的知識拿過來做融合。很多時候項目推動不了不是人數(shù)不夠，而是因為缺乏中間靈魂的頭腦，培養(yǎng)這樣的人其實是非常困難的。以我個人的經(jīng)驗至少七到十年才能培養(yǎng)出這樣一個真正的數(shù)據(jù)科學(xué)家來，這樣一個人可以解決很多問題。所以我鼓勵大家，你至少讀一個五年P(guān)HD加兩年的實戰(zhàn)經(jīng)驗，基本上可以來做這樣的事情。

 

Q：那么算法的理論知識和實際項目的實踐經(jīng)驗?zāi)膫€更重要？

 

鄭宇：兩個方面都很重要，但是后者的學(xué)習(xí)和獲取過程更困難。

 

數(shù)據(jù)挖掘的模型你可能拿本書學(xué)個兩三年基本能學(xué)會一些模型，但是很多項目的經(jīng)驗，你的真的很少有機會接觸到這樣的項目。只有把系統(tǒng)部署到真實世界中用起來，拿到新的反饋，再改進模型，經(jīng)過這幾次迭代過程你會學(xué)到很多東西，但是這個機會特別少，特別難得。而且你從后者怎么吸取和提煉這種經(jīng)驗也很重要，如果沒有總結(jié)能力和提取能力的話，換個新問題你還是不會做。所以我覺得這兩者都重要，后者培養(yǎng)起來更加困難一點。

 

Q：您怎么看待數(shù)據(jù)驅(qū)動？數(shù)據(jù)驅(qū)動在一個企業(yè)可以輔助商業(yè)決策，請列舉在過去幾年利用數(shù)據(jù)解決研究問題／發(fā)現(xiàn)觀點的一個有趣的例子。

 

鄭宇：從商業(yè)選址到空氣質(zhì)量預(yù)測，數(shù)據(jù)驅(qū)動的方法已經(jīng)多次作出了有效的決策。比如，合理的為商業(yè)店面選址可以帶來更多的人氣，提升商業(yè)的收益并降低企業(yè)的投入。通過數(shù)據(jù)驅(qū)動的方法為充電樁選址，可以讓有限的資源為更多車服務(wù)，并且避免過度擁堵。另外，在住宅地產(chǎn)選址的過程中，我們發(fā)現(xiàn)除了學(xué)區(qū)房，影響小區(qū)價值的另一個重要因素是該小區(qū)通向最近高速公路入口的路網(wǎng)距離（或者通行時間）。位置很近的兩個小區(qū)，其價值（根據(jù)同一市場環(huán)境下的漲幅比來確定）可以相差很遠。

 

關(guān)于數(shù)據(jù)模型資產(chǎn)的復(fù)用有兩個東西可以轉(zhuǎn)移 ?

 

Q：北上廣這些城市的數(shù)據(jù)化基礎(chǔ)設(shè)施比較好，那么在這些地區(qū)做城市研究會相對可操作，但是，在其他的比較落后的地區(qū)如何開展相關(guān)城市計算研究呢？

 

鄭宇：我們在研究中，會遇到有兩個類似的模型應(yīng)用場景的情況，但是我們不能直接把在A場景做的模型應(yīng)用到B場景去，這時候，我建議基于遷移學(xué)習(xí)的方法來做不同場景間的知識的轉(zhuǎn)移。有兩個東西可以轉(zhuǎn)移：

 

第一，數(shù)據(jù)和數(shù)據(jù)之間的關(guān)系可以轉(zhuǎn)移：比如說出現(xiàn)擁堵的時候空氣質(zhì)量會變壞，當(dāng)濕度比較高的時候容易形成霧霾。這種數(shù)據(jù)和數(shù)據(jù)之間的關(guān)系在很多地方都是普遍存在的，可以在A?城市里面用豐富的數(shù)據(jù)訓(xùn)練出一些字典，然后以此為基準(zhǔn)復(fù)用到B、C、D城市去。

 

第二，利用隱含空間：數(shù)據(jù)本身可能不能轉(zhuǎn)移，但是把數(shù)據(jù)投影到隱含空間以后，不同城市的數(shù)據(jù)就可以共享。我舉個隱含空間的例子，比如北京市的交通流量和寧波市的交通流量肯定很不一樣，但是它們投影到隱含空間里面可能都是早高峰堵、晚高峰堵中間不堵，如果都能投影到類似的隱含空間以后，不同城市的數(shù)據(jù)就可以共享和利用。

 

Q：如何選擇模型特征？

 

鄭宇：在做模型特征選擇時，數(shù)據(jù)質(zhì)量比特征重要，特征比模型重要。

 

第一，如果你根本都沒這個數(shù)據(jù)的話你可能費很大勁設(shè)計各種模型才能得到一點好的結(jié)果，如果你的數(shù)據(jù)質(zhì)量很好，你有這個數(shù)據(jù)了，就很容易得到結(jié)果。

 

第二，業(yè)務(wù)理解深度和對數(shù)據(jù)的敏感度決定了你能找到的特征好壞。如果提了很好的特征，可能根據(jù)兩三個特征就能得到別人十幾個特征的不得結(jié)果。我們提取什么特征完全取決于我們對問題本身的理解，所以我著眼在與行業(yè)知識結(jié)合，數(shù)據(jù)挖掘其實是一個發(fā)現(xiàn)知識的過程，我們需要有從數(shù)據(jù)里面提煉知識解決問題的能力。

 

第三，數(shù)據(jù)越大、質(zhì)量越好，特征的選擇的必要性越低。在傳統(tǒng)的數(shù)據(jù)挖掘里往往有很多參數(shù)但訓(xùn)練樣本又很少，所以不得不進行特征優(yōu)選，使得訓(xùn)練樣本還是那么多，但是參數(shù)變少，這樣可以保證訓(xùn)練效果跟以前不差甚至更好。而現(xiàn)在我們擁有海量數(shù)據(jù)了，哪怕多選了一些冗余的特征，也可以依靠后面模型的力量來通過權(quán)重參數(shù)的做約束，越來越多的機器學(xué)習(xí)算法本身就考慮了特征的冗余性問題，所以在你擁有足夠大的高質(zhì)量數(shù)據(jù)之后，是沒必要花費太多的精力在特征剔除上。

 

有問題的時候不要先去看別人怎么做的，最重要的是你是否真的對用數(shù)據(jù)解決問題感興趣 ?

 

Q：怎么決定研究方向？

 

鄭宇：我們基本上所有的工作都來源對生活的觀察。最重要的一點是你是否真的對用數(shù)據(jù)解決問題感興趣，你真正能夠體會到這種樂趣的時候就進入狀態(tài)了。

 

通常我們在看到現(xiàn)實生活中真的有很難的題目后，會在設(shè)計完方法以后再看有沒有相關(guān)的工作做過了，這避免了我們的思路跟別人重復(fù)。再此我也建議大家，如果你有問題的時候不要先去看別人怎么做的，很多學(xué)生喜歡這么想，看到一個題目馬上就去搜別人怎么做的，然后馬上跟著別人思路走進去了，很難有創(chuàng)造性的思維。

 

Q：對于希望進入數(shù)據(jù)領(lǐng)域的工程師，分析師們，您希望他們加強哪方面的技能培養(yǎng)？

 

第一，加強數(shù)據(jù)科學(xué)的基本技能培養(yǎng)，包括數(shù)據(jù)管理、機器學(xué)習(xí)和可視化技術(shù)以及云計算平臺的使用。

 

第二，加強對要解決問題所在行業(yè)的了解，借助行業(yè)現(xiàn)有的知識來設(shè)計合理的數(shù)據(jù)模型，明確行業(yè)傳統(tǒng)方法為什么不行，并懂得跟行業(yè)專家有效溝通。

 

第三，培養(yǎng)溝通和表達能力。現(xiàn)在的數(shù)據(jù)科學(xué)家不再是關(guān)起門來在家里閉門造車的工匠或者學(xué)者，他需要把深奧的問題和理論用最淺顯的語言講出來，讓政府以及傳統(tǒng)行業(yè)的客戶能夠明白。

 

最后，培養(yǎng)自己的創(chuàng)作力。很多時候客戶是提不出需求的，作為一個數(shù)據(jù)科學(xué)家要有超前的想象力和犀利的創(chuàng)造力。這點最難培養(yǎng)，跟一個人的成長經(jīng)歷有關(guān)，甚至要從娃娃抓起。

 

我正在為MIT Press撰寫一本《城市計算》的英文專著，里面涉及了數(shù)據(jù)科學(xué)家需要掌握的各種技能，以及實戰(zhàn)案例。該書將作為美國該專業(yè)的第一本教材，預(yù)計年底出版，有興趣的朋友可以關(guān)注。”

 

沈陽App定制開發(fā)，請信賴唯思科技！