开源 Ubuntu php Android mysql google Firefox centos 云计算 Python shell linux 程序员 Windows nginx wordpress apache 编程 java 微软

交通和個性化推薦實戰經驗分享

2016年開年伊始,雲棲大會上海峰會上,阿裏雲宣布發布“核武器”級平臺——一站式大數據平臺“數加”。該平臺集合了阿裏巴巴十年的大數據能力以及上萬名工程師實戰檢驗,包含數十款產品,涵蓋數據采集、計算引擎、數據加工、數據分析、機器學習、數據應用等鏈條,雲棲社區曾特別對其進行了詳細的介紹《阿裏十年經驗輸出,大數據平臺“數加”的前世今生》。

 

而在4月20日的雲棲大會深圳峰會的《大數據》專場上,數加又有新的迅猛變化,產品體系更加清晰,場景化方案走向個性化,來自企業的實踐也已走向深入。

 

今日的數加:16+產品,3大方案,3種可視化應用

 

如果從阿裏雲官網導航欄的“大數據”入口進入,可以看到產品、解決方案、可視化是數加的三大框架體系。具體來看:

 

2b1bba21cf4ff1d63a6ca95d213e50bf9cbad9ca

 

產品方面已經擁有16款產品:

開發套件:大數據開發、機器學習、BI報表;
數據應用:推薦引擎、規則引擎標準版、移動定向營銷版、移動數據分析;
智能算法:智能語音交互、機器翻譯、人臉識別、電商圖像分析、通用圖像分析和印刷文字識別;
計算引擎:大數據計算服務、分析型數據庫、流計算。


 

方案主打3個方向:

移動app數據化運營:為開發者提供一站式數據化運營服務,助力移動開發者實現基於大數據技術的精細化運營,提升產品質量和體驗,增強用戶黏性;
ODPS數據集成方案:提供可跨異構數據存儲系統、可靠、安全、低成本、可彈性擴展的數據傳輸交互服務,讓數據不再成為孤島;
個性化推薦:根據用戶的興趣特點和購買行為,推薦用戶感興趣的信息和物品。


 

可視化應用有3種:

DataV:專精於業務數據與地理信息融合的大數據可視化呈現,輕松搭建專業水準的可視化應用;
郡縣圖治:“郡縣治,天下安”,區域發展亟需響應“互聯網+”行動計劃,敏捷應對經濟新常態;
臺風預警:臺風來臨前提供實時的各氣象臺預報數據對比展示分析,判斷臺風未來的走向及汛情。 


如果濃縮到一張圖中,就是在阿裏雲大數據事業部總監張金銀(花名:行在)演講中的一張:打通數據生產全鏈條。

 

084af484806c8a680f5ca1cb79ba15b2eca75401

 

在他看來:“阿裏巴巴的命是拴在數加上的,承載了阿裏巴巴集團、螞蟻金服集團EB級別數據的計算。作為大數據踐行者,阿裏巴巴的大數據之路告訴我們,數據上雲(集中存儲、大規模計算、統一元數據)、數據資產化(數據整合、數據地圖、數據管理、資產計量)、業務創新(數據化運營、精準營銷、互聯網金融、智能物流)、數據生態(業務閉環、生態夥伴、運營數據、分享)這是DT時代所有有誌於大數據實踐的必經之路,也是數加的使命。”

 

交通行業“互聯網+信號燈”分析

 

張金銀的分享之後,還有“大數據下的數據安全與個人隱私保護”、“互聯網+信號燈”、“全渠道CRM的大數據新玩法”、“鎖屏改變你的世界”等技術實踐內容。以交通和個性化推薦為例,雲棲社區進行了講稿的整理。更多視頻可以在雲棲大會深圳峰會回顧專題中觀看。

 

交通是大數據應用最為重要的場景之一。阿裏雲數據事業部專家王正剛在分享中提到:信號燈作為道路資源分配的存在,可以平衡人、車路權,也是提升運輸效率的一種重要手段。經常能看到相關新聞報道,因為信號燈失效,造成的擁堵和事故,可以說是“牽一發動全身”。

 

5d9c34f08c22a566f057d548251521d24be124cf

 

但談到交通信號燈控制,傳統交通信息采集設備昂貴的造價和維護成本讓人卻步,所以一般難以覆蓋城市的所有道路,導致交通管理部門無法動態進行全網絡交通流量的監控和疏導。移動互聯網的存在不僅降低了信息采集成本,延伸了數據采集和道路監控範圍,而且可以基於道路上運動的車輛軌跡生成豐富的交通變量,比如說速度和車流量。舉例來看,基於動態路口交通狀態信息計算的路口平衡指數就是為了度量路口信號燈調節交通供需關系的能力,它是實時路口平衡性和自由流狀態下完美平衡性之間的差值,所以平衡指數越高,路口對供需關系的協調能力就越弱。

 

基於2016Q1廣州市移動互聯網數據分析,我們發現工作日路口平衡指數平均在早間7:00-9:00和晚間17:00 -18:00容易出現平衡指數小高峰。

 

工作日的路口平衡指數水平一般大於周末,但在二者的早間(0:00–6:00)和晚間(20:00–23:00),路口平衡指數相比較白天(10:00–17:00)都顯著下降。

 

深入到各個行政區,我們同樣發現工作日差異值普遍大於周末,所以工作日信號燈調節交通供需的能力略微劣於周末,這可能和工作日道路通行壓力普遍較大有關。

 

事實上,實現信號燈的評估,一方面可以評估單點路口的信號燈控制,另一方面也可以評估綠波帶(線)的效果,比如可以通過實時路況數據反映綠波帶的設置在不同區域和時間段的合理性。更深層次的,我們可以基於平衡指數優化信號燈配時,生成路口綠燈修正時間等。

 

個性化推薦實戰經驗

 

個性化推薦也是大數據實踐的另一個重要場景。在好看鎖屏高級總監翟斌的分享中,特別提到,在實現好看鎖屏快速用戶積累的過程中,比如7200萬國內用戶、360萬海外用戶、點擊喜愛的用戶達到130萬人,查看詳情的用戶達到86萬人等,個性化推薦需求與問題最為突出。

 

在如今信息爆炸的時代,個性化內容推薦已是主流。在他看來,好看鎖屏的需求有三點:

盤活內容:圖庫內容30余萬,時效內容30%,非時效性內容70%,讓用戶看到最新內容與熱點內容;
用戶多層次需求:用戶範圍廣,不同年齡,不同地域,不同背景對內容喜好完全不同,人工推薦已無法滿足這麽需求;
讓用戶更加愛看:在鎖屏上瀏覽更多用戶喜歡看的精彩內容,讓鎖屏成為用戶獲取內容的新渠道。


 

而從產品需求來看,也有四方面:

數據自由:數據安全,本地化部署;
快速開發:1個月完成上線,維護人力投入少;
效果好:訂閱量提升;閱讀量提升;閱讀時長提升;
擴展強:基於內容推薦;基於位置推薦;推薦權重調整。

 

 

20a88c3792535e28d305b06f616a4797f4aed2d4

 

有了真實的產品需求,下一步就是技術選型:考慮到人才、技術和時間,最終好看鎖屏通過阿裏雲SLB、ECS、OSS、SLS、腳本實現了對離線數據和實時數據的收集,ODPS實現了存儲,采雲間進行了數據處理,最終通過分析報表系統分析出用戶、圖片和訂閱的關系。現有分析統計流程見上圖。

 

但對於個性化推薦流程,還有很大優化空間。

 

翟斌分析了倫敦“大本鐘”所代表的圖片標簽分析,以及人物畫像,並從業務、場景和算法方面對需求進行了詳細闡述。在數加個性化推薦引擎的助力下,對算法進行了優化和調整。最終改進後的流程如下。

 

143e19f0e5550d452a01335e412f2a2e17794932

 

效果比翟斌所預想還好。每日瀏覽從160張增加到220張增加了37.5%,主動訂閱提升了33%,主動瀏覽內容從13次,9張/次增加到16次,12張/次,分別提上了23%和33%。

 

在他看來,個性化推薦引擎方面,實時、算法和模板是最重要的三點,而數加個性化推薦引擎來自集成淘寶最成熟的算法,實現了實時個性化推薦,還有電商和閱讀等多模板選擇,在持續調優下,對企業的幫助極大。

延伸阅读

    评论