飛象網訊 (易歡/文)隨著5G時代的來臨,各種應用場景層出不窮,網絡環境也變的更加復雜,尤其是今年疫情黑天鵝的突襲,使得在線會議、在線教育、網絡直播等實時通信需求激增,對底層的網絡基礎提出了巨大挑戰,用AI技術來應對當下前所未有的復雜網絡成為業界共識。
“然而,真正要推動AI在網絡研究中的應用與發展卻并非易事”,微軟亞洲研究院常務副院長周禮棟對飛象網表示:“網絡本身的分布式架構和其開放、共享的特性決定了網絡新范式的研究不可能單點進行,而是需要大家齊心協力、共建平臺,共享數據,才能更好地利用人工智能提升網絡研究水平。”
基于此,微軟亞洲研究院宣布聯合清華大學、北京大學、南京大學、蘭州大學、新加坡國立大學、首爾國立大學等多所亞洲地區高校,成立OpenNetLab開放網絡平臺聯盟。通過為研究人員提供通用的分布式網絡測試平臺,以及真實的網絡評測數據集,來助力AI加速網絡研究。
直擊AI在網絡應用的痛點
截至目前,AI在視覺、語音、自然語言等領域的應用已如火如荼,而上層不斷發展變化的各種應用,則需要底層網絡架構的穩固支撐才能得以實現。如何挖掘AI技術的潛力來提升網絡領域的研究,是目前學術界和工業界共同關注的焦點。
“然而,AI技術在網絡領域的應用也面臨諸多挑戰。”周禮棟講到,“一方面,網絡AI模型的訓練和驗證需要大量的數據,真實且有代表性的網絡數據能提升模型的準確性和適用性,但研究人員獲取大規模真實網絡數據具有較大難度。另一方面,由于網絡結構的多樣性,以及網絡設備、連接方式的異構性,如果希望一個網絡模型適用于不同的場景,那么一次性離線訓練的模型顯然遠遠不夠,而適合于此的強化學習模型對訓練環境和場景要求很高。”
“OpenNetLab的誕生正是為了應對這些挑戰,為研究人員提供基于現實網絡的真實數據,并能實地訓練和驗證網絡模型!敝芏Y棟說。
南京大學計算機科學與技術系副教授田臣也很認同OpenNetLab的價值!拔覀冏鱿嚓P實驗往往很難獲得資源,即使獲取了也很難基于真實的數據做研究。而OpenNetLab平臺通過真實的實驗平臺和測量數據,可以極大地降低該領域新進入者的實驗門檻,并樹立一個可信的評價標桿!
據介紹,OpenNetLab開放網絡平臺可以通過構建分布式節點收集不同區域、形態、場景的網絡數據,F階段,微軟亞洲研究院計劃將與合作高校一起在亞洲范圍內建設40多個分布式異構節點。
周禮棟稱:“每個節點將由服務器、筆記本電腦、智能設備等組件構成,同時提供有線寬帶、無線局域網和4G/5G移動網絡的接入能力,數據存儲、集成、分享的標準化接口,以及適用于不同網絡環境的AI模型運行、訓練和驗證工具,幫助研究人員專注于網絡AI算法和模型!
他進一步表示,今后,這些節點將在平臺用戶同意的情況下,實時收集網絡狀態、數據包跟蹤等非隱私/非敏感數據,為各類網絡AI模型的訓練及驗證提供支持。
多所合作高校已基于平臺展開相關研究
據悉,OpenNetLab開放網絡平臺聯盟的主要發起機構為微軟亞洲研究院、清華大學、南京大學和北京大學,其它合作成員還包括蘭州大學、新加坡國立大學、首爾國立大學、韓國科學技術院、南方科技大學、上海交通大學等亞洲范圍內的高校。
目前,該平臺已經完成了多個節點的建設及小規模部署測試,并且正在逐步進入大規模測試階段。OpenNetLab平臺的真實數據集不僅為高校提供了豐富的實驗資源,也使得相關課程教學及實驗更加接近現實世界的網絡應用情況。多所合作高校已基于該平臺展開了相關研究。
以南京大學為例,田臣表示,現在正在做的是針對更廣范圍的內容分發,包括網頁、文件下載類的靜態內容以及單向視頻,點播和直播擁塞控制的研究。此外,田臣透漏:“下一步首先會在OpenNetLab平臺上把之前基于AI的擁塞控制配合其他學校共同搭建起來,在此基礎上再去評估基于AI的擁塞控制協議。此外,我們將利用假期更新課程里的實驗設計,把基于OpenNetLab做廣域網的實驗平臺搭建起來!
“我們期望與微軟亞洲研究院一起為該平臺建立更多的節點,覆蓋更多的典型網絡地域和接入場景,通過為協議研究提供充分可信的資源,消弭廣域網學術研究與產業應用之間的距離!碧锍贾v到。
談及與其他高校的合作情況,周禮棟進行了補充說明。北京大學做了很多關于機器學習的網絡測量;清華大學針對異構網絡帶寬的測量做了很多研究;首爾國立大學則更偏重系統方面的研究實驗;新加坡國立大學方面更多針對的是硬件加速的研究等!拔覀兿M眉夹g非常系統化地在底層解決可能存在的問題,讓我們感受不到網絡的存在!
最后,周禮棟透漏,未來,OpenNetLab平臺的網絡狀態數據集將在GitHub上發布,為網絡研究提供日漸豐富的訓練數據和驗證數據。OpenNetLab平臺的節點覆蓋區域也計劃逐步擴展至亞洲以外地區。“OpenNetLab開放網絡平臺聯盟面向網絡、多媒體、人工智能等多領域的科研組織和研究人員開放,希望更多志同道合的科研工作者加入,一起推動網絡研究的發展。”