正文引見(jiàn)的是ICLR2020當(dāng)選輿論《INDUCTIVEMATRIXCOMPLETIONBASEDONGRAPHNEURALNETWORKS》（鑒于圖神經(jīng)搜集的歸結(jié)矩陣補(bǔ)全）。作品來(lái)自華盛頓大學(xué)圣路易斯分校碩士、FacebookAI接洽院接洽科學(xué)家張牧涵。

文|張牧涵

編|叢末

載入鏈接：https://openreview.net/pdf?id=ByxxgCEYDS

代碼地方：https://github.com/muhanzhang/IGMC

1摘要

矩陣補(bǔ)全(MatrixCompletion)被普遍運(yùn)用于引薦體例中。保守的矩陣領(lǐng)會(huì)(MatrixFactorization)本領(lǐng)為轉(zhuǎn)導(dǎo)推導(dǎo)模子(TransductiveModel)，所進(jìn)修到的embedding不許實(shí)行到演練會(huì)合未展示過(guò)的用戶(user)和商品(item)。而InductiveMatrixCompletion(IMC)模子運(yùn)用實(shí)質(zhì)消息(content)來(lái)補(bǔ)全矩陣，缺陷是對(duì)實(shí)質(zhì)的品質(zhì)訴求很高，且在實(shí)質(zhì)品質(zhì)不好的情景下會(huì)引導(dǎo)遠(yuǎn)低于矩陣領(lǐng)會(huì)的本能。

正文提出一種新的InductiveGraph-basedMatrixCompletion(IGMC)模子，在維持歸結(jié)推導(dǎo)(inductivereasoning)的同聲，實(shí)足不借助任何實(shí)質(zhì)消息。能不借助實(shí)質(zhì)消息完畢歸結(jié)推導(dǎo)的訣竅就在乎子圖構(gòu)造。IGMC為每一個(gè)(user,item)pair索取一個(gè)包括子圖(enclosingsubgraph)，并用圖神經(jīng)搜集(graphneuralnetwork)演練一個(gè)由子圖構(gòu)造映照到用戶對(duì)商品味分(rating)的回歸模子。

IGMC在多個(gè)數(shù)據(jù)集上博得了最進(jìn)步的本能；它不只不妨實(shí)用于沒(méi)在演練會(huì)合展示的用戶和商品，更不妨遷徙(transfer)到新數(shù)據(jù)上。咱們運(yùn)用一個(gè)在MovieLens上演練的IGMC模子去猜測(cè)豆瓣影戲評(píng)閱，博得了特殊好的本能，以至好于很多特意在豆瓣數(shù)據(jù)上演練的模子。

2動(dòng)機(jī)

只有咱們把每個(gè)user或item看成一個(gè)節(jié)點(diǎn)(node)，每個(gè)rating看成一個(gè)邊(edge)，則矩陣補(bǔ)全不妨看成是在二分圖(bipartitegraph)上的鏈路猜測(cè)(linkprediction)題目。各別于保守鏈路猜測(cè)只關(guān)心猜測(cè)生存性(linkexistence)，這邊咱們要猜測(cè)鏈路的值(linkvalue)，也即是用戶對(duì)商品的評(píng)閱。

開(kāi)始，咱們?cè)O(shè)置包括子圖(enclosingsubgraph)。對(duì)一個(gè)(user,item)pair，它們的h階包括子圖是由該user、item，一切該user、item的h-hop內(nèi)連接節(jié)點(diǎn)（包括h-hop），以及一切那些節(jié)點(diǎn)之間的邊構(gòu)成的圖。如許的一個(gè)包括子圖內(nèi)生存洪量對(duì)于猜測(cè)評(píng)閱有效的消息。舉例來(lái)說(shuō)，縱然只用一階包括子圖，咱們也不妨贏得比方用戶平衡評(píng)閱、商品平衡評(píng)閱、商品累計(jì)評(píng)介度數(shù)，以及洪量的鑒于路途(path)等的構(gòu)造消息。加入圖一。

一個(gè)大略的鑒于路途的構(gòu)造特性如次，假設(shè)咱們想領(lǐng)會(huì)用戶u0對(duì)于商品v0的評(píng)閱，咱們不妨看有幾何和u0品位一致的用戶u1對(duì)v0打了高分；而品位一致不妨用能否這個(gè)u1和u0已經(jīng)都給某個(gè)其它的商品v1打過(guò)高分。歸納下來(lái)，如許的一個(gè)路途特性即為：

咱們不妨經(jīng)過(guò)查有幾何如許的路途來(lái)預(yù)算u0能否會(huì)給v0高分。并且，一切如許的路途都被包括在一階包括子圖(1-hopenclosingsubgraph)中。

咱們斷定一致如許的構(gòu)造特性不計(jì)其數(shù)。所以，與其手動(dòng)設(shè)置洪量如許的開(kāi)辟式特性(heuristics)，不如徑直將一階包括子圖輸出給一個(gè)圖神經(jīng)搜集，用圖神經(jīng)搜集宏大的圖特性進(jìn)修本領(lǐng)來(lái)機(jī)動(dòng)進(jìn)修更通用的、更有表白本領(lǐng)的特性。咱們運(yùn)用圖神經(jīng)搜集演練一個(gè)由包括子圖映照到評(píng)閱的回歸模子，試驗(yàn)表明，這種新的本領(lǐng)不妨透徹地猜測(cè)評(píng)閱。

3方法

索取每個(gè)包括子圖后，咱們開(kāi)始要對(duì)個(gè)中的節(jié)點(diǎn)舉行標(biāo)明(nodelabeling)。手段是為了辨別子圖中節(jié)點(diǎn)的各別腳色。比方咱們要辨別目的節(jié)點(diǎn)(targetuser/item)和后臺(tái)節(jié)點(diǎn)(contextnodes)。目的節(jié)點(diǎn)標(biāo)示出咱們究竟要猜測(cè)子圖中哪一對(duì)(user,item)之間的評(píng)閱。同聲，咱們不妨辨別各別階的街坊節(jié)點(diǎn)，比方一階街坊(1-hopneighbors)和二階街坊(2-hopneighbors)對(duì)目的節(jié)點(diǎn)的奉獻(xiàn)水平并不溝通。

咱們沿用了一個(gè)大略的做法，對(duì)目的用戶(targetuser)，咱們標(biāo)明為0，對(duì)目的商品(targetitem)，咱們標(biāo)明為1；對(duì)i-hop的后臺(tái)用戶咱們標(biāo)明為2i，對(duì)i-hop的后臺(tái)商品咱們標(biāo)明為2i+1。之后，咱們將那些標(biāo)明變化為one-hotencodingvector，動(dòng)作每個(gè)節(jié)點(diǎn)的初始特性輸出給圖神經(jīng)搜集。

在圖神經(jīng)搜集(GNN)中，咱們沿用relationalgraphconvolutionaloperator(R-GCN)動(dòng)作卷積層，由于R-GCN不妨從邊典型中進(jìn)修。

個(gè)中，代辦節(jié)點(diǎn)在第層的特性向量，和為可進(jìn)修的參數(shù)，代辦rating(普遍從中采用，代辦與節(jié)點(diǎn)以典型邊貫串的街坊節(jié)點(diǎn)。

多層卷積后，咱們將每一層截止貫串獲得每個(gè)節(jié)點(diǎn)的最后表白：

結(jié)果，咱們?nèi)∧康挠脩艉湍康纳唐返呢灤谋戆讋?dòng)作這個(gè)包括子圖的最后表白：

并演練一個(gè)兩層神經(jīng)搜集(MLP)從子圖表白回歸到目的評(píng)閱(rating)。

4試驗(yàn)截止

咱們僅運(yùn)用一階包括子圖演練IGMC。開(kāi)始，在Table第22中學(xué)咱們展現(xiàn)了在Flixster,Douban和YahooMusic上的RMSE本能。咱們的IGMC模子博得了state-of-the-art本能，勝過(guò)了近期的其余鑒于圖神經(jīng)搜集的模子。

在Table3中咱們展現(xiàn)IGMC在ML-100K和ML-1M上的本能。在ML-100K上，IGMC博得了最佳的本能，和之前超過(guò)的一種轉(zhuǎn)導(dǎo)模子GC-MC本能溝通。然而提防，GC-MC運(yùn)用了特殊的實(shí)質(zhì)(content)特性，而IGMC實(shí)足依附子圖構(gòu)造。GC-MC在不運(yùn)用content的情景下RMSE為0.910。在ML-1M上，IGMC仍掉隊(duì)于其余少許轉(zhuǎn)導(dǎo)推導(dǎo)的本領(lǐng)。咱們接下來(lái)深刻接洽這一題目。

對(duì)于ML-1M數(shù)據(jù)集，咱們辨別將演練矩陣稠密為0.2,0.1,0.05,0.01和0.001倍。Figure2比擬了GC-MC和IGMC在各別稠密水平下的本能比較。咱們創(chuàng)造，固然IGMC在sparsity=1時(shí)掉隊(duì)于GC-MC，然而爾后IGMC在各別sparsity下都優(yōu)于GC-MC，并且矩陣越稠密，本能上風(fēng)越鮮明。咱們探求，鑒于子圖特性進(jìn)修的IGMC對(duì)稠密矩陣更魯棒；而鑒于矩陣領(lǐng)會(huì)等的轉(zhuǎn)導(dǎo)模子須要矩陣較為精致(dense)本領(lǐng)有好的本能。這也表示了IGMC在數(shù)據(jù)稠密的引薦體例中的后勁。

結(jié)果，咱們嘗試IGMC的遷徙學(xué)風(fēng)俗能。咱們徑直將ML-100K上演練的IGMC模子用來(lái)猜測(cè)Flixster,Douban和YahooMusic。出乎意料，遷徙的IGMC模子博得了極強(qiáng)的本能，以至好于少許特意在這三個(gè)數(shù)據(jù)集上演練的模子。這證明，各別引薦工作共享了洪量溝通的子圖形式。

為考證這點(diǎn)，咱們可視化了少許如實(shí)的包括子圖，見(jiàn)Figure3。不妨創(chuàng)造，高評(píng)閱和低評(píng)閱對(duì)應(yīng)的包括子圖真實(shí)有著鮮明的各別；且各別數(shù)據(jù)集之間共享很多一致的子圖形式。

5總結(jié)

正文提出了一種經(jīng)過(guò)子圖特性舉行歸結(jié)推導(dǎo)(inductivereasoning)的矩陣補(bǔ)全模子，IGMC。

經(jīng)過(guò)正文咱們證領(lǐng)會(huì)僅從一階包括子圖進(jìn)修圖特性即可在很多數(shù)據(jù)集上到達(dá)超過(guò)的本能，這猶如表示更高階的貫穿聯(lián)系并沒(méi)有更加多的特殊價(jià)格。

其余，咱們也證領(lǐng)會(huì)不借助于實(shí)質(zhì)(content)的inductivematrixcompletion(IMC)本領(lǐng)是同樣可行的且大大勝過(guò)了保守的借助實(shí)質(zhì)的IMC本領(lǐng)。IGMC的很多個(gè)性，比方遷徙性、稠密魯棒性等都表示了它的宏大后勁。咱們蓄意IGMC能為矩陣補(bǔ)全和引薦體例范圍帶來(lái)新的辦法和開(kāi)辟。

其余，借助子圖特性的鏈路猜測(cè)本領(lǐng)仍舊贏得了宏大的勝利，拜見(jiàn)咱們的另一篇作品“LinkPredictionBasedonGraphNeuralNetworks”：

http://papers.nips.cc/paper/7763-link-prediction-based-on-graph-neural-networks.pdf

ICLR2020系列輿論解讀

0、ICLR2020聚會(huì)動(dòng)靜通訊

疫情重要，ICLR2020將舉行假造聚會(huì)，歐洲初次AI國(guó)際頂會(huì)就此泡湯

疫情感化，ICLR遽然改為線上形式，2020年將變成頂會(huì)變化之年嗎？

火爆的圖呆板進(jìn)修，ICLR2020上有哪些接洽趨向？

1、直播

回放|華為諾亞方舟ICLR滿分輿論：鑒于加強(qiáng)進(jìn)修的因果創(chuàng)造

2、Oral

01.Oral|一種鏡像天生式呆板翻譯模子：MGNMT

02.Oral|特殊高斯先驗(yàn)?zāi)康模徍拓?fù)百般性愚笨

03.Oral|引入特殊門(mén)控演算，LSTM稍做竄改，本能便堪比Transformer-XL

04.Oral|并行蒙卡樹(shù)探求，本能無(wú)害，線性加快，勇闖「消消樂(lè)」1000關(guān)！

05.Oral|元加強(qiáng)進(jìn)修迎來(lái)一盆冷水：不比元Q進(jìn)修好幾何

06.Oral|用群卷積創(chuàng)造深度、等變的膠囊搜集

07.Oral|谷歌推出散布式加強(qiáng)進(jìn)修框架SEED，本能“完爆”IMPALA，可擴(kuò)充數(shù)千臺(tái)呆板，還很廉價(jià)

3、Spotlight

01.Spotlight|模子參數(shù)這么多，泛化本領(lǐng)干什么還能這么強(qiáng)？

02.Spotlight|公道與透徹同樣要害！CMU提出進(jìn)修公道表征本領(lǐng)，實(shí)行算法公道

03.Spotlight|拉攏泛化本領(lǐng)太差？用深度進(jìn)修融洽拉攏求解器試試

04.Spotlight|加快NAS，僅用0.1秒實(shí)行探求

05.Spotlight|華盛頓大學(xué)：圖像分門(mén)別類(lèi)中對(duì)可實(shí)行報(bào)復(fù)的提防（視頻解讀）

4、Poster

01.Poster|華為諾亞：精巧思維，NAS與「對(duì)立」貫串，速度普及11倍

02.Poster|拋開(kāi)卷積，多頭自提防力不妨表白任何卷積操縱

03.Poster|NAS太難了，探求截止堪比隨機(jī)采集樣品！華為給出6條倡導(dǎo)

04.Poster|清華大學(xué)提NExT框架，用「神經(jīng)元實(shí)行樹(shù)」進(jìn)修可證明性

05.Poster|谷歌最新接洽：用“復(fù)合散度”量化模子合成泛化本領(lǐng)

06.Poster|完勝BERT，谷歌最好NLP預(yù)演練模子開(kāi)源，單卡演練僅需4天

07.Poster|FSNet：運(yùn)用卷積核大綱舉行深度卷積神經(jīng)搜集的收縮

08.Poster|“同步平衡熏陶”框架為無(wú)監(jiān)視進(jìn)修供給更魯棒的偽標(biāo)簽

09.Poster|趕快神經(jīng)搜集自符合本領(lǐng)