“當網路層數疊加到一定深度，會出現不可逆的梯度衰減、特徵退化，淺層的有效特徵，會在層層傳遞中不斷丟失、失真、稀釋，網路越深，學習能力反而越弱，準確率不升反降。”
“基於這個問題，我才將接下來的課題定為深度網路在物理層面的衰減問題，希望能驗證我的想法，嘗試看看能不能用另一種方式解決這個問題。”
陳星心中狂喜，就是這個！
就是這個點！
何凱明思考的問題，正是他以後名動天下的ResNet殘差網路誕生的前置思考。
就像他說的一樣，學術界普遍認為神經網路越深、層數越多，AI 越強，可現實卻是網路疊深之後，出現梯度消失、梯度爆炸、效能退化越深、準確率反而越低，學不動。
屬於是越學越廢。
解決方式也正是何凱明提出來的，直接短路連線、殘差跳躍，不用讓每一層網路都必須 學完整新特徵。
說人話就是允許神經網路 偷懶、進行殘缺學習，不需要每層都強行擬合，學不動的部分直接跳過、殘差傳遞。
當然，陳星也是一知半解，他也不會直接告訴何凱明所謂的殘差網路，只是引導著問他：“那現在你有解決思路嗎？”
“有一點，但不多，因為我是剛從計算機視覺轉到神經網路不久，還沒有完整的構建自己的體系，只是一些粗略想法。”
“比如我在想，既然層層傳遞會不斷損耗特徵、梯度會逐層消失，那我們未必一定要讓每一層網路都強制學習全新的特徵。”
“如果我們搭建一條旁路直連通道，讓原始特徵可以跳過部分堆疊層，直接向後傳遞，讓深層網路只需要學習前後的殘差差異，是不是就能規避深度衰減的問題？”
“不用層層擬合完整特徵，只學增量偏差，剩餘原始資訊直接直通保留。”
陳星心中再次確定。
來了！
沒錯，就是這個！
這就是未來統治整個AI視覺、深度學習、自動駕駛領域的殘差神經網路 ResNet！
別人還在頭疼網路越深越廢的行業難題，何凱明已經摸到了下一代AI底層架構的鑰匙。
陳星不動聲色，按捺住心中的激動，臉上露出欣賞的笑意對何凱明說：“這個思路非常大膽，也極具顛覆性，你儘管放手去做，這個專案我批了，實驗室所有算力、資料、資源你可以整理一下交到我這邊來。”
“我親自給你審批。”
頓了頓，陳星接著說：“資金的話，你的團隊還沒完全搭建完成，前期資金先給你兩個億吧，放在你們專項賬戶，隨時支取，不夠了你隨時給我申請。”
“多少！”聽到這個數字，何凱明騰的一下站了起來，“兩個億？還是前期資金？”
龜龜，自己在微軟實習時候的專案組，一年的經費不過百萬美元級別，換算成人民幣也就一千多萬。
陳總張嘴就是兩個億？
還是前期資金？！
難道這就是所謂的多財多億？憑億近人？
“哎，何博士，你激動什麼，坐下，坐下。”陳星不在乎的擺了擺手，示意何凱明坐下。
？子樣個這激就億個兩才
。啊子日苦麼什的過前以那
。啊億個兩是就手上到想沒也他死打，題課和案專持主己自次一第，措無足手點有，後以下坐新重明凱何”。啊完得花麼怎我億個兩，了多太也這，是不，總陳“
