如何拯救一只拖更的漫畫(huà)家

我身上的陰影比你的好看丨《在下坂本，有何貴干》

凡有光線，必有陰影。

所以，就算同一張臉同一塊布，也有明暗交替，從來(lái)不是一成不變。

攝影師直接借用真實(shí)的光影就好，但漫畫(huà)師借不到光，只能靠想象。畢竟線稿是蒼白的，手動(dòng)打上合適的陰影，畫(huà)面才會(huì)立體，才會(huì)有光亮。

上《少女新娘物語(yǔ)》，下《寄生獸》同人漫丨森薰 & Banana Fish

這道工序并不簡(jiǎn)單，考驗(yàn)畫(huà)師對(duì)空間的理解，萌新常常花大把的時(shí)（tou）間（fa）來(lái)調(diào)整陰影；就算有了經(jīng)驗(yàn)，上陰影依然是一項(xiàng)費(fèi)時(shí)費(fèi)力令人頭禿的活動(dòng)。

不過(guò)現(xiàn)在，漫畫(huà)家（的助手）們有理由期待一個(gè)有頭發(fā)的未來(lái)了。因?yàn)椋蜿幱耙呀?jīng)不是人類的專屬技能，下面這個(gè)妹子的陰影，就是一只AI的手筆：

圖丨參考文獻(xiàn)1

只要為AI指明光源的方向，畫(huà)面便有了光影錯(cuò)落。它仿佛還看得出花瓣的邊緣，看得見(jiàn)葉子的脈絡(luò)。

除此之外，它也可以給動(dòng)畫(huà)上陰影，畫(huà)面自然流暢：

給動(dòng)畫(huà)上陰影，素材來(lái)自克勞斯《圣誕節(jié)的秘密》丨參考文獻(xiàn)1

這只技藝精湛的AI，來(lái)自馬里蘭大學(xué)巴爾的摩郡分校的鄭清元和小伙伴們，登上了計(jì)算機(jī)視覺(jué)頂會(huì)CVPR 2020。

誰(shuí)還沒(méi)有空間想象力了

像開(kāi)頭提到的那樣，打陰影靠的是對(duì)空間的理解。

可漫畫(huà)線稿是2D的，AI要怎么看出3D空間來(lái)？需要修煉空間想象力。

曾經(jīng)，有大前輩用物體的2D輪廓和3D渲染模型做成一對(duì)數(shù)據(jù)，訓(xùn)練AI去想象2D線稿的3D形狀，再加上寫實(shí)派的陰影：

大前輩Sketch2Normal丨參考文獻(xiàn)2

不過(guò)，漫畫(huà)有時(shí)并不那么寫實(shí)，這里AI首先要學(xué)的是單色陰影，不漸變的那種。于是，研究團(tuán)隊(duì)想找到一種更合適的方法。

既然，人類能依靠畫(huà)面的光影來(lái)判斷物體的3D形狀，應(yīng)該也可以利用漫畫(huà)家已經(jīng)打好的陰影，訓(xùn)練AI想象3D形狀的能力。

當(dāng)然，下面這樣的成品不便當(dāng)做訓(xùn)練數(shù)據(jù)，因?yàn)樗还獯蛄岁幱斑€上了色，AI分不清哪里是陰影，哪里是物體本身的顏色，會(huì)困惑的：

兩儀小姐姐的頭發(fā)和腰帶已經(jīng)有了顏色丨《空之境界》

相比之下，研究人員們機(jī)智地選擇了Toshi老師著名的陰影教程。那里，有打上陰影前后的對(duì)照，人物有各式各樣的姿勢(shì)和朝向，還有不同的光照方向。

光線與陰影丨Toshi

訓(xùn)練數(shù)據(jù)集里，每張線稿都有它對(duì)應(yīng)的陰影（Toshi老師畫(huà)的），以及陰影對(duì)應(yīng)的光源方向（手動(dòng)標(biāo)記），三者合起來(lái)算是一個(gè)樣本。

左為線稿，中為陰影，右為光照方向丨參考文獻(xiàn)1

數(shù)據(jù)集有了，它要調(diào)教的是怎樣一只AI？陰影生成器分成兩部分：第一部分叫做形狀網(wǎng)絡(luò)（shape net），負(fù)責(zé)給一張線稿編碼3D空間信息；第二部分叫做渲染網(wǎng)絡(luò)（render net），根據(jù)編碼出的3D空間信息來(lái)生成陰影。每輸入一個(gè)線稿和一個(gè)方向，就輸出一個(gè)陰影。

打了陰影之后，還有一個(gè)判別器負(fù)責(zé)檢查它生成的陰影真不真實(shí)。最初的判斷依據(jù)，就是訓(xùn)練集里的那些樣本，隨著生成器不斷生成新的樣本，判斷力也會(huì)不斷升級(jí)。判別器越來(lái)越難被騙，生成器就要打上更逼真的陰影，才能繼續(xù)騙過(guò)那雙火眼。

終于，生成器在判別器的鞭策之下，生成的陰影自然了起來(lái)：

成果展丨參考文獻(xiàn)1

肉眼可見(jiàn)，它獲得了一些有用的技巧。比如，參考已經(jīng)存在的各種線條，不論頭發(fā)還是衣服的褶皺：

不要觀察歐派（誤）丨參考文獻(xiàn)1

比如，光在側(cè)面的時(shí)候，陰影打給了半邊臉，剛好以鼻子為界：

歐派隱身了（誤）丨參考文獻(xiàn)1

更重要的是，當(dāng)光照的方向連續(xù)變化，AI生成的陰影也在連續(xù)變化。注意，在訓(xùn)練數(shù)據(jù)集里，光照方向只有離散的26種，但AI依然學(xué)會(huì)了給更多不同的光照方向打陰影。

生成單色陰影之后，只要把不同光照方向的陰影合成起來(lái)，還能擁有漸變的陰影：

放大看，甚至可以有網(wǎng)點(diǎn) (d)丨參考文獻(xiàn)1

另外，就算畫(huà)里的主角突然跑起來(lái)，AI一樣可以招架：

給動(dòng)畫(huà)上陰影，素材來(lái)自吉成曜丨參考文獻(xiàn)1這讓人想起了光影能力者新海誠(chéng)。雖然，現(xiàn)在AI的能力還停留在給人物上陰影，離把人物放進(jìn)背景、放到更多的人物中間，可能有很長(zhǎng)一段路；但假如有一天，動(dòng)畫(huà)的陰影可以交給AI來(lái)上，省下的時(shí)間拿去生產(chǎn)更多大作，那畫(huà)師還是會(huì)禿頭，想想都覺(jué)得興奮呢。

躲避夷族的追擊丨《追逐繁星的孩子》

打完陰影了然后呢

問(wèn)題來(lái)了，就算有一天真的不用手動(dòng)上陰影，還是要手動(dòng)上色吧，就算黑白漫也一樣。

那樣的話，就等著上色AI也進(jìn)化到不用人類上手的那一天吧。

其實(shí)也不會(huì)太遠(yuǎn)了，因?yàn)榘胱詣?dòng)的上色AI已經(jīng)出現(xiàn)了。比如，來(lái)自我國(guó)的Style2Paints，目前進(jìn)化到了第四代（最新版本v4.5）。不加任何手動(dòng)調(diào)色，便能得到這樣的效果：

圖丨參考文獻(xiàn)3

稍微調(diào)教一下下，就獲得了更加令人心曠神怡的作品：

素材來(lái)自《俺は、八乙女一華が苦手だ》丨柚木'N

之前因?yàn)榫W(wǎng)頁(yè)版游玩人數(shù)太多，官方宣布服務(wù)器撐不下去了，現(xiàn)在Style2Paints又以PC版的身份重生，想必是個(gè)生命力更強(qiáng)的變體。

看來(lái)，不論是上陰影還是上色，不論是漫畫(huà)本子還是動(dòng)畫(huà)，一個(gè)高產(chǎn)的美好世界，仿佛就要來(lái)了。

參考文獻(xiàn)

[1] Zheng, Q., Li, Z., & Bargteil, A. (2020). Learning to Shadow Hand-drawn Sketches. arXiv preprint arXiv:2002.11812.

[2] Su, W., Yang, X., & Fu, H. (2017). Sketch2normal: deep networks for normal map generation. In SIGGRAPH Asia 2017 Posters (pp. 1-2).

[3] Lllyasviel. (2019, December 18). lllyasviel/style2paints. Retrieved from https://github.com/lllyasviel/style2paints

作者：栗子

編輯：odette

鳴謝：鄭清元團(tuán)隊(duì)，八云

本文來(lái)自果殼，未經(jīng)授權(quán)不得轉(zhuǎn)載.

如有需要請(qǐng)聯(lián)系sns@guokr.com