【新智元導(dǎo)讀】剛剛,救治林志穎的林口長庚醫(yī)院公布了他的面部手術(shù)方案,其中一項3D人臉重建技術(shù)或?qū)⒄人纳裣深佒担?/p>
7月22日,林志穎在駕駛特斯拉ModelX時發(fā)生車禍,據(jù)報道,事故造成林志穎顏面骨折、肱骨粉碎性骨折……
曾經(jīng)擁有不老容顏的他,現(xiàn)在可能面臨「毀容」風(fēng)險,不少網(wǎng)友感慨,時間都帶不走的東西,卻被命運帶走了。
不過今年一項3D人臉重建技術(shù)的出現(xiàn),或許可以讓亞洲小旋風(fēng)重獲受傷前的神顏。
圖源:林志穎Facebook
據(jù)報道,本次林志穎的面部重建方案已經(jīng)出爐,簡單來說就是鈦合金植入加面部重建。
圖源:聯(lián)合報
由于小志這次顏面部存在粉碎性骨折,面部一部分較大的骨骼通過鈦合金植入。
畢竟骨頭都碎了,總要有個支架,把余下的骨骼都連接起來。
而另一部分較精細的骨骼將通過3D打印重建,重建后的骨骼與肌體接觸后,骨細胞可以附著生長進去,從而將植入物與骨骼融為一體。
是不是聽起來有點滲人。
但其實這項技術(shù)在國外已經(jīng)得到了成熟的發(fā)展,根據(jù)醫(yī)生的描述,這次面部重建手術(shù)只需10個小時就能完成。
近年來,隨著深度學(xué)習(xí)和圖像處理單元的不斷發(fā)展,3D人臉重建技術(shù)也逐漸成熟。
它可以通過人臉2D的圖像,有效還原人臉的3D信息,包括人臉幾何重建與紋理重建等。
過去五年里,深度學(xué)習(xí)領(lǐng)域關(guān)注3D人臉重建的論文和學(xué)者也越來越多。
那么,這項化腐朽為神奇的換臉大法究竟是啥樣呢?
謎底馬上揭曉~
人臉怎么3D重建
優(yōu)秀的技術(shù)和有價值的成果,自然是離不開高性能硬件的支持!
3D人臉重建研究取得良好的進展主要也是依賴于多核CPU、GPU、AWS等云應(yīng)用的可用性。
通常,3D數(shù)據(jù)會用體素、點云或GPU可以處理的3D網(wǎng)格進行表示。
接下來我們簡單了解一下3D人臉重建的不同類別。
3DMM
3DMM是較為基礎(chǔ)的、一種人臉外觀和形狀的生成模型。所有要生成的人臉都是密集的點對點對應(yīng)。它的核心思想就是人臉可以在三維空間中進行一一匹配。
基于3DMM求解3D人臉要解決的問題就是完成對紋理、表情等系數(shù)的估計,它還側(cè)重于將面部顏色和形狀與其他因素(例如照明,亮度,對比度等)分開。
拿BFM來說,它是一個公開可用的3DMM模型,該模型用ICP和PCA得到的掃描人臉對應(yīng)的模板網(wǎng)格來構(gòu)建模型。
下圖顯示了近20年來3DMM的逐步改進。
基于深度學(xué)習(xí)的3D重建技術(shù)
3DGAN和3DCNN是基于深度學(xué)習(xí)的三維人臉重建技術(shù)。
這些方法的主要優(yōu)點是保真度高,在精度方面有較好的性能。不過,訓(xùn)練GAN依舊要花費大量的時間,而且很難進行,所以應(yīng)用到實時3D人臉解決方案還是很困難的。
3D人臉重建當(dāng)然不止這兩個類別,小編在此就不一一展開了。
那么在人臉重建過程中,最重要的性能指標(biāo)是MAE、MSE、NME、RMSE和對抗損失。
應(yīng)用
面部木偶、視頻配音和虛擬化妝等都是3D人臉重建技術(shù)中一些比較火的應(yīng)用。
游戲和電影工業(yè)在基于視頻的面部動畫中使用面部木偶。具體操作是通過視頻流將用戶的表情和情緒傳遞給目標(biāo)人物。此外,當(dāng)藝術(shù)家為電影中的動畫角色配音時,3D面部重建可以幫助藝術(shù)家將表情傳遞給角色。
再比如虛擬妝容,它在網(wǎng)絡(luò)會議和視頻聊天等平臺上常被使用。
它包括數(shù)字圖像的變化,如使用合適的顏色的口紅,口罩等。
看下邊的這個例子,合成的虛擬紋身,它可以根據(jù)面部表情進行調(diào)整。
3D人臉重建的應(yīng)用還有很多很多,比如面部置換、人臉老化等等,這些技術(shù)極大地豐富了我們的日常生活。
林志穎的此次事故令無數(shù)人揪心,好在可以進行臉部3D重建。這項技術(shù)是否能讓「亞洲小旋風(fēng)」重回受傷前的神顏呢?讓我們耐心等待。
來源:新智元報道
如有侵權(quán),請及時聯(lián)系刪除!