文/劉俊寰、曹培信、牛婉楊

　　來(lái)源：大數(shù)據(jù)文摘（ID:BigDataDigest）

　　疫情帶火了線上教育，也把一批老師逼成了“主播”。

　　為了給在家上課的同學(xué)們的同學(xué)們更好的學(xué)習(xí)體驗(yàn)，老師們煞費(fèi)苦心，各種線上直播軟件齊上陣。不過(guò)，學(xué)生還沒(méi)開(kāi)始抱怨，老師倒是先把苦叫上了天，紛紛表示“當(dāng)主播這么不容易”。

　　最近，上海大學(xué)開(kāi)啟在線教學(xué)，為了提高學(xué)生上課的積極性，根據(jù)澎湃新聞報(bào)道，上海大學(xué)數(shù)碼藝術(shù)系副主任、副教授蔣飛把他的《動(dòng)態(tài)構(gòu)成》這門在線教學(xué)直播課玩出了花。

　　作為一名給藝術(shù)系學(xué)生講授計(jì)算機(jī)編程的老師，他擔(dān)心課程太枯燥學(xué)生不愿意看，于是利用虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)技術(shù)，把自己的課堂搬進(jìn)了二次元，“變裝”上課，從動(dòng)作到嘴形都可以實(shí)時(shí)同步動(dòng)漫人物。

　　利用技術(shù)手段，不僅可以在二次元里感受更加有代入感的“課堂”環(huán)境，還可以讓同學(xué)自行選擇各種講課的動(dòng)畫人物，從萌妹子到機(jī)械人，應(yīng)有盡有。

圖片來(lái)自澎湃新聞

　　如果學(xué)生們選擇了二次元萌妹子，上課的畫風(fēng)瞬間就會(huì)變成這樣👇，上課的學(xué)生對(duì)此驚訝連連贊不絕口，網(wǎng)課的聽(tīng)課率也顯著提高。

圖片來(lái)自澎湃新聞

　　近日，蔣飛老師也在澎湃新聞的采訪視頻中說(shuō)明了自己為何萌生了這樣的想法，又是如何“變裝”萌妹子上課的，快和文摘菌一起來(lái)看看吧~

　　其實(shí)，在做增強(qiáng)現(xiàn)實(shí)的網(wǎng)課之前，蔣飛也遇到了上述難題，就是老師辛辛苦苦錄制了網(wǎng)課，但是課程上線后，并不是所有的學(xué)生都看了。

　　于是，為了讓同學(xué)們更輕松也更容易地進(jìn)行學(xué)習(xí)，也為了更好地給藝術(shù)系的同學(xué)們講解計(jì)算機(jī)編程的相關(guān)知識(shí)，他利用了雙目攝像頭，再結(jié)合了自己開(kāi)發(fā)的軟件，完成了在線“變裝”，在這個(gè)系統(tǒng)完成后，蔣飛表示，“學(xué)生上課的積極性，還有作業(yè)質(zhì)量的提高有明顯的進(jìn)步”。

　　甚至，蔣飛發(fā)現(xiàn)，有不少學(xué)生會(huì)提前完成錄播課的學(xué)習(xí)，提前上交作業(yè)，到了課堂討論環(huán)節(jié)，學(xué)生會(huì)提出超綱問(wèn)題。因此他現(xiàn)在也需要根據(jù)同學(xué)們的學(xué)習(xí)情況實(shí)時(shí)調(diào)整授課進(jìn)度。

　　“這也是因課制宜，我的課程講計(jì)算機(jī)方面的藝術(shù)，很多設(shè)計(jì)用到編程，非常適合網(wǎng)上教學(xué)。”蔣飛說(shuō)，錄播課可以反復(fù)回看，直播課用來(lái)答疑互動(dòng)，虛擬替身就是在這時(shí)出現(xiàn)。

圖片來(lái)自澎湃新聞

　　一開(kāi)始，只有本科畢業(yè)設(shè)計(jì)課上會(huì)用到“變裝”設(shè)備，但是研究生知道這個(gè)情況后，也紛紛“上書(shū)”要求老師這樣上課。如今，蔣飛已經(jīng)優(yōu)化了軟件，能夠?qū)崿F(xiàn)虛擬替身的流暢運(yùn)行了。

　　“線下上課仍以老師為中心，線上教學(xué)以學(xué)生為中心，我的造型都是學(xué)生幫選的。”談到線上教學(xué)，蔣飛認(rèn)為，這也是對(duì)老師的一種挑戰(zhàn)，老師的壓力更大了，“我感覺(jué)上了一個(gè)小時(shí)的線上，相當(dāng)于兩個(gè)小時(shí)的線下，真的是成倍的增加”。

　　雙目攝像頭捕捉人體，自制軟件合成動(dòng)畫

　　生成這樣的虛擬替身一共需要兩個(gè)步驟，一是通過(guò)視頻捕捉老師的肢體動(dòng)作；二是通過(guò)軟件將實(shí)時(shí)監(jiān)測(cè)出的人體數(shù)據(jù)通過(guò)軟件與虛擬形象進(jìn)行匹配，生成動(dòng)畫。

　　傳統(tǒng)的人體動(dòng)作捕捉一般用于影視制作，在一些科幻片的拍攝花絮上，我們經(jīng)?？梢钥吹骄G幕前的演員身上綁了許多小球，這些小球就是一種傳感器，可以將位置狀態(tài)實(shí)時(shí)傳輸?shù)接?jì)算機(jī)中用于后期合成。

　　這種方式盡管比較精確，但是過(guò)于復(fù)雜，蔣飛老師采取的是利用雙目攝像頭來(lái)捕捉肢體動(dòng)作。

　　雙目攝像頭可以在同一場(chǎng)景下拍攝左右兩幅圖像，運(yùn)用立體匹配算法獲取視差圖，進(jìn)而獲取深度圖，而后通過(guò)景深圖對(duì)二維圖像進(jìn)行三維重建。

　　當(dāng)然，蔣飛老師的目的是將身體動(dòng)作同步到動(dòng)畫人物上，因此也不需要進(jìn)行完整的三維建模，而只需要通過(guò)視頻定位自己的身體部位，即基于雙目視覺(jué)構(gòu)建人體動(dòng)作捕捉系統(tǒng)，一種可行的方法是基于顏色特征的 Camshift 算法對(duì)人體關(guān)節(jié)進(jìn)行追蹤，結(jié)合 Kalman 濾波提高抗干擾性。

　　當(dāng)然，現(xiàn)在也有各種深度學(xué)習(xí)模型可以提供基于視頻的人體姿態(tài)估計(jì)，并且不需要雙目視覺(jué)，普通攝像頭也可以完成，主要是通過(guò)大量已標(biāo)記的視頻數(shù)據(jù)進(jìn)行模型訓(xùn)練，從而讓模型可以僅憑二維圖像就可以捕捉人的關(guān)鍵關(guān)節(jié)（肘部、手腕、膝蓋等）。

　　從 DeepNet 到 HRNet，文摘菌也曾經(jīng)對(duì)基于深度學(xué)習(xí)的“人體姿勢(shì)估計(jì)”進(jìn)行了梳理，感興趣的同學(xué)可以回顧一下。

　　第二步便是將檢測(cè)到的人體數(shù)據(jù)與動(dòng)畫人物相匹配，這個(gè)需要相應(yīng)的軟件，Adobe 公司出品的 CharacterAnimator 就可以將人體的動(dòng)作實(shí)時(shí)投射到動(dòng)畫人物，但是卻不能實(shí)時(shí)運(yùn)行，只能用于后期。

　　蔣飛老師是通過(guò)自己制作的軟件完成的這一步，并且進(jìn)行了優(yōu)化，這個(gè)軟件要將接收到的雙目攝像頭的視頻數(shù)據(jù)轉(zhuǎn)化為人體姿態(tài)數(shù)據(jù)，再對(duì)虛擬人物進(jìn)行實(shí)時(shí)渲染，還要合成到課堂環(huán)境中，這個(gè)難度還是不小的。

近年來(lái)，我國(guó)線上教育風(fēng)生水起

　　這次變裝“蘿莉”的老師蔣飛是上海大學(xué)美術(shù)學(xué)院數(shù)碼藝術(shù)系副主任、美國(guó)麻省理工媒體實(shí)驗(yàn)室訪問(wèn)教授、中國(guó)工業(yè)設(shè)計(jì)協(xié)會(huì)信息與交互設(shè)計(jì)專業(yè)委員會(huì)委員。他從事的研究方向正是數(shù)字媒體藝術(shù)與信息與交互設(shè)計(jì)，始終致力于打造技術(shù)與藝術(shù)融合的復(fù)合型人才，認(rèn)為學(xué)生們應(yīng)該有良好的藝術(shù)素養(yǎng)和獨(dú)特的個(gè)人創(chuàng)意。

　　蔣飛曾公開(kāi)表示過(guò)，跨學(xué)科合作應(yīng)該是高校數(shù)字藝術(shù)發(fā)展的一個(gè)方向，因?yàn)閿?shù)字媒體人才是復(fù)合型人才，除了要求從業(yè)者有熟練的操作技巧之外，更要求從業(yè)者有良好的藝術(shù)素養(yǎng)和獨(dú)特的個(gè)人創(chuàng)意，技術(shù)教育應(yīng)與文化、藝術(shù)融合。創(chuàng)新型數(shù)碼藝術(shù)人才要求數(shù)字制作相關(guān)人員既要具有人文藝術(shù)修養(yǎng)，又要能夠運(yùn)用最新的數(shù)字制作技術(shù)手段。

　　這次疫情期間，蔣飛通過(guò)“變裝”的方式為同學(xué)們上網(wǎng)課，講技術(shù)和媒介完美結(jié)合，也是對(duì)自己的教學(xué)理念做出了最直接的實(shí)踐。

　　其實(shí)近年來(lái)，用技術(shù)輔助內(nèi)容的線上教育也是風(fēng)生水起，比如去年北京郵電大學(xué)就開(kāi)通了虛擬課堂，采用5G＋4K 全息投影的方式遠(yuǎn)程直播授課。

　　去年 9 月 16 日，北京郵電大學(xué)全息投影遠(yuǎn)程直播教室首次正式上課。在沙河校區(qū)由蘆鵬飛老師主講的諾貝爾物理學(xué)獎(jiǎng)簡(jiǎn)史課程以全息投影的方式與西土城校區(qū)的同學(xué)們見(jiàn)面了。

　　北郵的這次全息投影遠(yuǎn)程直播授課主要有兩個(gè)特色，一是憑借 5G 低時(shí)延、高速率特性實(shí)現(xiàn)的 4K 影像實(shí)時(shí)傳輸，二是全息投影帶來(lái)的全新體驗(yàn)。

蘆鵬飛老師在沙河校區(qū)現(xiàn)場(chǎng)授課

西土城校區(qū)呈現(xiàn)的實(shí)時(shí)全息影像

線上的同學(xué)們看到的課堂

　　基于 5G 技術(shù)實(shí)現(xiàn)的 4K 全息影像傳輸非常流暢，上課過(guò)程中幾乎沒(méi)有出現(xiàn)卡頓現(xiàn)象，相當(dāng)驚艷。但是，全息投影技術(shù)還沒(méi)有盡善盡美，依舊有很大的發(fā)展空間。

　　去年 12 月 20 日，北郵又表示可以在線上學(xué)數(shù)學(xué)了！

　　李鶴老師站在藍(lán)色的幕布前，生動(dòng)的講著拉格朗日中值定理，面前卻沒(méi)有一位學(xué)生。沒(méi)錯(cuò)，大家都在屏幕前！

授課中的李老師

同學(xué)們看到的課堂

　　不僅可以在寢室看直播學(xué)習(xí)，直播結(jié)束后還可以看回放哦~北郵的同學(xué)們對(duì)虛擬課堂贊不絕口，同時(shí)也充滿了期待：

　　“全息影像授課非常新穎，而且比傳統(tǒng)的視頻遠(yuǎn)程授課更加真實(shí)。”

　　“感謝李老師生動(dòng)精彩的講評(píng)，很多思路都對(duì)我有極大的幫助，希望今后可以看到更多新技術(shù)與教學(xué)的融合應(yīng)用，不斷帶給我們更好的課程體驗(yàn)！”

　　通過(guò)這次疫情采取的線上學(xué)習(xí)，讓我們感受到老師們的努力與敬業(yè)，同時(shí)也讓我們看到了未來(lái)網(wǎng)課的無(wú)限潛力?？萍己徒逃恢笔窍噍o相成的兩個(gè)方向，可以推動(dòng)彼此向更好的方向發(fā)展。

　　如果未來(lái)的網(wǎng)課都能做到生動(dòng)形象，智趣兼?zhèn)?，讓學(xué)生體會(huì)到學(xué)習(xí)的趣味性，那么這樣的網(wǎng)課，誰(shuí)能不愛(ài)呢？

總結(jié)

以上是生活随笔為你收集整理的上海大学副教授“变身”萝莉，自制软件二次元上网课的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。