火爆的「變身漫畫」，抖音特效團隊是如何打造的？ - 紅星

來源：字節范兒
原標題：「變身漫畫」3天千萬投稿，抖音特效團隊如何打造爆款？

最近，抖音特效又出了新爆款。只需手輕輕一揮，用戶就能秒變高萌漫畫人物，從發型到衣著，每個細節精準轉換。幾乎一夜之間，抖音滿屏二次元化。

在這個世界，你能抓到被全網催交舞蹈作業的寧靜，

也能看到充滿清新氣質的PDD，

從路人到頂流明星，人均get一雙水汪汪的大眼睛。除了，“連特效都拯救不了”的李榮浩——

一夜億萬曝光，道具上線3天獲得了1000w+的視頻投稿，貢獻大量相關熱門話題。

全網都愛的變身漫畫特效是如何誕生的？背后又有哪些行業領先的“黑科技”？

字節君與抖音特效的幕后團隊一起聊了聊，持續打造爆款特效的秘密。

爆款不是偶然

“作為行業首發的人臉實時動態漫畫效果，我們早就覺得「變身漫畫」會火。”來自影像團隊，有多款抖音爆款特效項目經歷的大彭說，近年來，真人照片處理、拼貼成某種繪制風格常玩常新，關鍵就是要給用戶帶來驚喜和共鳴。

2014年，臉萌憑借卡通五官、服飾匹配，登頂App Store

 2018年，字節跳動專門成立影像團隊，支持抖音火山輕顏等全系產品的打磨，其中包括長期探索真人風格化玩法，力圖持續打造擊中用戶的特效。

在大彭看來，團隊不設邊界的靈感創意機制，讓爆款的出現絕非偶然。“無論什么崗位，都不會只站在自己的視角積累爆款思路的彈藥。每天影像團隊都會抽一個小時搜集靈感，每周定期與其它合作的設計&研發團隊開腦暴會，觀察學習行業趨勢和時下流行的時尚元素，了解最新技術進展。”

藝術遇上技術，很快碰撞出了新的火花。

2019年，輕顏出了本可愛風的手繪日歷，項目同學發現，許多人都想把自己的照片一鍵變成類似畫風。

此時研發同學在腦爆會提起，打破次元壁、讓真實人臉變漫畫的關鍵技術GAN (生成式對抗網絡，Generative Adversarial Networks )剛實現，但還不足以精確地把真人變成人類繪畫水平，讓真人實時變成動畫片，行業里更是沒見過。

要不干脆出一款特效，讓真人可以秒變漫畫臉？

想法一出，立馬激發了不同崗位同學的興奮點。2019年9月，從影像團隊的效果和產品同學，到協作支持的研發、設計，一個跨北上深及北美四地的專項小組迅速拉了起來。做實時漫畫特效，定位就是爆款。

既“像”又“美”，千人千面漫畫臉

“別看變身只要一秒，從創意提出到技術落地，背后我們琢磨了好久。” 參與漫畫特效打造的產品同學玉辰說。

“教AI畫畫”，做出大家喜歡、技術上又可實現的設計風格很難，做到實時可預覽級別更難。

剛開始，研發同學對能否做到“實時”沒多大把握：“畢竟如此高質量且千人千面的實時效果，在學界和工業界都未有過先例，技術上還有眾多難點需要突破。”

項目組商量決定，暫緩“實時”計劃，先打磨極致圖片效果。“我們定義了精致美和極致像兩大特點。既要全面保留用戶特征、像本人，又要生成出漫畫獨有的藝術美感。”玉辰說。

為了找到更能引起用戶共鳴的繪畫風格，從日漫、國漫到韓漫，團隊幾乎將主流的漫畫和番劇看了個遍。

靈感收集時的參考風格

經過效果同學廣泛的風格設計、調研和修改，團隊終于鎖定了一款高萌可愛的漫畫臉。“我們的設計師都是公司主美級別的，經驗豐富。”

早期（上）與終版（下）風格對比

引入算法后，團隊進入了更加追求細致的打磨期。

“有一兩個月吧，我們就是在不停訓練新模型，每次可能跑出幾百個普通人看不出啥差別的模型，然后讓設計去挑最優效果。”研發同學感慨，如此高效和規模化的模型訓練，背后得虧了公司強大算力基礎的支持。“最多的時候，要用幾百張顯卡跑。”

大家調侃說，經此一役，團隊各個練就了火眼，同學們的效果敏感度和審美都有了很大提升。

大彭印象深刻，有次選好一款很萌的模型準備放體驗版，研發同學第二天做好后，有個效果同學盯著新版本看來看去，總覺得哪里變不好看了。“一問才發現研發放錯了模型，眼睛稍小了幾個百分點。”

圖片版效果達標后，團隊決定小試牛刀，階段性在抖音、TikTok的影集模塊上線「漫畫奧義」道具，在中國、日本、巴西、印尼等多國取得了不錯的反響。

全球首次實現手機端實時動態漫畫處理

“實時”再次成為了擺在團隊面前的關鍵挑戰。

此前，變漫畫功能基本都基于人臉表情跟蹤，學界和工業界都沒有千人千面的實時漫畫生成方法。這次抖音推出的漫畫特效是在視頻中實時實現，該技術可謂全球首發。

“我們都明白，一旦實現，這將是一大爆款子彈。”

走入漫畫的“貴妃”李玉剛

第一個吃螃蟹不容易。參與特效研發的陳西回憶，最開始的模型版本慘不忍睹，嘗試了好多次都不行，大家甚至對實時漫畫的可行性產生了懷疑。然而即使在最艱難的時候，團隊也希望再試一次。

在陳西所在的研發團隊，擁有計算機視覺、計算機圖形學和數值分析等多元背景的技術人才，每個人都有自己的專長和經驗。“我們又扒了一遍所有可能相關領域的已有研究和文獻，有同學提出可以嘗試各種輕量化模型的嫁接混合，效果確實得到改善，大量實驗后終于選出了現在的主干模型。”

看起來是放手一博的革新，其實背后是公司跨團隊、跨領域共同協作才能水到渠成的結果。

實時漫畫的處理對手機性能要求極高，計算非常復雜；此外，抖音用戶眾多，機型性能差距大，需要專門研發復雜、定制化的模型下發策略。

公司全平臺的技術成果和資源幫了大忙。拿漫畫特效啟用的字節跳動自研的推理引擎ByteNN來說，端側性能和功耗均處于業界領先水平，保證了實時漫畫能夠穩定支持抖音海量的用戶群體。

用戶需求多廣，玩法腦洞就有多大

如何讓用戶真正玩起來？特效項目組的同學沒少費腦洞。

在變身漫畫推出前，團隊已成功參與打造并引爆了寶寶特效、變身情侶等諸多抖音特效，在道具結合定制化音樂bgm的創意玩法上頗有經驗。

變身情侶特效

拍攝簡單、配樂有趣的寶寶特效

“腦暴小組”里，集結了來自北上深+北美4地、腦洞大、產出過無數爆款的產品、設計、交互工程、運營和市場同學。最終，在為期20天產出的100+方案內，大家選取了6個道具創意，承接不同年齡、層級和喜好的用戶需求。

適合全民、低門檻拍攝的“變漫畫”玩法：

二次元新奇玩法：

“結合抖音用戶喜好、歷年爆款道具特征和3輪nps調研結果，我們最終把「變身漫畫」當作了‘漫畫系列’的主推道具。”產品團隊玉辰說。

在玩法開發的過程中，“手控滑桿”是首次使用的新交互形式。然而，在初期版本中，80%的用戶都無法“拖動滑桿”變身，交互嘗試屢次碰壁。

但產品和交互工程同學仍然堅持在這個方向做最極致的道具效果。“因為我們走進商場、地鐵、小區采訪了近百名用戶的體驗感受，發現一旦能滑動成功，他們明顯更驚喜，玩性大增。”

點擊視頻，看廣大網友的多樣化玩法

隨著漫畫特效在抖音大火，產品同學聯動剪映、輕顏等多款產品上線了同款變漫畫圖片功能，進一步推熱二次元狂潮。

“特效發酵的過程中，我們發現大家喜歡把婚紗照、全家福等合影變成漫畫，而實時動態方面我們還沒有實現多人同時需求，這意味著還有很多可挖掘的空間，而隨著技術的探索和積累，以后肯定還可以玩出更多花樣。”

大家很有信心，下一個爆款特效，正在路上。