AI數字人制作工具SadTalker軟件與教程

這款AI一鍵讓照片說話的模型叫SadTalker，是由西安交通大學的研究人員提出的，它可以讓照片里的人物跟隨音頻的輸入動起來，且頭部運動、面部表情比較真實，下圖是官方展示的效果圖，還在等什么呢，即刻擁有它！

可以根據一張圖片、一段音頻，合成面部說這段語音的視頻。圖片需要真人或者接近真人。目前項目已經支持stable diffusion webui,可以SD出圖后，結合一段音頻合成面部說話的視頻。

1、啟動軟件

在下載下來的 SadTalker.zip 上點右鍵，選”解壓到 SadTalker 文件夾”解壓出來

打開解壓出來的 SadTalker 文件夾，找到 WEBUI 運行.bat，打開它會彈出一個黑色窗口，稍等會，窗門里會出現 2行文字，如下圖

把黑色窗口第一行那個網址 (就是http://127…1:7860這個) 復制一下只能選中后，按 Ctrl+C 復制，右鍵出不來菜單，然后粘貼Ctrl+v到瀏覽器地址欄里打開。

最好用谷歌瀏覽器，或微軟 Edge瀏覽器。

打開那個網址后，瀏覽器顯示的內容如下圖所示：

注意：不可開著代理之類的，網絡必須直連。

2、軟件的使用

首先，上傳相片，上傳音頻，如下圖所示音頻可以用文字轉語音工具制作，也可以自己錄制。

接著，設置一下右邊的選項，有兩種建議方案

第一種設置方案

該方案生成的數字人和原圖一樣大，頭部動作幅度雖然較小但不會出現頭部和身子分離的現象，身子不動。

請按照下圖設置

第二種設置方案

該方案會對原圖進行裁切，只生成頭部視頻，沒有身子，生成的數字人表情動作比第一種方案更豐富，更生動，請按照下圖設置。

3、下載生成視頻

設置完成后，點”生成”，稍等一會，就會在左下方生成視頻。原來的那個黑色窗口里會看到進度。

生成視頻后，在生成的視頻上點右鍵，會看到下載選項。

如果找不到下載選項，可以直接打開軟件目錄里的“results”文件夾再打開里面的文件夾，會看到幾個 mp4文件，有的僅是頭部，有的是普通畫質，有的是超清畫質，都打開看看，找個好的。

4、處理說明

處理方式說明。

crop:對原圖進行裁切，只生成頭部視頻，沒有身子，生成的數字人表情動作豐富，更生動。

resize:生成的數字人身子也稍微動，但效果很爛，太假，不建議使用。

full:生成的數字人和原圖一樣大，身子不動，如果勾選”靜態模式”，則頭部動作幅度較小，但不會出現頭部和身子分離的現象;如果不勾選”靜態模式”，則頭部動作幅度更大，但有時候會出現頭部和身子分離的現象。

extcrop、exfull: 與 crop、full 功能一樣，但對頭部的裁剪范圍更大。

其他說明

姿態 Pose style: 頭部晃動幅度，值越大，表情晃動越厲害。

expression scale: 臉部表情幅度，尤其是嘴唇，值越大，動作越大。

batch size in generation: 值越大，處理越快，但對顯卡要求越高。顯卡不好選 1就行。

啟用參考視頻 Use Reference Video 。

下方的選項pose:生成的數字人的臉部姿勢和參考視頻一致。

blink:生成的數字人眨眼和參考視頻一致。

pose+blink:生成的數字人臉部、眨眼與參考視頻一致all:生成的數字人和參考視頻全部保持一致，包括聲音。