家人們，現在做個(gè)影視級視頻，也就是一句話(huà)的事了！

例如只需簡(jiǎn)單輸入“叢林（Jungle）”，大片鏡頭便可立刻呈現：

(資料圖片僅供參考)

而且圍繞著(zhù)“叢林”變換幾個(gè)搭配的詞語(yǔ)，比如“河流”、“瀑布”、“黃昏”、“白天”等，這個(gè)AI也能秒懂你的意思。

還有下面這些自然美景、宇宙奇觀(guān)、微觀(guān)細胞等高清視頻，統統只需一句話(huà)。

這就是Stable Diffusion和《瞬息全宇宙》背后技術(shù)公司Runway，出品的AI視頻編輯工具Gen2。

而且就在最近，一個(gè)好消息突然襲來(lái)——Gen2可以免費試用了！

這可把網(wǎng)友們開(kāi)心壞了，紛紛開(kāi)始嘗鮮了起來(lái)。

體驗Gen2實(shí)錄

例如我們給Gen2投喂了一句中文：

一個(gè)航拍視角的視頻片段便立即被做了出來(lái)。

如果想讓視頻的風(fēng)格變換一下，也可以上傳一張圖片，例如我們用的是一張賽博朋克風(fēng)格的城市照片。

那么Gen2就會(huì )把你輸出的提示詞和照片風(fēng)格做一個(gè)“合體”：

目前Runway官網(wǎng)可免費體驗Gen2的功能是文生視頻（Text to Video），但Gen1也開(kāi)放了視頻生視頻（Video to Video）的功能。

例如一個(gè)國外小哥可能受《瞬息全宇宙》的啟發(fā)，憑借Gen1也玩了一把更刺激的穿越。

他先是在家錄了一段打響指的視頻，然后“啪的一下”，瞬間讓自己步入歐洲皇室貴族的“片場(chǎng)”：

然后……就連物種、性別，都可以隨隨便便地切換：

最后，再經(jīng)歷幾次不同時(shí)空、人種的穿越之后，小哥一個(gè)響指又回到了自己的家里：

在看完Gen2生成的這波“大秀”之后，網(wǎng)友們不淡定了，直呼：

娛樂(lè )圈要被生成式AI重新定義了。

網(wǎng)頁(yè)端和移動(dòng)端（僅限iOS系統）現在均可正式開(kāi)始體驗。

以網(wǎng)頁(yè)端為例，進(jìn)入Runway官方主頁(yè)（文末鏈接[1]），點(diǎn)擊上方“TRY NOW”并注冊賬號，就可以進(jìn)入下面的界面：

點(diǎn)擊右方的“Introducing Gen2”，我們就可以正式開(kāi)玩了。

首先，輸入提示詞，最多320個(gè)字符，然后在左邊的設置菜單里進(jìn)行一些基礎配置（包括種子參數、插值等），點(diǎn)擊“Generate”。

（當然，你也可以為視頻提供一張參考圖像，點(diǎn)擊右邊的圖像圖標即可。）

不到1分鐘的功夫，視頻就出來(lái)了。

點(diǎn)擊下方播放按鈕即可查看效果，視頻可以直接保存到本地，也可以只保存在你的賬戶(hù)中。

當然，如果你不滿(mǎn)意，還能在下方的提示詞框中繼續修改。

需要注意的是，免費試用的額度為105秒（右上角顯示剩余額度），每個(gè)視頻為4秒，也就是大約可免費生成26個(gè)Gen2視頻。

額度用完或者你想體驗去水印、提升分辨率等額外功能，就需要買(mǎi)會(huì )員，標準版為15美元一個(gè)月，Pro版35美元，年付更便宜一些。

如果你想要生成效果更好，可以多使用“in the style of xxx”的形式，比如：

A palm tree on a tropical beachin the style of professional cinematography, shallow depth of field, feature film.（如下圖）A palm tree on a tropical beachin the style of 2D animation, cartoon, hand drawn animation.

或者直接去它的靈感庫，選擇一個(gè)你喜歡的視頻然后點(diǎn)擊“try it”即可查看它的提示詞是怎么寫(xiě)的，然后在上面進(jìn)行編輯或模仿就好了：

還有網(wǎng)友表示，使用“cinematic shot of”開(kāi)頭，也能讓你的視頻更具動(dòng)感（解決了很多人試出來(lái)的視頻不怎么動(dòng)的問(wèn)題）。

什么來(lái)頭？

Gen2于今年3月20日正式發(fā)布，經(jīng)歷了兩個(gè)多月的內測，現在終于正式上線(xiàn)。

它的前代Gen1只比它早了一個(gè)多月（2月發(fā)布），所以說(shuō)迭代速度相當快。

作為一個(gè)基于擴散的生成模型，Gen1通過(guò)在預訓練圖像模型中引入時(shí)間層，并在圖像和視頻數據上進(jìn)行聯(lián)合訓練，完成了潛擴散模型到視頻生成領(lǐng)域的擴展。

其中也包括使用一種全新的引導方法完成了對生成結果時(shí)間一致性的精確控制。

在訓練階段，先用固定編碼器將輸入視頻x編碼為z₀，并擴散為z_t。

然后對MiDaS獲得的深度圖進(jìn)行編碼，提取出結構表示s；再用CLIP對其中一個(gè)幀進(jìn)行編碼來(lái)獲取內容表示c。

接著(zhù)，在s的幫助下，模型學(xué)習反轉潛空間中的擴散過(guò)程（其中s與c以及通過(guò)交叉注意塊生成的c相連）。

在推理階段，模型以相同的方式提供輸入視頻的結構s。

為了通過(guò)文本生成內容，作者還通過(guò)一個(gè)prior將CLIP文本嵌入轉換為圖像嵌入。

最終，Gen1可以生成細粒度可控的視頻，也能對一些參考圖像進(jìn)行定制。

不過(guò)，一開(kāi)始對公眾發(fā)布的Gen1只能對已有視頻進(jìn)行編輯，Gen2才直接完成了文生視頻的“蛻變”。

并且一口氣帶來(lái)了另外7大功能，包括文本+參考圖像生視頻、靜態(tài)圖片轉視頻、視頻風(fēng)格遷移等等。

這樣的Gen2，也在內測階段就被網(wǎng)友稱(chēng)贊“視頻界的Midjourney”。

而根據官方的調研數據，Gen2確實(shí)更受用戶(hù)歡迎：用戶(hù)得分比Stable Diffusion 1.5要高73.53%，比Text2Live則高上了88.24%。

如今正式上線(xiàn)以后，果然迅速迎來(lái)一大波體驗群眾，有人表示：

上一次體會(huì )到這么激動(dòng)的感覺(jué)，還是用AI生成圖像的時(shí)候。

那么，不知道這波，參與開(kāi)發(fā)了SD的Runway，能否再帶著(zhù)Gen2創(chuàng )造生成式AI領(lǐng)域的下一大熱趨勢——

如果答案是肯定的，還需要多久、還要解決哪些問(wèn)題？

就且拭目以待。

參考鏈接：[1]https://runwayml.com/[2]]https://research.runwayml.com/gen2[3]https://twitter.com/SteveMills/status/1666799229996785666[4]https://twitter.com/runwayml/status/1666429706932043776[5]https://www.youtube.com/watch?v=dq8GZeDEqH8

本文來(lái)源：量子位，原文標題：《視頻版Midjourney免費開(kāi)放，一句話(huà)拍大片！網(wǎng)友：上一次這么激動(dòng)還是上次了》

風(fēng)險提示及免責條款 市場(chǎng)有風(fēng)險，投資需謹慎。本文不構成個(gè)人投資建議，也未考慮到個(gè)別用戶(hù)特殊的投資目標、財務(wù)狀況或需要。用戶(hù)應考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結論是否符合其特定狀況。據此投資，責任自負。

關(guān)鍵詞：