本文翻譯自CGWORLD網站2020年12月28日報道。

原文地址：https://cgworld.jp/feature/202012-banadive1.html

ASOBINOTES ONLINE FEST 2nd（以下簡稱AOF2）已于2020年12月18日（周五）官宣舉行。與第一屆ASOBINOTES ONLINE FES（以下簡稱AOF，于2020年6月28日（周日）舉行）相同，本屆也是完全在線上舉辦的活動，活動將于2020年12月31日（周四）~2021年1月1日（周五）跨年舉行。另外，活動預定于12月28日（周一）19:00開場、12月31日（周四）21:00開演。

(相關資料圖)

TEXT_田端秀輝 / Hideki Tabata（@hitabataba）

EDIT_尾形美幸 / Miyuki Ogata（CGWORLD）

PHOTO_弘田 充 / Mitsuru Hirota

ASOBINOTES ONLINE FES（AOF）回顧

以“變化的世界 不變的狂熱”為主題的AOF，共設置了“CHARACTER”、“GAME”、“VIRTUAL”、“AKIBA”四種風格為名的四個DJ舞臺，邀請了30名以上的藝人參加DJ表演。活動全程直播，各位藝人帶來的樂曲標題在SNS趨勢上不斷地實時傳播，在網絡上收獲成千上萬的評論，帶來壓倒性的體驗。

▲ASOBINOTES PV

AOF2還公布了多位藝人的競演環節，其中就包含了“未來小町?× 大久保博”和“電音部企劃”兩項，這也是筆者在AOF中特別關注的話題。非常期待他們在AOF2中呈現的效果將會有怎樣的進步。為了深入挖掘這個話題，我們采訪了大久保博先生（BanaDIVE? AX開發者）和子川拓哉先生（《電音部》總制作人）（※）。本次訪談將會分為前后篇。非常榮幸能為大家帶來AOF2舉辦前的預告。

※ 本次訪談采訪于2020年7月10日，并結合2020年12月28日前公開的信息制作而成。

接下來的前篇，將會介紹除了DJ表演外，還可以使用音樂控制整個DJ舞臺體驗（即一切由音樂驅動）的BanaDIVE? AX（利用游戲AI與xR技術的互動式虛擬角色表演系統）其設計思想，以及作為創造它的土壤的大久保先生的開發者生涯。

BanaDIVE? AX開發的契機 為何未來小町成為了DJ

田端秀輝（以下簡稱田端）：是怎樣的契機，讓您開發出了BanaDIVE? AX呢？另外也想請教一下讓未來小町進行DJ活動的緣由。

大久保博先生（以下簡稱大久保）：未來小町的DJ表演，最早是作為Bandai Namco Entertainment Festival（2019年10月19日~20日舉辦，以下簡稱萬南Fes）的場外演出進行的。

子川拓哉先生（以下簡稱子川）：在東京巨蛋舉辦萬南Fes的同時，我們也在東蛋旁邊的LaQua舉辦場外演出。我們覺得普通的舞臺不夠有趣，因此就想出了一個“讓未來小町當DJ”這樣的企劃。

▲左起分別為子川拓哉先生（萬代南夢宮娛樂）、大久保博先生（萬代南夢宮研究所）

大久保：萬南Fes的演出有《偶像大師》系列、《LoveLive!》系列等等萬代南夢宮集團各種各樣的偶像和藝人出演，但是游戲音樂的元素并沒有多少。

田端：確實是這樣！明明是（開發很多游戲的）萬代南夢宮集團，不知道為什么游戲音樂的身影確實不多見。

大久保：在與ASOBINOTES（※）團隊討論的時候，提出了“制作一個可以‘玩’音樂的舞臺會很有趣”、“強調游戲音樂這一元素”這種想法，并延申出“以DJ形式展現游戲音樂”這樣的企劃。在活動期間，未來小町以擔任Asobi Store的期間限定店長的形式，為大家帶來DJ表演。

※ASOBINOTES：萬代南夢宮娛樂公司所屬的生產音樂娛樂事業相關內容的廠牌。旗下藝人除了萬代南夢宮工作室（以下簡稱BNS）的音樂團隊成員（バナスタサウンズ，萬南工作室Sounds）以外，還有大久保先生和未來小町等人。

田端：Vocaloid、表情交流機、DJ等等，未來小町的工作范圍真是廣得驚人呢。

▲于CEATEC 2019發表的基于未來小町的表情交流機。

子川：至于為什么是DJ，這是源于我之前擔當負責的名為ANI ON STATION的角色聯動咖啡店，在店內舉辦過多次DJ活動。

大久保：萬南Fes是使用BanaCAST（※）將未來小町的各種各種動作模式事先錄制好，然后我負責用After Effects把背景合成進來，然后用Premiere里編輯對上音樂的音軌，制作了30分鐘的DJ視頻。

※BanaCAST：由BNS開發的，利用最新的動作捕捉技術與高品質的實時CG角色的互動型演出內容制作服務。

▲在萬南Fes（2019年10月19日~20日?舉辦）的場外活動披露的未來小町的DJ表演

田端：大久保先生是BNKEN（萬南研，萬代南夢宮研究所）的創新戰略本部的本部長吧？視頻的合成和編輯這種工作沒想到還要自己來做呢（笑）。

子川：這種事情好像還挺多的。為什么大久保要這么做呢。（笑）

大久保：大概是因為喜歡吧（笑）。我的上司堤先生（堤康一郎先生／BNKEN執行役員·創新戰略擔當）看了未來小町的DJ表演之后，提出了“我們把它AI化，并參展SXSW（西南偏南）”的想法。雖然這個企劃開始全面落實已經是2019年11月中旬了，距離SXSW只剩大約3個月的時間，但是BanaDIVE? AX的開發突然啟動之后，已經進展到了可以在線下現場表演的階段了。然而之后由于新冠疫情的蔓延，SXSW于3月初宣布取消活動，我們放棄了參展的想法，轉而尋找新的舉辦展示會的機會。

※西南偏南（SXSW，South by Southwest）：每年3月在美國得克薩斯州奧斯汀舉辦的全世界最大規模的電影、音樂、互動娛樂相關會展。2020年，原定于3月13日~22日舉辦的、BNKEN作為贊助商參加的SXSW Gaming Expo展會，因新冠疫情影響取消。

子川：最初我們的計劃是，在SXSW上進行BanaDIVE? AX的演示實驗，并在2020年6月的ASOBINOTES FES上進行日本國內的首次亮相。不過ASOBINOTES FES在此之后也放棄了線下舉行，轉為完全線上直播的舉辦方式。由此我們決定使用BanaDIVE? AX的未來小町的DJ首演也這樣（線上）進行。

▲AOF（2020年6月28日 舉辦）上首次披露的未來小町DJ表演。未來小町加入了BNS音頻團隊（BanaStu?Sounds），并在GAME舞臺進行了表演。演出中加入了觀眾投票決定下一首歌曲、將手機對準電腦屏幕就會有AR畫面效果等等近未來的演出體驗，為觀眾帶來令人興奮的演出表現。（原文鏈接為精選剪輯，這里的視頻鏈接是完整版）

未來小町的DJ表演 想了解用這種歌單的緣由

田端：未來小町的DJ表演是從她自己的歌曲《Future Melody - 心から未來へ -》開始，緊接《山脊賽車》系列歌曲，然后是《偶像大師》系列，最后以《太鼓之達人》系列的《埼玉2000》結尾。想要了解使用這種Set List（歌單）的緣由。

※當天的歌單可參考此圖。

子川：歌單中包含了我自己的需求，由大久保來制作完成。

大久保：第一首歌，因為是未來小町的DJ表演，當然要選一首她自己的歌。在此之后的《山脊賽車》系列歌曲，是因為我自己對這個系列的歌曲非常熟悉，選擇起來比較簡單。在此之前舉辦的多場《山脊賽車》系列的DJ活動，都受到了觀眾的歡迎，因此我想GAME舞臺的各位觀眾也會比較歡迎。《偶像大師》系列也是類似原因，應該會比較符合GAME舞臺觀眾的相性。

田端：真是超出預期的回答。但是到了觀眾通過投票選擇下首歌的環節，無論是哪個選項都讓我想說“這很難選啊！”（笑）

大久保：第一次投票的選項是《EUPHORIA（RR 20th Anniv. Mix）》和《Drive U 2 dancing （AJURIKA Remix）》，最終觀眾選擇了后者。這兩首都是佐宗綾子女士作曲的《山脊賽車》系列的人氣歌曲的Remix版，我也覺得“這沒法做選擇吧”。

田端：第二次是《偶像大師》系列的《スタ→トスタ→ -AJURIKA Remix-》（作曲：大久保博）和《キラメキラリ -おおくぼひろし Remix-》（作曲：神前曉，Remix：大久保博）。最終觀眾投票結果是后者，而我在選項面前糾結了好久，等到注意到的時候投票時間已經結束了。

子川：兩首都是和大久保有關的曲子呢（笑）

大久保：因為想讓大家在選擇的時候猶豫“選哪個呢……”，最后和我預想的一樣呢（笑）。投票的總數達到了上萬票。直播平臺Twitch上只可以投一票，但是在手機AR那里可以連續多次投票，應該有一部分的觀眾連續點擊手機畫面投了很多票吧。

▲用手機拍攝PC屏幕，會出現AR特效飛躍而出的效果。在線投票也可以通過這臺手機完成。

田端：像在DJ舞池里跟著節奏搖擺的感覺，很有趣呢。最后的樂曲選擇了《埼玉2000》，是出于什么樣的理由呢？

子川：因為這首歌是我最喜歡的游戲音樂，因此提出了“請加進歌單”的請求。有把氣氛炒熱真的很開心。

大久保：和萬南Fes的未來小町DJ表演一樣，那一次歌單也是我做的，《太鼓之達人》系列的曲子很受大家歡迎。AOF里《埼玉2000》和之前的那首《Rotterdam Nation Remix》（作曲：細江慎治／《山脊賽車》系列）之間銜接的很漂亮，收了個不錯的尾。

田端：真的接的很漂亮，曲子一開始變化的時候我都沒察覺到。

大久保：未來小町自身角色的可愛和歌單的風格形成了鮮明的落差，收到了很多觀眾們“可愛但是壞壞的DJ”這樣的反饋（笑）。其實這是因為雖然有過“把動漫歌曲（Anisong）加入進來”的想法，但最后還是遵從了“既然是GAME舞臺的DJ表演那當然要用游戲音樂”。我認為選曲風格更近似于游戲音樂的活動上DJ會放的歌。

子川：雖然這次的主要目的還是對BanaDIVE? AX的演示實驗，但是我們收到了對DJ表演本身的贊賞，非常感謝大家。也收到了“未來小町的DJ表演太棒了”這樣的評論。

田端：未來小町的DJ表演結束后，就是大久保先生自己的DJ表演了。兩邊的表演現場都看過之后，我有股“DJ未來小町像大久保先生的女兒一樣”的感覺。不僅僅是選曲的因素，（對小町）充滿情感也是讓我有像女兒這種感覺的原因。

▲大久保先生在AOF的GAME舞臺進行DJ表演。2020年12月31日~2021年1月1日舉辦的AOF2當中，未來小町將會和大久保先生共同出演。這次除了可以體驗在線投票、AR特效之外，還可以欣賞到未來小町和大久保先生輪流播放歌曲的Back to Back（B2B）的DJ表演。

子川：可以說是融入了大久保先生的人格，很有趣呢。

大久保：未來小町動作捕捉演員也是我來負責指導的，所以說我的影子還可以在其他各種地方看到（笑）。

因為會的多 所以開發了BanaDIVE? AX

田端：BanaDIVE? AX這個名稱，有著怎樣的含義呢？

大久保：在BNKEN，我們進行各種將數字化與現實結合起來的研究，這些研究統稱為BanaDIVE?（BandaiNamco Deep Immersive Visual Enhancement）。例如在CEATEC2019當中，我們與Sunrise合作，展示了將《機動戰士高達 THE ORIGIN -RISING-》的CG鋼坦克，與實拍的丸之內商務區合成出的VR影像。由AI驅動的DJ系統，將來應該也會和xR的研究結合起來，因此取了AI的“A”和xR的“X”，將其命名為BanaDIVE? AX。

田端：在BanaDIVE? AX的新聞公告中有“開發：萬代南夢宮研究所；開發協力：SmileBoom”這樣的版權信息。想請教一下開發體制是怎樣的。

大久保：本系統的實現過程中使用到了許多組件，其中包括樂曲的分析、DJ表演的動畫程序等。有關樂曲的節奏（BPM）、Beat（拍子）、副歌（高潮段落）等等的解析，我們使用了CRIWARE的BEATWIZ中間件來完成。而程序整體的軟件開發，則是由SmileBoom來協力進行。根據我方的設計框架，他們完成了基于樂曲的分析結果生成動畫和舞美效果的程序。

企劃剛開始的時候，我的腦海中就已經把組成BanaDIVE? AX的全部組件都列出來了。我個人除了音頻環節之外，還負責管理動作捕捉和動畫團隊，所以為了讓各個團隊之間的技術組合起來完成目標，在很早的階段就已經規劃好了。

田端：我一直只把您當做音樂方面的專家，沒想到動畫也精通啊？

大久保：是的。雖然我是以音樂創作者的身份入職南夢宮的，一直在音頻團隊里擔任音頻開發的角色，但是因為對CG和影像感興趣，所以偶爾去幫個忙。因為這樣一層背景，在后來的組織變更的過程中，逐漸擔當起了動作捕捉團隊、動畫團隊、影像團隊的管理角色。

田端：能力很多元啊。

大久保：在像素畫流行的年代開始，我就對音頻和繪畫很感興趣，積累了很多的經驗。以一次在NIFTY-Serve（日本早期網絡通信服務商）的Mac相關論壇投稿原創圖標的經歷為契機，我開始在各種媒體上發布免費軟件。由此，雖然我是音頻團隊的，但在《山脊賽車》系列、《皇牌空戰》系列、《爆鉆小英雄》系列當中協助了圖標和像素畫的制作。所以有些作品上面在視覺藝術擔當一欄寫的是我的名字。3DCG方面也是類似情況，我從Toyo Links（現IMAGICA，日本大型影視動畫公司）用Metaball（一種早期CG渲染技術）來制作電視廣告的時候（1984年前后）就開始關注了，所以當我工作范圍擴大的時候并沒有感受到什么違和感。

現在BNS負責管理動作捕捉團隊的大曾根淳，和我是同期進入公司的，在新入社員研修班是同班。我對CG很有興趣，而他是CG開發部的，所以和他討論了各種各樣的相關話題。他統管動作捕捉團隊之后，也和他交流了很多動作捕捉相關知識，這些知識也就自然而然的為我所用了。

田端：因為有這些經歷，所以有了開發BanaDIVE? AX的想法嗎？

大久保：與其說是因為經歷，不如說是因為迄今為止的經驗和知識塑造出了這樣的想法。因為擁有DJ經驗，所以能構思出讓角色出色進行DJ的AI邏輯；因為有游戲音樂相關知識，所以能夠使用這種以編程的方式制作互動式音樂的手法；因為有CG動畫相關知識，所以能夠將動畫狀態（Animation Tree，也譯作動畫樹）機構建起來，并且自然的想象出為了構建這樣的狀態機需要怎樣進行動作捕捉動畫的收錄。

當我把自己的知識和經驗匯總起來時，就整合出了項目完成所需的全部組件。另外，BNKEN和BNS在各個領域有很多的專家，所以我可以向他們展示我的想法，確認“這樣有沒有問題？”，并得到他們的建議。如果是一個由DJ、AI、音頻、CG動畫等領域的專家分別組成的項目，反而可能不會這么容易成型。

不僅只是DJ表演?舞臺體驗的其他部分也由音樂驅動

田端：在AOF中，未來小町的DJ表演時間大概是20分鐘。需要怎樣的提前準備可以達到這種表演效果呢？

▲AOF中未來小町進行DJ表演所用的現場系統，分為主機和備份機兩臺。本圖出自CEDEC2020《游戲開發技術創造演唱會新體驗（DJ未來小町開發案例）》分享會的演示材料。

大久保：BanaDIVE? AX這套系統，是以事先分析完成的樂曲數據為基礎進行DJ表演的。另外角色動作、舞臺照明、VJ視頻、AR影像等等，均由同一套數據來驅動。也就是說不僅是DJ表演，一切的舞臺體驗都由樂曲數據來驅動。當今的大多數DJ都使用DJ軟件提前分析歌曲數據，并帶著保存這些數據的U盤來到舞臺上。比較有代表性的DJ軟件有rekordbox（Pioneer DJ）、TRAKTOR（Native Instruments）等等。在iPhone上也有WeDJ for iPhone（Pioneer DJ）這樣的App，在iTunes里購買的歌曲可以由這個App來進行分析。

例如在WeDJ for iPhone中，播放兩首想要接的歌曲時按下SYNC按鈕，兩首歌的節奏就可以進行匹配（自動對拍），然后就可以在恰當的時機操作交叉推子過渡了。有經驗的DJ往往就不用SYNC按鈕，靠自己的耳朵就可以把兩首歌的節奏匹配上。不依賴外部技術，靠聽兩首歌就能調整真的很帥（笑）。但是在AI驅動的情況下，還是使用自動對拍比較好。

田端：就是說，和當今的DJ一樣，BanaDIVE? AX也是預先對樂曲進行分析，而這一步是在DJ軟件或者BEATWIZ這種中間件來自動化完成的。

大久保：是的。但是究竟能否完全的自動化，我認為還有繼續研究的余地。例如俱樂部音樂這種類型大多構成簡單，相對來說分析會更容易。與之相對，動畫歌曲（Anisong）和游戲音樂的音樂風格更加多樣，樂曲構成更加復雜，很難完美的進行分析。在實際操作中，雖然正在用DJ軟件的DJ很多，但是不能只依賴自動分析出來的歌曲數據，而是要事先進行歌曲銜接部分的確認，手動設定標記點。未來小町的DJ表演也是在樂曲分析的基礎上，由我來設定標記點的。

田端：未來小町的DJ表演不僅包含了機械式的自動分析，也融合進了大久保先生的個性呢。那也就是說，如果由子川先生來打標記點的話，就會變成不一樣的DJ表演了？

大久保：確實是這樣。越細致的去設置這些標記點，未來小町的DJ表演就會變得越完美。人類進行DJ表演時也是這樣，越是不那么厲害的DJ，預先準備時越要細致。

田端：可以請您介紹一下兩首歌進行銜接的AI邏輯嗎？

大久保：我們使用的AI不是以深度學習為代表的那種級別的AI，而是被稱為狀態機（State Machine）的游戲AI技術。比如《吃豆人》當中的游戲AI，就是監視吃豆人的狀態，設置“在吃豆人到達某坐標時，粉色怪物就會以該坐標向前3像素為目標，進行前進動作”這樣的if判斷代碼，來驅動怪物的運動。在BanaDIVE??AX中，是基于分析好的數據和標記點，對歌曲的狀態進行判斷，從而控制角色的DJ表演、動作、舞臺照明等等。

田端：如果在場觀眾的氛圍非常高漲時，BanaDIVE??AX的游戲AI可能作出“比最初預定的時間延長一些”的判斷嗎？

大久保：AOF上是不行的。雖然可以遵循“接的短一點”、“接的長一點”這些人給出來的指示，但是還不能基于觀眾的反應進行AI的判斷。目前我們還是只能通過觀眾在線投票來間接反映觀眾的反應情況。不過，慶應義塾大學湘南藤澤校區（SFC）的德井直生先生等人基于觀眾的人數和動作來選擇下首播放的歌曲的研究（※），就使用了機器學習。正在考慮哪天能夠和這種選曲研究進行合作。總體來說，“表演成什么樣”相關的研究是我們下一步工作的重點。

※Multi-Motion Crossfader: Human Tracking DJ Mix System by Crowd Reading（Yuga Kobayashi, Ryo Nishikado）。

我們畢竟是所屬于娛樂公司，所以在活動現場使用游戲AI的邏輯，營造了一個角色可以自己進行DJ表演這種感覺的舞臺，觀眾可以通過在線投票的方式加入進來，體驗“由AI舞動出的未來”。從技術人員的角度來看的話，只要專精于技術就好了，但是當技術與未來小町這一角色形象結合起來，還是希望可以為了創造娛樂體驗而進行實驗。

田端：前面您提到“不僅是DJ表演，一切的舞臺體驗都由樂曲數據來驅動”，以未來小町雙手舉起拍手這一動畫為例，AI是以分析出的樂曲數據和標記點為基礎，判斷出什么地方需要拍手的嗎？

大久保：是這樣的。舉例來說，如果分析的結果是“UP”的話，就會在“UP”的目錄當中隨機選用一種動畫樣式。在此基礎上，我們再給出“這個地方想要跟隨節奏做動作”的指示。DJ器材的操作動畫與DJ表演的驅動進行同步，在推子應該上下移動時，未來小町也會進行用手推上推下推子的動畫。在接下一曲時，也會準確的觸碰選歌旋鈕。推子和旋鈕的操作動作，是將各自的坐標信息與之間的坐標信息進行匹配后，使用IK自動計算各個關節的角度，而非動作捕捉生成。這一系列動畫的混合，是SmileBoom的視覺擔當，與BNS的動畫師一同討論調整的。雖然還有很多改進的余地，但是已經和人的真實動作接近了。

田端：然后，舞臺照明、VJ視頻、AR影像等等，也是完全由音頻驅動的吧？

大久保：是的。另外揚聲器的律動、攝像機的切換時機，也是根據4小節、8小節的節拍這樣計算控制。

田端：AOF活動中鏡頭也跟著歌曲節奏進行切換，這是現實的Livehouse無法見到的畫面呢。因為是平時無法見到的畫面，所以有著不可思議的體驗。

大久保：SXSW的舞臺原本設計有正面、右側、左側的三個不同畫面。AOF時只有一個畫面，因此需要切換為面向直播使用的鏡頭設計。AR影像也是在SXSW的階段就計劃添加，將手機攝像頭對準正面的畫面，就可以展現在會場中飛舞特效的演出效果。VJ視頻則是使用Resolume這個VJ軟件通過程序控制的。我自己也做過VJ，我自己習慣使用，所以在BanaDIVE? AX中采用了這樣一個通用的VJ軟件。

田端：真是多才多藝啊（笑）。

大久保：在BanaDIVE? AX中，DJ和VJ使用的是大家通常使用的數據和素材格式。我認為音樂的編成應當由DJ來進行，視頻的制作也應當由VJ來進行，而非由軟件工程師全部負責。把專業的部分交給專業的人，絕對可以塑造高質量的舞臺。因此，我們開始的目標就是打造一個DJ和VJ可以像平常一樣使用的系統。

田端：BanaDIVE? AX可以應用于未來小町以外的角色模型嗎？

大久保：目前，因為模型的不同，IK效果還有些不匹配的情況，希望將來可以實現簡單的模型導入替換。目前項目還在開發過程中，相關的規范還在和ASOBINOTES團隊探討。我和子川每次見面，也都會談到“這里我想這樣”、“那里我想改進一下”這樣的構想。

子川：就在這次訪談前我們剛討論了這個話題。在我的角度上，我非常希望可以借助BNKEN的技術驅動角色進行DJ表演，打造能夠和觀眾共同營造熱烈氛圍的活動。

大久保：我很期待。

（翻譯注：后續在電音部企劃已實裝該系統，并應用在GAME在線直播及namco TOKYO線下店。）

訪談前篇完。

本文允許轉載，如需轉載請私信聯系UP主，并標明UP主名稱，謝謝！

標簽：