鄭建文 & 互動音樂與多媒體實驗室: 研究方向與 FAQ

「互動音樂與多媒體實驗室」主要的研究方向與特色為何？

本實驗室是由國立台北科技大學互動設計系暨研究所鄭建文老師與其指導的學生所組成的跨領域互動媒體設計之研究與創意設計團隊，從過去的研究成果與未來的研究方向來看，本實驗室的特色是以互動遊戲設計、遊戲自適音樂（adaptive music）設計、互動裝置、互動表演科技、互動音樂、互動音像、VR ＆ AR 影音設計等互動多媒體為相關研究與創作、設計為主軸。過去的研究成果包含：互動音樂表演系統、擴增樂器、互動音樂遊戲、互動 DVJ 表演系統、互動表演燈光控制系統、VR 遊戲與 3D 音場研究與應用、AR 互動表演系統、互動語言學習遊戲、互動音感訓練遊戲、互動療癒影音裝置等。由於科技趨勢日新月異，因此本實驗室未來的研究方向與設計、創作也不限於上述範圍。本研究室秉持著老師與學生們一起專業成長的想法，給予學生較多的自由空間，加入本實驗室後，皆可以與老師討論自己有興趣的方向作為碩士論文研究主題。

從理論與實務的觀點來看本實驗室之特色，一般互動設計相關類科的碩士班實驗室與老師們，普遍認定研究生已經具備實務的技術，而進一步在碩士班就讀的過程中，進行設計概念的深入學習與理論的驗證，因此整體而言，學生的成長往往是在概念上與理論上而非技術上，換句話說，互動程式與相關媒體製作之實務技術的成長仍仰賴學生自己的長期努力。本研究室則有別於其他的研究室的想法，強調實作技術與作品的累積，以利於學生未來從事相關領域工作時的過去成果展現。除了理論的研究之外，也提供實務訓練的課程與技術指導，因此即使原本不會程式設計的同學，仍可以藉由學習圖像式的物件導向程式設計 Max/MSP/Jiiter 來完成自己的碩士論文之互動設計相關作品與研究。原本已經會程式設計的同學，則可以使用自己擅長的程式語言來進行碩士論文的互動設計相關作品與研究，並且透過修習本研究室所提供的課程，有機會多學到了互動設計界也常用到的程式語言 Max/MSP/Jitter，來強化自己的專業能力，運用模組化的物件導向程式設計，加速互動程式設計的效率。此外，自 2018 年起，本研究室也開始積極投入 VR、AR 之相關研究與創作，並鼓勵學生強化實務技術（如 Unity 3D的應用能力），同時也開始投入 VR 聲音之相關研究。簡言之，本實驗室相對於其他研究室而言，更加強調實務能力與創意的發展，而非僅有純粹理論性的探索與研究。

本研究室的畢業生畢業之後表現與出路如何？

本實驗室以互動裝置設計為碩士論文主題的兩位優秀的研究生，畢業之後便立即為大陸的阿里巴巴企業所高薪網羅並直接作為管理階級（月薪台幣八萬左右），因為其在校期間的作品具有獨特性而更讓人看到個人創意與獨特性。另一位以互動音樂表演系統創作與展演畢業的碩士生，則憑藉個人創意與過去在校的訓練，則結合國外的高科技，並與醫療體系合作，成立了音樂治療的個人工作室，也為高薪收入的佼佼者（月薪台幣十萬左右），並持續為中國科大、華夏技術學院、以及本系開設互動設計、數位音樂相關課程。另外，也有研究生因為在學期間多次參與校外的互動展演與裝置設計，顯現高度創意與優秀的實務技術，而在還沒畢業之前便立即被工研院主動網羅為準研究員的案例。其他的本實驗室畢業生則進入各大企業（如華碩）、或自行創設遊戲公司、VR 設計公司等，都有非常優異的表現。

研究互動表演科技、互動裝置相關技術，未來有何出路？

互動表演科技為本研究室的研究方向之一（但不限於此，也包括遊戲設計相關的方向），也為目前已經成為一個新興的互動設計領域，可以包含互動VJ、DJ 表演、互動舞台裝置、互動燈光、互動舞蹈影音系統、互動音樂系統、互動投影系統等研究方向，有別於一般媒體設計的學習者所偏好的 APP 介面設計、遊戲動畫、教育多媒體、網頁設計，互動展演科技（包括互動裝置設計、互動表演系統等）更具有獨特性而較少人研究，且國內外相關的就業市場日益擴大，包含各種新型態的商業表演、開幕活動（例如：「豪華朗機工」所設計的世大運開幕的聖火裝置）、政府標案（例如：本研究室所參與的嘉義縣政府「Playmaker 科技互動即興教育劇場」產學合作案所設計的大型互動音樂鍵盤裝置）、慶典活動、商演演唱會（例如：「參式互動新媒體」為蔡健雅的演唱會所設計的結合互動投影）、博覽會（例如例如：「豪華朗機工」為台北花博所設計的機器人演奏 Marimba 之音樂裝置、以及台中花博所設計的「機械奇花」結合機械、聲音、燈光、影像、動力之互動裝置）等之互動設計需求。國內相關的設計公司與工作團隊較知名者可包含：

參式互動新媒體：
http://www.ultracombos.com/

何理互動：
http://www.whyixd.com

黑川互動：
https://www.peppercorns.com.tw/en/1778-2/

Simp4live Records：
http://www.simp4live.com/

天工開物：
http://www.techartgroup.com/

黑色流明（Pixelman) :
https://www.facebook.com/pixelmanstreet/

豪華朗機工：
https://www.facebook.com/pages/category/Public-Figure/%E8%B1%AA%E8%8F%AF%E6%9C%97%E6%A9%9F%E5%B7%A5-LuxuryLogico-100251720029107/

十三行互動：
http://13techart.com/about.html

如牧創新：
https://www.rumuinno.com/

Suzuki Kentaro :

https://suzuki-kentaro.net/  

這些創意設計的公司非以傳統的媒體設計為經營方向，而是以跨領域的創作為方向，卻有非常穩定的營業成長，且也不斷在加入新的創意與專案作品，為非常迥異卻有高營收的設計公司。

鑽研 Max/MSP/Jitter 可以有何種商業應用？

Max/MSP/Jitter 是互動表演科技、互動裝置設計重要的程式語言之一，其強項在提供了聲音的偵測、音訊合成、MIDI 控制等專屬的模組化程式物件，也提供了設計 DJ、VJ 、衍生藝術之視覺設計相關 2D 與 3D 物件，但並不限於此，其也能輕易拿來控制各類軟硬體，例如燈光、影像、聲音、機器人、各類感應器等，或透過不同的通訊協定，與其他程式設計的語言相結合，加速程式設計的效率。此外，國外已有許多學術研究機構與學者持續擴充 Max/MSP/Jitter 之相關功能，包括法國政府支持的 IRCAM 研究中心及互動多媒體相關之學術機構與個人，也使得 Max/MSP/Jiiter 也可以用於電腦視覺、機器學習、甚至VR 等領域之程式設計，其最大的優點在於易於上手、易於與其他軟硬體整合（如 Arduino、Leap Motion、Myo、Kinect、腦波儀、手機、平板電腦等）、又易於透過模組化的架構而快速達成程式設計的目的，因此為互動設計師應該具有的技術之一，尤其針對展場的互動設計、裝置設計、展演相關的互動設計等最有助益，在聲音相關的互動設計上，則更是首趨一指。目前 Max/MSP/Jiiter 最常被使用於展場互動設計、以及個類型的互動裝置、互動表演，也常被使用於個類型的新媒體表演之互動影音設計，相關的商業應用列舉如下：

互動手環控制互動燈光之表演系統設計