何かしらのアクションが起きたときに、そのアクションに対応したレスポンスがあるインタラクション性。
音と密接に結びついているビジュアル。
それを相互に結びつけるシステムやプログラミング。
今回は、STARRYWORKSのKoji Kimuraさんをお招きしSOUNDABOUTしていきます。
invisi、coton、STARRYWORKSで共同開発したビートカメラにも触れていきます。
ゲスト：STARRYWORKS Koji Kimura
ファシリテーター：CD HATA、小田部剛
- Kimura : こんにちは、STARRYWORKS（スターリーワークス）のKimuraです。スターリーワークスは今年で15周年になります。 もともとウェブ会社として15年ほど前に立ち上げて、色々な物づくりをやっています。 デジタルまわり、サウンドまわりが個人的に好きなのでそのあたりが中心です。 また、株式会社闇というホラー専門のプロダクションも立ち上げました。
こちらは2018年に
MBSグループの完全子会社となりました。
BUTTON INC.という子供専門のデジタルクリエイティブを専門に行う会社もやっています。
- CD HATA : いきなりですが、社長業で大切にしていることってなんでしょう？
- Kimura : 目指す方向が明確にあって、社内で共有されていること。それから、新しいことに対するチャレンジを続けることが大事だと思っています。最後に、楽しいこと。かな。
- CD HATA : /- Otabe : 大事ですねー。最後が一番大事。
- Kimura : ...っていうのを、ちょうど1カ月ほど前に高校の同級生に聞かれたので答えたばかりでした。
- CD HATA : おお、さすがまとまったお答えをありがとうございます！今日はよろしくお願いします。初めましてのCD HATAです。
- Otabe : 僕はつい最近、特別展「植物 地球を支える仲間たち」でご一緒させていただきました。
2年ほど前に、
POLAの案件でご一緒したのが初めてでした。 すごいテキパキした、できるチームだなあ！と思っていました。感謝感謝でした。
デジタルクリエイティブが専門とはいっても、すごく幅広く、画面の中の物づくりから、画面の外まで、筐体なんかのデザインにも対応できるプロダクションですよね。すごく勉強させてもらいました。
- CD HATA : Kimuraさんご自身はどんな馴れ初めで、こういうキャリアを築いてこられたんですか。
- Kimura :
もともと物づくり、音作りが好きで、それこそ3才からエレクトーン、小学校からピアノを習って中学のときはギターでBOØWYのコピーやって、高校でバンド組んで、卒業してフリーターになってからは、DJやったりVJやったりっていうのを大阪でやってました。
中学で
Macintoshを親に買ってもらって、当時はOSが漢字Talk7.5で、マシンはPerforma5210だったかな。
- Otabe : ブルジョア！
- Kimura : 母親が小学校の音楽の教師をやっていたので、コンピューターで音楽できるらしいっていうんで興味があったみたいで買ってもらえたんですね。
当時Logicのバージョン3で、フロッピーディスク13枚とかインストールして、打ち込みして遊んだりしてましたね。
当時はまだインターネットはない状態で、情報は、雑誌から得るしかなかったんですよね。
「Mac
Fan」を買ってました。
当時のマックには「HyperCard」っていうソフトがあって、今でいうUnityみたいなかんじで、HyperTalkっていうプログラム言語でちょっとした便利なツールを自分で作れる環境があったんです。
「Mac Fan」の連載で「プログラミングをやってみよう」みたいなA4半分くらいの小さなコーナーがあって、それを毎月楽しみに、コードを真似して書いて遊ぶ中学生でした。
たとえば声を録音して、それを鍵盤に割り当てて音階を変えられる、サンプラーみたいなことができたりしましたね。
歴史的価値が高まる!AppleのあのアプリケーションがInternet Archiveに収録される
- Otabe : 結構便利なライブラリだったんですね。
- Kimura :
はい。高校卒業後はフリーターでウェブサイト作ったり、イベントでVJみたいなことをしたり、一回就職を挟んで25歳のときにスターリーワークスを立ち上げました。
ウェブを作っていましたが、音が好きだったんで、何かいけるとこがあったら音と絡ませようと企んだりしてました。ウェブだけだとBGMつけるくらいしかできなかったんですが、FLASHだとスクラッチできるとか、音の波形とかMIDIデータを解析したうえでビジュアルを動かすようなウェブをつくったり、音とビジュアルのステップシーケンサーみたいなのをウェブ上で作って遊んだりしてました。
クラブイベントでVJしてて、グラフィック要素がいっぱい出てくるんですけど、それを全部、Wiiリモコンと連携させて、遊びに来てるお客さんに渡してVJとグラフィックを動かして遊んでもらうみたいな遊びもしたりもしてました。
- Otabe : 僕も昔やってました。VDMXっていうソフトで、wiiリモコンがすごく簡単に扱えるようになって。そのエフェクトのパラメーターをジャイロがはいってるんで。MIDIコンを無線にして繋げるようにして、そのほうがフィジカル味があってやってるほうも楽しいんですよね。
- CD HATA : さて、今回のタイトルは音とインタラクションですが、そもそもインタラクションってなに？？
- Otabe : 何かしらアクションを起こしたタイミングで、それに対する反応が相互にあるってことですかね。例えば、今、目の前にマイクがあるんですが、僕がこのマイクを触ったことでマイクが光る、みたいな。マイクが何かしら反応すると僕もびっくりする。相互作用みたいなことをいうのかな。
- Kimura : クリエイティブの中でいうとミュージックビデオってカンパケで完成したものです。自分が何かやってもそのビデオは変わることがないですよね。
作品とか体験とかを提供する側と、体験する側が、何かしら変化とか影響のあることがインタラクティブだと思っています。 インタラクティブなものって、ほぼプログラムが必要なんですよね。自分もプログラムができるようになって、実現できるようになりました。
普通に見るだけも楽しいですが、反応があるともっと楽しいと思います。
- Otabe : 今年のFUJI ROCK FESTIVALを例に出してしまうと、お客さんの反応って全部拍手だったと思うんですよ。それっていつものライブとだいぶ違う。
- CD HATA : 自分のやってるバンドはジャムバンドで、即興演奏なのでお客さんの反応に影響を受けて作品ができあがっていくんですけど、ある意味それもインタラクティブといえますよね。 サイケデリックJAM BAND “DACHAMBO”
- Kimura : そうですね。インタラクティブっていっても、時間の尺的に3種類くらいあって、即時生のある体験としてのインタラクティブ、もうちょっと長い1分とか5秒とか10秒とかの尺のインタラクティブ性、それから何カ月とか長いスパンの相互的な作業で作品自体が変化するものもあると思っています。
- CD HATA : 今年15周年のスターリーワークスさんですが、ちょっとプロジェクトを見ていきましょうか。
- Kimura :
会社を立ち上げたころはFLASH全盛期で色々作成したんですが、もうお見せできず残念ですが、FLASHが終わっちゃったなーと思っていたころに、しょうもないGifアニメ画像を作るだけの、gif.dj っていうサービスを立ち上げました。
音と映像がシンクロするのって面白いじゃないですか。それをミニマルなところまで削ぎ落とすとどうなるかなということで、ビートに合わせて画像の一部が上下に動くだけのGifアニメを誰もが投稿できるサービスを作りました。
公開した当初けっこうバズって初日だけで5万PVいきました。
同じ年に作ったのが、
「DANCE」というインタラクティブな体験型展示です。創業7周年の記念プロジェクトとして大阪と東京で展示を行いました。
DANCE -English- from STARRYWORKS inc. on Vimeo.
- CD HATA : すんごいかっこいいですね！インビジも創業20周年記念イベント、こんな状況なので開催が難しいのですが...
- Otabe : 来年実施するつもりです！
- Kimura : 最近「beatcamera」というアプリをリリースしました。 音のついている映像をアプリに取り込むと、一番この辺がキックっぽいかな、スネアっぽいかな、ハイハットぽいかなっていうのをアプリが勝手に選んで、映像と込みのサンプラーが出来上がります。
instagramのフィルターを選ぶぐらいの気軽さであらかじめ準備してあるリズムパターンを選べて保存ができます。
インビジの松尾さんとこういうことやりたいねって話していたんですが、音の解析が得意なcotonのメンバーも一緒に3社共同で開発しました。役割分担的には、僕らはUIデザインとアプリの表の部分の開発、cotonがpythonで音の解析を担当、invisiが全体のディレクションを担当しました。
ユーザーのスマホのアプリの中で、ユーザーの映像を処理するのは初めての試みで、動画を書き出す処理時間を短くするとか、PCのモックからアプリ化して最適化する作業は大変でした。
映像のシークした瞬間固まったりするのはビートではありえないので、画像の解像度を落とす処理なども色々と工夫が必要でした。
これから、ユーザーの方々が面白い使い方をどんどん発見してくれるといいなと思っています。TikTokって、テンプレ化されたものをみんながやるっていう文化がありますよね。
ほぼ同じ撮り方をしているbeatcameraのユーザーが別々のところにいて、そういうテンプレ化したやりかた、みたいなのが増えるといいなと思っています。
元々、音を細切れにして再構築するような映像と音のサンプラーとステップシーケンサーは過去にもやっています。
たとえば、GRAND/S/TAGE（釣具メーカー）
釣をするときに発生する音を使って音楽を作って、ブレークダンサーが踊って、それをマイクロドローンで撮影するというものです。
他にも子供向けの映像サンプラーをつくるコンテンツや、DJに大勢参加してもらって皆でスクラッチしながら曲を作るものなどもありました。
- CD HATA : Kimuraさんが今取り組んでいることは。
- Kimura : 今はコーヒー屋さんを作っているので、味覚と嗅覚のトレーニングをしています。
抽出／焙煎／ラテ・アートの先生にそれぞれ毎週来てもらってるんです。酸味の違いがよくわかるようになってきました。
- Otabe : 「植物 地球を支える仲間たち」は来年1月14日から大阪私立自然博物館で開催されますので、関西のみなさま楽しみにしててください！
- CD HATA : Kimuraさん、今日はありがとうございました！
