モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。
- TAG LIST
- CGCGへの扉機械学習安藤幸央ディープラーニング月刊エンタメAIニュースGAN河合律子OpenAI音楽ニューラルネットワークNVIDIA三宅陽一郎強化学習吉本幸記QAGoogleFacebook人工知能学会GPT-3自然言語処理グーグルDeepMind大内孝子森川幸人敵対的生成ネットワークキャラクターAIスクウェア・エニックスモリカトロンAIラボインタビューマイクロソフトルールベースシナリオAIと倫理映画デバッグアートDALL-E2StyleGAN倫理ゲームプレイAINFT自動生成SIGGRAPHメタAIStable Diffusionテキスト画像生成ロボット深層学習CEDEC2019プロシージャル遺伝的アルゴリズムテストプレイモリカトロンDALL-Eビヘイビア・ツリーディープフェイクCEDEC2021CEDEC2020ゲームAIVFXデジタルツインメタバース不完全情報ゲームVRナビゲーションAI画像生成AINPC畳み込みニューラルネットワークCLIP画像生成GDC 2021JSAI2022GDC 2019マルチエージェントCEDEC2022AIアートボードゲームファッション懐ゲーから辿るゲームAI技術史toioCNNAdobeUnity著作権小説アニメーション鴫原盛之HTN階層型タスクネットワーク汎用人工知能JSAI2020TensorFlowインタビューBERTMicrosoftイベントレポート対話型エージェントロボティクスMetaMinecraft水野勇太Genvid TechnologiesガイスターStyleGAN2GTC2022教育ソニーJSAI2021スポーツ研究シムピープルMCS-AI動的連携モデルマンガマーケティングGDC SummerバーチャルヒューマンブロックチェーンMidjourneyアストロノーカキャリアNVIDIA OmniverseeスポーツAmazoneSportsDQNBLUE PROTOCOLシーマンアバターOmniverse3DCGUbisoftメタAlphaZeroTransformerGPT-2AIりんなカメラ環世界中島秀之哲学ベリサーブPlayable!ChatGPT理化学研究所ジェネレーティブAISIGGRAPH ASIADARPAドローンシムシティImagenZorkバイアスモーションキャプチャーTEZUKA2020AI美空ひばり手塚治虫バンダイナムコ研究所スパーシャルAIElectronic Arts3DメタデータLEFT 4 DEAD通しプレイOpenAI Five本間翔太CMピクサープラチナエッグイーサリアム作曲ボエダ・ゴティエビッグデータ中嶋謙互Amadeus Codeデータ分析Microsoft AzureMILE模倣学習ナラティブスタンフォード大学アーケードゲームOmniverse ReplicatorWCCFレコメンドシステムNVIDIA DRIVE SimWORLD CLUB Champion FootballNVIDIA Isaac Simセガ柏田知大軍事サイバーエージェント田邊雅彦トレーディングカードトレカ音声認識メディアアートPyTorch眞鍋和子バンダイナムコスタジオaibo合成音声齊藤陽介マインクラフトお知らせMagic Leap Oneチャットボットサルでもわかる人工知能VAEDreamFusionリップシンキングUbisoft La Forge自動運転車ワークショップ知識表現ウォッチドッグス レギオンIGDA秋期GTC2022どうぶつしょうぎEpic Gamesジェイ・コウガミ音楽ストリーミングMITAIロボ「迷キュー」に挑戦野々下裕子徳井直生マシンラーニング5GMuZeroRival Peakクラウド対話エンジン斎藤由多加リトル・コンピュータ・ピープルCodexコンピューティショナル・フォトグラフィーゴブレット・ゴブラーズ絵画rinnaイラストシミュレーションデジタルヒューマン完全情報ゲーム坂本洋典PaLM釜屋憲彦ウェイポイントパス検索対談藤澤仁生物学GTC 2022画像認識GPT-3.5SiemensStyleCLIPDeNA長谷洋平masumi toyota宮路洋一OpenSeaGDC 2022TextWorldEarth-2BingMagentaSFELYZA Pencil松尾豊GTC2021CycleGANデータマイニング東京大学NetHackはこだて未来大学キャラクターモーションフェイクニュースエージェントRPGSIGGRAPH 2022レベルデザインAIボイスアクターNVIDIA CanvasGPUALife人工生命オルタナティヴ・マシンサウンドスケープLaMDAAI DungeonASBS栗原聡ぱいどんテキスト生成不気味の谷ナビゲーションメッシュ松井俊浩ELYZAフルコトELYZA DIGEST音声合成西成活裕Apex LegendsELIZA群衆マネジメントNinjaコンピュータRPGライブビジネスアップルタウン物語新型コロナKELDIC周済涛メロディ言語清田陽司ゲームTENTUPLAYサイバネティックスMARVEL Future FightAstro人工知能史タイムラプスEgo4DAI哲学マップバスキア星新一日経イノベーション・ラボStyleGAN-XL敵対的強化学習StyleGAN3階層型強化学習GOSU Data LabGANimatorWANNGOSU Voice AssistantVoLux-GAN竹内将SenpAI.GGProjected GANMobalyticsSelf-Distilled StyleGAN馬淵浩希Cygamesニューラルレンダリング岡島学AWS SagemakerPLATO映像セリア・ホデント形態素解析frame.ioUXAWS LambdaFoodly誤字検出森山和道認知科学中川友紀子ゲームデザインSentencePieceアールティLUMINOUS ENGINELuminous ProductionsBlenderBot 3パターン・ランゲージ竹村也哉Meta AIちょまどマーク・ザッカーバーグGOAPWACULAdobe MAX 2021自動翻訳AIライティングOmniverse AvatarAIのべりすとFPSNVIDIA RivaQuillBotマルコフ決定過程NVIDIA MegatronCopysmithNVIDIA MerlinJasperNVIDIA Metropolisパラメータ設計テニスバランス調整協調フィルタリング人狼知能テキサス大学AlphaDogfight TrialsAI Messenger VoicebotエージェントシミュレーションOpenAI CodexStarCraft IIHyperStyleMax CooperFuture of Life InstituteRendering with StyleIntelDisney類家利直LAIKADisneyリサーチヴィトゲンシュタインRotomationGauGAN論理哲学論考GauGAN2京都芸術大学ドラゴンクエストライバルズ画像言語表現モデル不確定ゲームSIGGRAPH ASIA 2021PromptBaseDota 2モンテカルロ木探索ディズニーリサーチMitsuba2バンダイナムコネクサスソーシャルゲームEmbeddingワイツマン科学研究所ユーザーレビューGTC2020CG衣装mimicNVIDIA MAXINEVRファッションBaidu淡路滋ビデオ会議ArtflowERNIE-ViLGグリムノーツEponym古文書ゴティエ・ボエダ音声クローニング凸版印刷Gautier Boeda階層的クラスタリングGopherAI-OCR画像判定JuliusSIE鑑定ラベル付けTPRGOxia Palus大澤博隆バーチャル・ヒューマン・エージェントtoio SDK for UnityArt RecognitionSFプロトタイピングクーガー田中章愛実況パワフルサッカー石井敦銭起揚NHC 2021桃太郎電鉄茂谷保伯池田利夫桃鉄GDMC新刊案内パワサカマーベル・シネマティック・ユニバースコナミデジタルエンタテインメント成沢理恵MITメディアラボMCU岩倉宏介アベンジャーズPPOマジック・リープDigital DomainMachine Learning Project CanvasMagendaMasquerade2.0国立情報学研究所ノンファンジブルトークンDDSPフェイシャルキャプチャー石川冬樹サッカーモリカトロン開発者インタビュースパコン里井大輝Kaggle宮本茂則スーパーコンピュータバスケットボール山田暉松岡 聡Assassin’s Creed OriginsAI会話ジェネレーターTSUBAME 1.0Sea of ThievesTSUBAME 2.0GEMS COMPANYmonoAI technologyLSTMABCIモリカトロンAIソリューション富岳初音ミクOculusコード生成AISociety 5.0転移学習テストAlphaCode夏の電脳甲子園Baldur's Gate 3Codeforces座談会Candy Crush Saga自己増強型AItext-to-imageSIGGRAPH ASIA 2020COLMAPtext-to-3DADOPNVIDIA GET3DデバッギングBigGANGANverse3DMaterialGANRNNグランツーリスモSPORTAI絵師ReBeLグランツーリスモ・ソフィーUGCGTソフィーPGCVolvoFIAグランツーリスモチャンピオンシップStability AINovelAIRival PrakDGX A100NovelAI DiffusionVTuberユービーアイソフトWebcam VTuberモーションデータ星新一賞北尾まどかHALO市場分析ポーズ推定将棋メタルギアソリッドVフォートナイトメッシュ生成FSMメルセデス・ベンツRobloxMagic Leapナップサック問題Live NationEpyllion汎用言語モデルWeb3.0マシュー・ボールAIOpsムーアの法則SpotifyスマートコントラクトReplica StudioAWSamuseChitrakarQosmoAdobe MAX 2022巡回セールスマン問題Adobe MAXジョルダン曲線メディアAdobe Research政治Galacticaクラウドゲーミングがんばれ森川君2号pixiv和田洋一リアリティ番組映像解析Stadiaジョンソン裕子セキュリティMILEsNightCafe東芝デジタルソリューションズインタラクティブ・ストリーミングLuis RuizSATLYS 映像解析AIインタラクティブ・メディアポケモン3DスキャンPFN 3D Scanシーマン人工知能研究所東京工業大学Ludo博報堂Preferred NetworksラップPFN 4D ScanSIGGRAPH 2019ArtEmisZ世代DreamUpAIラッパーシステムDeviantArtARWaifu DiffusionGROVERプラスリンクス ～キミと繋がる想い～元素法典FAIRSTCNovel AIチート検出Style Transfer ConversationOpen AIオンラインカジノRCPMicrosoft DesignerアップルRealFlowRinna Character PlatformiPhoneCALADeep FluidsSoul Machines柿沼太一MeInGameAmeliaELSIAIGraphブレイン・コンピュータ・インタフェースバーチャルキャラクター大規模言語モデルBCIGateboxアフォーダンスLearning from VideoANIMAKPaLM-SayCan予期知能逢妻ヒカリセコムGitHub Copilotユクスキュルバーチャル警備システムCode as Policiesカント損保ジャパンCaP上原利之ドラゴンクエストエージェントアーキテクチャアッパーグラウンドコリジョンチェックPAIROCTOPATH TRAVELER西木康智OCTOPATH TRAVELER 大陸の覇者山口情報芸術センター［YCAM］アルスエレクトロニカ2019品質保証YCAMStyleRigAutodeskアンラーニング・ランゲージ逆転オセロニアBentley Systemsカイル・マクドナルドワールドシミュレーターローレン・リー・マッカーシー奥村エルネスト純いただきストリートH100鎖国［Walled Garden］プロジェクト齋藤精一大森田不可止COBOLSIGGRAPH ASIA 2022高橋智隆DGX H100VToonifyロボユニザナックDGX SuperPODControlVAE泉幸典仁井谷正充クラウドコンピューティング変分オートエンコーダーロボコレ2019Instant NeRFフォトグラメトリartonomous回帰型ニューラルネットワークbitGANsDeepJoinぎゅわんぶらあ自己中心派Azure Machine LearningAzure OpenAI Service意思決定モデル脱出ゲームDeepLHybrid Reward Architectureコミュニティ管理DeepL WriteウロチョロスSuper PhoenixSNSProject MalmoオンラインゲームGen-1気候変動Project PaidiaシンギュラリティProject Lookoutマックス・プランク気象研究所レイ・カーツワイルWatch Forビョルン・スティーブンスヴァーナー・ヴィンジ気象モデルRunway ResearchLEFT ALIVE気象シミュレーションMake-A-Video長谷川誠ジミ・ヘンドリックス環境問題PhenakiBaby Xカート・コバーンエコロジーDreamixロバート・ダウニー・Jr.エイミー・ワインハウスSDGsText-to-Imageモデル音楽生成AIYouTubeダフト・パンクメモリスタ音声生成AIGlenn MarshallScenarioThe Age of A.I.Story2Hallucination音声変換LatitudeレコメンデーションJukeboxAIピカソVeap JapanAI素材.comEAPneoAIテンセントSIFT福井千春DreamIconDCGAN医療mignMOBADANNCEメンタルケアstudiffuse人事ハーバード大学Edgar HandyAndreessen Horowitz研修デューク大学NetflixAIQVE ONEQA Tech Nightmynet.aiローグライクゲーム松木晋祐東京理科大学下田純也人工音声NeurIPS 2021産業技術総合研究所桑野範久リザバーコンピューティングBardプレイ動画ヒップホップ対話型AIモデル詩ソニーマーケティングControlNetサイレント映画もじぱnoteNBA環境音暗号通貨note AIアシスタント現代アートFUZZLEKetchupAlterationAI News粒子群最適化法Art Selfie進化差分法オープンワールドArt Transfer群知能下川大樹AIFAPet Portraitsウィル・ライト高津芳希P2EBlob Opera大石真史クリムトBEiTStyleGAN-NADA世界モデルDETRゲームエンジンDreamerV3SporeUnreal Engineクリティックネットワークデノイズ南カリフォルニア大学Unity for Industryアクターネットワーク画像処理DMLabSentropyGLIDEControl SuiteCPUDiscordAvatarCLIPAtari 100kSynthetic DataAtari 200MCALMYann LeCunプログラミングサム・アルトマン鈴木雅大ソースコード生成コンセプトアートGMAIシチズンデベロッパーSonanticColie WertzTRPGGitHubCohereリドリー・スコットウィザードリィMCN-AI連携モデルマジック：ザ・ギャザリング絵コンテUrzas.aiストーリーボード介護大阪大学西川善司並木幸介KikiBlenderサムライスピリッツ森寅嘉Zoetic AIプロンプトゼビウスSIGGRAPH 2021ペットGPT-4ストリートファイター半導体Digital Dream LabsPaLM APITopaz Video Enhance AICozmoMakerSuiteDLSSタカラトミーSkeb山野辺一記NetEaseLOVOTDreambooth-Stable-Diffusion大里飛鳥DynamixyzMOFLINゲーム背景RomiGoogle EarthU-NetミクシィGEPPETTO AI13フェイズ構造アドベンチャーゲームユニロボットStable Diffusion web UIADVユニボPoint-EXLandGatoAGI手塚眞DEATH STRANDINGマルチモーダルEric Johnson汎用強化学習AIデザインOculus Questコジマプロダクションロンドン芸術大学生体情報デシマエンジンGoogle BrainインディーゲームSound Control写真高橋ミレイSYNTH SUPER照明Maxim PeterKarl SimsJoshua RomoffArtnomeハイパースケープICONATE山崎陽斗深層強化学習立木創太松原仁浜中雅俊ミライ小町武田英明テスラ福井健策GameGANパックマンTesla BotNEDOTesla AI DayWikipediaソサエティ5.0SphereSIGGRAPH 2020バズグラフXaver 1000ニュースタンテキ養蜂東芝BeewiseDIB-R倉田宜典フィンテック投資韻律射影MILIZE広告韻律転移三菱UFJ信託銀行
CGへの扉 Vol.43：AI絵師は3DCGの領域へ
2022.10.17アート
AIはどこへ向かう？
2022年も残るところ数か月、ここ数週間で、人工知能が描く画像（いわゆるAI絵師）の進展が驚くべき状況になりつつあります。また、テクノロジーの観点ばかりではなく、利用方法や著作権、絵描きの心情も含め、多くの意見が錯綜している段階です。側から見ると、短い期間で、ものすごい勢いでさまざまな人工知能が開発されているように見えますが、実は数年前から研究開発されてきたものが、このタイミングで一気に、先を争うようにお披露目されている印象があります。
技術論文登録サイトarXiv の統計によると、2020年から2022年にかけて、人工知能（とくに機械学習）関連の論文が指数的に増加していることが分かっています。日に数百本の勢いで増加する論文は、人工知能専門の研究者であってもすべての関連論文を読み解けないほどの量になっていることが指摘されています。
人工知能が描く画像に関する話題が広がったひとつの契機は Stable Diffusion のオープンソースとしての公開でした。Stable Diffusion公開以前、OpenAIやGoogleが人工知能ソリューションを一般公開せずに一部の利用者に限定していたのも、さまざまな問題や課題が発生することが予想されたことや、世間的にどう受け止められるのかが分からないことがひとつの要因だったと考えられます。そういった懸念をものともせず、公開されたStable Diffusionにより、利用者とともに、Stable Diffusionを元としたサービスも数多く登場してきました。
その中では、機械学習の学習素材となっている画像群の出所が著作権上はっきりしないものであったり、
あまりにも学習元の画像にそっくりな画像が生成できてしまうなどといった、自分で絵を描く人からすると許容できない状況が問題になりました。
人工知能に画像を描かせるのは、あくまでツールであると考える人もいれば、自身の創作活動が阻害されたり侵食されると考える人、悪さを思いつく人、嫌悪感を抱く人もいて、さまざまな受け取られ方がされています。カメラの登場、コンピュータの登場など、過去にもさまざまなテクノロジーが、人間の創作活動を奪うと考えてきましたが、人間は一度便利さを手に入れると、元には戻れなくなるという習性があります。今回の人工知能を取り巻く一連の状況も同じ状況です。技術は一度生まれてしまったら、それがなかった時代には戻れないのです。
text-to-?? の広がり
text-to-image文字列から画像を生成する仕組みから、音声を生成するtext-to-speech、環境音などを生成するtext-to-sound、音楽を生成するtext-to-audio、三次元形状を生成するtext-to-3Dなど、文字列からさまざまなデータが生成できるソリューションが広がってきました。そこで使われるpromptと呼ばれる、生成を指示する文字列も、カメラや3DCGの業界用語が大きく影響を与えることが分かってきました。
promptとして、画質向上のヒントとなるのは、3DCGツールの製品名や、画像生成（レンダリング）ツールの名前などです。
【promptに使用される単語の例】
3DCG関連：3D renders, 3D realism, unreal engine, octane render, vray, houdini render, cinema4d, arnold render, raytracing, cgi, lumen reflections, cgsociety, ultra realistic
カメラ関係：bokeh, depth of field (or dof), macro photography, polaroid, film photography, studio quality
以下の3つの画像は”Laboratory” と、上記キーワードを付与して生成したtext-to-image 画像です。3DCGツールで制作したかのような雰囲気の画像が生成されています。
text-to-?? は一種の発想実験でもあり、人工知能の活用の場を考えるヒントともなる事象です。例えば、text-to-AD（広告）、text-to-sourcecode、text-to-novel、text-to-game、text-to-scenario、text-to-movie などなど考え始めるとキリがありません。
文字列から三次元形状へ text-to-3D
text-to-image の二次元コンテンツから次の展開は三次元です。ここにきて text-to-3D 研究がいくつも話題になってきています。ただし、まだまだ万能なものではなく、得意不得意や向き不向きがあるといった状況です。
DreamFusion
DreamFusion: Text-to-3D using 2D Diffusion（Googleリサーチと、UCバークレイの共同研究）
人工知能が画像を生成するために、大量の画像とテキストの組み合わせを機械学習で実現していますが、残念ながら3D形状データに関しては、こういった大量データセットの存在や精度を高めるためのノイズ除去の手法が無い状況です。DreamFusionでは、ランダムに生成された3次元モデルを勾配降下法（訓練テストに対してコストが最小になるように、モデルパラメータを少しずつ操作し収束させる手法）により最適化し、ランダムな角度からの2次元レンダリングが低損失になるよう導いています。このアプローチによって事前学習によりさまざまな形状が生成可能になりました。内部的にはGoogleのImagenというtext-to-image技術が使われています。
NVIDIA GET3D
NVIDIA GET3D（NVIDIA社）
解説ブログ：https://blogs.nvidia.com/blog/2022/09/23/3d-generative-ai-research-virtual-worlds/
NVIDIA GET3D (Generate Explicit Textured 3D meshes) は、2D画像のみの機械学習の結果から、高精細なテクスチャと複雑な3D形状を生成することができます。ここで生成される3Dオブジェクトは、一般的な3DCGソフトで使用されるのと同じフォーマットで作成されるため、すぐにCGツールに取り込んで活用することができます。とくにゲームの景観や建築設計、都市の設計などで、大量かつ現実世界におけるの3D形状モデルを平易に揃えたい場合には重宝するでしょう。
例えば、さまざまな車種の車の画像を学習させることで、車の3D形状データを手に入れたり、動物や家具といったさまざまな用途に使えます。さらにVR空間に必要な要素を自動的に大量に揃えるためにもこういった text-to-3D ツールは重宝することでしょう。
このtext-to-3Dソリューションが登場するまでは複数の二次元画像から3D形状を抽出したり、二次元画像からの類推で3D形状を生成していたため、精度や自由度に関して制限がありました。GET3Dでは、1台の最新GPU搭載PCを用いると、1秒間に約20の形状を次々に生成することができます。元となる機械学習の素材の数が多ければ多いほど、出力される3D形状も多種多様なものになっていきます。実際の利用には NVIDIA のStyleGAN-NADAとGET3D を組み合わせることで、テキスト入力から3D形状データを生成することになります。今後は、あらかじめ用意されたデータセットからの学習ではなく実世界の写真からの学習や、より多くの種別に対応していく予定とのこと。
創作活動の尊重と、AIはあくまでツールという考え方
人工知能による画像生成はルールや倫理、法律や著作権などではすべてコントロールできない状況が考えられます。こういったテクノロジーを嫌がる人もいれば、積極的に受け入れる人もいるのは当然です。
映画ダイハードなどで知られる俳優、ブルース・ウィリス氏が、自身の失語症を理由に2022年3月に俳優業を引退しました。その後、「ディープフェイクで生成した自分のキャラクタを映画や広告に出演させる権利」をエージェントに売却したのです。最新のハリウッド映画では、俳優のスタント映像や特殊効果のために体中のデータをスキャンし、デジタルツインと呼ばれるデータで3DCGのキャラクタに演技させることがあります。これを受け入れる俳優も、嫌がる俳優もいます。
ディープフェイクを用いれば、多言語対応できたり、年齢の壁を取り払った演技を可能になるというポジティブな可能性が広がります。ブルース・ウィリスの事例は、本人の置かれている状況が特殊（自身でこれ以上演技を続けられない）という事も影響していますが、今後テクノロジーを受け入れるタイプのクリエーターと、受け入れないタイプのクリエーターが共存していかなければいけない困難な状況が続くでしょう。
Lexicaや、Magic StudioのImagineでは、人工知能が生成した画像を次々と見ることができ、SNSやクリエーター作品投稿サイトとは、またちょっと違った雰囲気が感じられます。Imagineには “Ghibli” というタグが用意されています。このことを突き詰めると一悶着ありそうですが、どんな生成画像も、ジブリ風になるのが、驚きを超えてなにか不思議な感覚に没入していくようです。
一方、機械学習の素材として自身らの作品が使われることを懸念している作家も多く、自分の描いた画像が機械学習の素材として使われているのかどうかを調べるサイトHave I Been Trained?や、自分の作品を機械学習の素材として使って欲しく無いことを表明するサイトSpawningも登場しました。著作権や法律でコントロールできない部分、規定等が追いつかない部分は、倫理や配慮、業界ルールといった形で当分は対処していくことになるのかもしれません。
NovelAI Improvements on Stable Diffusion（NovelAIの改善状況の報告）
アルゴリズムの修正や内部の仕組みの開示により、クリエーター界隈に受け入れてもらえるよう、模索を進めているサービスもあり、一言で「良い」「悪い」と割り切れない事柄を、少しつづ改善し、良い状況に持っていこうと、世界中の研究者やアーティストが、ぶつかり合いながらも協力していく状況はしばらく続くのかもしれません。
本連載の今後の予定：「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。なにか取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。
Vol.42：現代の呪文promptが生み出すAIとの新しい関係性
Vol.41：AIが促進させるCG研究。SIGGRAPH2022論文より
Vol.37：NVIDIA GTC 2022 レポート／アートとAIの視点で
Vol.36：創るためのAI〜AIと人間の創造性の未来：徳井直生氏講演レポート
Vol.35：マーベル・シネマティック・ユニバースを支える機械学習
Vol.34：注目論文よりCGの祭典 #SIGGRAPHAsia2021 を振り返る
Vol.33：AIの必然性 #SIGGRAPHAsia2021 レポート
Contributor：安藤幸央
RANKING
