PyCon JP 2022 で「続・絵を読む技術 Pythonで読むイラストの心理戦略」を発表しました

３年振りに現地開催されたPyCon JP 2022に、個人名義（Hirosaji／ひろさじ）で登壇しました。

今回でPyCon JPへの登壇は３回目。
発表内容は去年の続編という位置付けでしたが、Stable DiffusionをはじめとするAI絵師への関心もあって、想像以上に多くの方に楽しんでいただけました。

この記事では、そんな発表の概要や会場での質疑応答などをまとめました。
また、長くなったので別の記事に分けましたが、発表内容のメタサーベイにも挑戦しています。

発表を見た方でも見ていない方でも楽しめる内容です。よろしくどうぞ。

イベント概要

• 概要：日本最大級のPythonユーザカンファレンス
• 日時：2022年10月14日（金）～ 2022年10月16日（日）
• 会場：TOC有明コンベンションホール
• 公式 HP：https://2022.pycon.jp/

登壇内容

発表内容

続・絵を読む技術 Pythonで読むイラストの心理戦略（Hirosaji / ひろさじ, 30min）

一言で言うと、イラストレーターがイラストに込める戦略をイラストの技法書をベースに体系化し、その戦略をPythonを交えながら解説しました。
今回の発表はその第２弾（第１弾はこちら）という位置付けで、イラストの心理戦略にスポットを当てました。

イラストの心理戦略は、イラストの構成要素のうち心理に作用しやすい色／光／キャラクターの３要素を取り上げました。
特に重点的に解説したのは、キャラクターの魅力を引き出す定石と、配色によるコンセプト設計についてです。

また、解説の合間に紹介したPythonスクリプトの趣旨と要素技術は次の通りです。

• 3D姿勢推定モデル（SMPL）+ MeTRAbs でコントラポストを検出
• NudeNet モデルで露骨な表現を検出
• DeepWB + mixedillWB で自動ホワイトバランス
• matplotlib による可視化で配色コンセプトを分析
• CarveKit で被写体と背景を分離
• エントロピー計算で描き込みの多い領域を推定

詳しくは、スライド資料または動画アーカイブをご覧ください。

会場で受けた質問と回答

• 人外系絵師はAIの学習量が少ない。一般的な人を描く絵師に競争負けするのでは？
  （しばらくは）その通りだと思う。人外系に限らず、学習が少ないニッチ層の人たちは大変だろう。一応対策として、例えば人の生成が得意なNovelAIからは"構図"のみを参考にする、などイラスト全般のアイデアの一部を抽出することはできる。
  また、NovelAIにこだわらなければ、人外系でも結構生成できるようだ。
  

  AI君の事、美少女画像生成器くらいにしか思って無い人結構居そうだなって#WaifuDiffusion #StableDiffusion pic.twitter.com/C6HSmayfUz

  — ビームマンＰ ver4.1 (@BeamManP) 2022年10月16日

  人外系はニッチとはいえ、市場に一定以上の需要があるため、これらの他にも人外特化モデルが今後できることには期待している。

• AIもコントラポストなどの定石に沿った絵を出力する？
  学習時の入力に寄るが（いま人気のNovelAIやWaifu Diffusionは）その通りだろう。
  世に出回るキャラクターイラストは、多くがコントラポストや性戦略などの定石に沿っているので、その定石を出力しがち。

• JOJO立ちはコントラポストという理解で合ってる？
  ほぼ正解。調べたら代表的なJOJO立ちの多くがコントラポストに沿っていた。
  逞しい男たちに女性が得意なコントラポストを取り入れると、迫力と美しさが同時に表現できる、という発見をした荒木先生はすごい。

• 実際に絵を使うときに、カラー分布を使う作業はする？時間短縮につながる？
  時と場合、イラストレーターのスタイルによる。例えば、ビジュアルリファレンスから直接カラーパレットを作る場合は、カラー分布は最終確認くらいにしか使わない。
  しかし、事前に配色が決まっていない場合は、カラー分布を随時参照することで、全体を俯瞰しながら配色を決めることができる。人間はシングルタスクしかできないため、色を塗る作業（に限らないが）は、どうしても塗っている周辺の局所的な彩色バランスに集中してしまいがち。すると、全体の配色バランスの再調整がよく必要になり、タイムロスが起こる。そのため、随時カラー分布で俯瞰しながら全体の配色バランスを考えるのは時間短縮につながりやすく、最終的なイラストの品質を高く保つ効果が期待できる。

• 普段どんなツール（ソフトウェア）で描いている？
  iPad Proか液タブにて、CLIP STUDIO PAINTとPhotoshopを使って描いている。
  CLIP STUDIO PAINTは日本語の学習資料が多く、Photoshopは万能ツールである点で、それぞれ国内市場の覇権を握っている。ただ、最近はProcreateも気になっている。（お絵描きにPythonは使ってない）
  

• 記憶色か自然色かを分析する手法はあるか？
  分類や精度の高い回帰分析などは難しい。特に分析対象をイラストとするととても難しい。イラストに現れる記憶色は、イラストレーターの脳内の記憶色が使われる他、一部にだけ記憶色を使うというデフォルメ手法もあり、なお分析が難しい。
  また、記憶色に一貫した傾向があるかを調べた研究もある。記憶色は、実際の色よりも彩度や明度が高くなりがちだが、色やモノによってその振れ幅が異なる（Memory Colors of Familiar Objectsより）。さらに、時間が経つにつれて、記憶色は変化していく（色記憶の再生による色の三属性の移行についてより）。
  以上より、人やモノによって記憶色の解釈は異なるため、定量分析はまず難しいと考えている。

• AIの画像を見て「これは使えるな」と思ったことは？また実際に使ったことは？
  直近では、発表の最後に紹介した絵柄学習AIに可能性を感じた。インスピレーションの元にしたり、描いたことのないオブジェクトを自分のスタイルでどう描けばいいかの参考になる。
  他にも、色ラフからシーンに合ったカラーパレットを作る事例も。
  

  Novel AIイラストを参考画像として使えないか試してみました！
  今回やったのはざっくり色ラフを描き、それを元に出力したものを参考に色ラフを詰めていくというものです。
  結果、今回たまたまかもしれませんが想像以上にうまくいきましたので、やったことをそのまままとめてみました！ pic.twitter.com/TW163S5JlZ

  — ワンダルチア (@Wander00317) 2022年10月11日

  このような実用事例をまだ私は持ち合わせていないので、これから模索する。

発表後の反響

Twitterにて、発表資料を載せたツイートに多くの反応（いいね／RT）をいただきました。

本日の発表資料です。 #pyconjp #pyconjp_4
「続・絵を読む技術 Pythonで読むイラストの心理戦略」を、PyCon JP 2022 にて 15:10 から発表します。

みんなが画像生成AIと絵師との付き合い方を考える材料とかになればいいな。よろしくどうぞ！！https://t.co/9o2lsVLuzR

— Hirosaji / ひろさじ (@hirosaji) 2022年10月15日

個人的に憧れていた方々からの反応も頂けて、感無量でした...。

今後の展望

これまでに積み上げたスクリプトで、簡単なサービスが作れたらと思っています。
パッと思いついたアイデアとして、例えばこんなサービスでしょうか。

• イラストの評価（配色／ポーズ／焦点など）
• イラストの添削（同上）
• 戦略が類似したイラストの検索（同上）

これらをまとめて、CI/CDを構築するのも面白いかもしれません。
それから、AI絵師との付き合い方についても引き続き模索していくつもりです。

発表内容のメタサーベイ

発表後は対面／SNSにて、様々な属性を持つ方々（イラストレーター、エンジニア、デザイナーなど）と交流しました。
また、いくつかの参加者のイベント参加レポートで、私の発表への感想を載せていただきました。

• #pyconjp PyCon JP 2022に参加しました - メモ的な思考的な

• PyConJP2022参加記事 - take IT easy

• Pycon JP 2022｜りょうさん｜note

多くの方が、私の発表内容を高く評価して下さっていました。
一方で、リファレンスの多様さに驚かれている方も多くいらっしゃいました。

すごい
「美術史とPythonと萌えとポリコレと生物学と性癖・・・」
様々な知識が集まってできた資料
（これはもう一種の論文と見て良いのでは） https://t.co/AKEn7OIBtN

— sokuoku (@sokuoku) 2022年10月16日

こちらの方のツイートにもありますが、イラストはさまざまな分野の知識体系や経験則が凝縮してできた文化なので、その多くをカバーしようとするとサーベイ論文のような様相になってしまいます。
また、イラストは学術領域ではないので、あえてイラストの構造をロジカルに再定義する試みは新鮮に見えるようです。

そこで、イラストを科学的に捉えるために必要な知識や経験の全体像を描くべく、発表内容のメタサーベイに挑みました。

「イラストの心理戦略」のメタサーベイ

分量が長くなってしまったので、別の記事にしました。

他に類を見ない内容なので、読むのは大変だと思いますが、読んで後悔はしないと思います。興味ある方は是非。

「Python / ML」のためのメタサーベイ？

現状では、イラストの意味解析を研究する事例はありません。
私もイラストの技法書で調べたのちに、局所的に必要な実装を集めるので、メタサーベイは不可でした。すみません...。

一応、画像系のML事例はキャッチアップを続けているので、今後うまくトピックをまとめられたら共有します。

あとML系の情報収集に関連して、「創作xML」のDiscordにお邪魔できたのは良い機会でした。興味ある方はぜひ。

終わりに

久しぶりの現地会場での登壇は、すっかり新鮮な体験として楽しむことができました。
現地登壇のノウハウをすっかり忘れてしまっていたので、これからまた少しずつ取り戻していきたい気持ちです。

しかし、改めて新鮮な気持ちでPyConに臨んだのは、私だけではなかったはずです。

久しぶりの現地開催の準備・運用に尽力してくださったスタッフの皆さん、ありがとうございました。 スタッフの皆さんも自ら楽しんで参加されていたこと。不意のトラブルにも実直に対応されてたこと。皆さんのPyConを支える真摯な振る舞いによって、私たちはカンファレンスを安心して楽しむことができました。

スポンサーの皆さんも、ありがとうございました。今回はいつにも増して、ノベルティの数が凄かったですね。 また、現地に用意してくださったデモやLT、書籍の数々、どれも素晴らしかったです。 休憩時間も関係なく、ずっとPythonに囲まれた気分でいられたのは、スポンサーの皆さんの支えがあったからこそでした。

私の発表やスライドを楽しんでくれた皆さんも、ありがとうございました。 私の思いの丈をぶつけて、そこで返ってくる皆さんの反応はどれも優しく、勉強になることが多かったです。 去年に引き続き、イラストレーターという別のドメインの発表内容も温かく見守ってくださり、本当にありがとうございました。

最後に、PyCon JP 2022を盛り上げてくださった参加者の皆さんにも感謝でした。
やはりカンファレンスは楽しい。そう思えたのは、楽しい空気を共有してくださった皆さんのおかげです。

ぜひ来年もまた、みんなで一緒にPyConを盛り上げましょう！