四海のほとり

投稿

Niji Journey Mid Journeyの進化部分訂正機能 Vary(Region)

9月 24, 2023

前回の記事ではLamaCleanerを用いて不要な箇所を削除する事でNiji Journeyの欠点を補う方法を記した。単に削除するだけではなく、削除した画像をソースにして再生成する事でバランスが調整されることも確認した。あの記事を公開したのは2023年9月2日実は、この時点で既にNiji Journey、Mid Journeyは大きな進化を遂げていた。部分訂正を行う機能が実装されていたのである。私がそれに気が付かなかったのはブラウザ版のDiscordを使っていたからだったようで、ブラウザからDiscordを表示していると新機能Vary(Region)が表示されないのである。 Vary(Strong)やVary(Subtle)は表示されているのでVary(Region)だけが表示されないというような自体は想像できなかった。しかし、その機能が追加されたことを知ってから色々試して、何故か自分のところには表示されないので、もしやと思いLinux環境にDiscordをインストールしたらVary(Region)が表示されたのであった。そこで色々試してみたが、これはかなり使える機能で、慣れればかなり有効活用できそうである。ここでは例として前回の記事に掲載した6本指の少女をVary(Region)で改善してみる。この画像にVary(Region)を適用訂正したい箇所をマークして、その部分に何を描いてほしいかを指定する。 "girl high five"の部分を"high five"のみにして実行以下の画像が生成された。無事5本指に訂正された画像が生成された！（ちょっと不思議な画像もあるけど）前回の記事では髪の色や服など大きく異なる画像が生成されたが、Vary(Region)では指定した箇所のみが生成されるので、仕上げとしての部分訂正が行える。今まではちょっとだけ問題があるという理由で全体を再生成して、どれも微妙にちょっとだめだなぁという状況になりがちだったが、これからは問題のある箇所だけ再生成させることで大幅に時間の短縮が可能になった。前回頑張って導入したLamaCleanerはさして必要なくなってしまった。部分的な削除目的ではLamaCleanerを使ったほうが効率的な場面はまだあるとは思うが、Niji

LamaCleanerをChromebookのLinux環境にインストールして使ってみた

9月 02, 2023

Niji JourneyやMidjourneyのような画像生成AIを利用していると、手が3本とか指が6本というような不自然な画像が頻繁に生成される。何度生成しても納得のいく画像にならない事が多い。それで以前の記事ではApplePencilを使って手で描き変えてしまえばすぐに解決することを記した。手で描き変えるのは細かな調整も出来るし良いのだけど、もっとお手軽な方法はないものかと調べていたらLamaCleanerというプログラムが存在していることを知った。画像生成技術をベースにした画像補正ツールLama Cleanerのインストールこちらの記事にはLinuxだと簡単にインストールできること、pythonの実例が載っている。先にUbuntu(linux)で試すと簡単に起動して動作を確認できた。 Chromebookの場合、直接インストールするよりクラウド上の環境にインストールしてアクセスするほうがOSの思想に合っているとは思うのだけど、まぁせっかくストレージとCPUに余裕のある機種を使っているのでChromebookのLinux環境にインストールしてみることにした。注意点としてはChromebookのLinux環境ではpythonはpython3と打つ必要があることくらい。インストールは pip install lama-cleaner で、あっけなく完了した。ヘルプの表示などは問題ないが、例のとおりに lama-cleaner --model=lama --device=cpu --port=8080 とするとエラーになる $ lama-cleaner --model=lama --device=cpu --port=8080 - Platform: Linux-5.15.112-19404-g55fe7e355056-x86_64-with-glibc2.35 - Python version: 3.11.2 - torch: 2.0.1 - torchvision: 0.15.2 - Pillow: 10.0.0 - diffusers: 0.16.1 - transformers: 4.27.4 - opencv-python: 4.8.0.76 - xformers: N/A - accelerate: N/A - lama-cle

ベトナム語文法変換11〜15

8月 05, 2023

さて、プログラムの改善をしつつ、ベトナム語文法変換は追加し続けており既に15まで公開している。ブログに記していない11〜15について記しておくことにする。ベトナム語　文法変換11・ Mặc dù Mặc dù + 主語 + 動詞 + 目的語 + nhưng +主語 + 動詞 + 目的語 .〜にかかわらずも、〜だけれども当初は似た感じの表現 Bất cứを含んだ形でスクリプト化していた。そのため、「〜だけれども」のところも選択式になっていた。項目が多いと操作に戸惑う人が多いので選択項目は5つくらいの方が良いと感じる生成イラストは背景を白にすることで不自然な背景に悩まされることをなくし、短時間に終わらせた。ちょっと不自然な指は直す作業せずに吹き出しで隠した。ベトナム語　文法変換12・疑問詞 (ra) sao?/thì sao? ~ (ra) sao? 〜はどう？ (ra) sao rồi? 〜はどうだった？ ~thì sao? 〜のほうはどう？ ~thì sao rồi? 〜のほうはどうだった？これは昨年8月の初めてのBeba先生とのレッスン時に教えてもらった文法、〜のほうはどう？　をスクリプトにしてみた。教えてもらったのに使いこなせていない文法が多いので、最近習った文法と並行して過去に教えてもらった文法をどんどんスクリプト化していく方針。選択項目は最少の3、しかもデフォルトの文は1つ目を「無し」にしているので2項目しか選択していない。これは〜のほうはどう？　の〜の部分が多岐にわたっており、「あなたの母の病気」や「そのマウンテンバイク」といった構造の違う文を複数項目を組み合わせて表現しようとすると項目数がとても多くなってしまい、08の時みたいに項目が多すぎてどう操作していいかわからないという苦情を受けそうに思えたので、まとめて一つにしてしまったのである。結果として利用者が工夫する部分が殆どない、面白くないスクリプトになってしまったかもしれない。やはり変な組み合わせをする事が出来て、失敗を体験できる方が面白い。かといってこのスクリプトを再度細分化して作り直すかと言うと、そこまではしたいと思っていない。ベトナム語　文法変換13・ thì 〜のほうは〜です。主語 + thì + 動詞 +目的語 thì 〜のほうは〜です 12の質

CSS animationをChatGPTとGoogle Bardに作らせてみる

7月 17, 2023

ベトナム語文法変換スクリプトに生成イラストを付与するようになってから、自分のiPhone13 miniの縦画面だとセリフが小さくて読みづらいなと感じていた。なので、タップすると画面いっぱいに拡大する機能を実装しようと思った。それで検索して調べると色々な手法があるようだった。普通、プログラムの世界では車輪の再発明はしないという原則があり、既に存在しているプログラムがあるなら一から作らずに使わせてもらい、手間を減らすのが一般的である。しかし、JavascriptもCSSも再学習中の私にとっては練習の一環なので既存のスクリプトを流用はせず、ロジックを確認して自分で実装するのが良いと判断して実装。 CSSのclassで拡大時のclass、zoomを別途用意してJavascriptでclassを書き換える。この方針として実装。ちょっと悩んだところもあったが無事実装完了。タップして拡大するだけでなく、再度タップすると縮小する処理も実装完了。ここまで来て、拡大、縮小時にアニメーションで徐々に拡大、徐々に縮小するようにしたいと思った。またちょっと調べるとCSSのアニメーション処理にはtransitionとanimationがあるらしい事がわかる。どちらで実装するのが良いかはちょっとわからなかった。そこでふと思った。ChatGPTに聞いてみようと。以下のCSS class right_sideからzoomにjavascriptで切り替えますその際にcss animationで50%から100%に1秒で変化させたいです css animationを追加してほしい .right_side{ width:50%; float:right; } .zoom{ width:100%; float:right; } するとChatGPTからは以下の返答 ChatGPT .right_side{ width:50%; float:right; transition: width 1s; } .zoom{ width:100%; float:right; } このアニメーションは、.right_

生成AIはアシスタントみたいなもの

7月 01, 2023

自作のスクリプトにイラストを付け加えてみると華やかでわかりやすいと感じたので過去のスクリプトにもイラストを付与してみることにした。「ベトナム語文法変換09」は「〜しないで」なのでお母さんが男の子に「お菓子を食べないで」という感じの絵にする事にした。 Niji journeyに"お母さんが子供に命令している子供はお菓子を食べようとしている --niji 5 --style cute" と命令文を与えるするとだいぶ想定外の絵が出力されたその後、似たような命令文をちょっとずつ変えながら5回出力させてみたが、どれも希望とだいぶ違う絵が出力されていた。 6回失敗したらさすがに命令文を変えなければならないなと思い変更「お菓子」は抽象的すぎて結果にバラ付きが出ると思い「クッキー」と具体的な名称に変更、さらに食べようとしているも抽象的な感じなので「手を伸ばしている」に変更命令文"男の子はクッキーに手を伸ばしているお母さんは食べないでと言っている" お、だいぶイメージに近づいてきたやはり具体的な命令が良いようだ手を伸ばすで子供の描画が良くなってきた。お母さんが微妙だったり居なかったりしているのでお母さんの部分をもっと具体的にしよう。命令文"男の子クッキーに手を伸ばしているお母さん後ろに立って話しかけている" お、右上が狙ったイメージにかなり近い！　これで良いんじゃないかと思ったけど、男の子の指が4本だった右上をベースにバリエーションを作成してみる・・・どれも指が6本だったり4本だったり不自然この後4回繰り返したのだけど、どれも駄目だったどうもNiji journeyもMidjourneyも指が苦手らしい。正解に近づいているのに指がどうにも不自然であるこれだけ繰り返して駄目だとこれ以上繰り返しても駄目だろう。と、言うことで私は生成を諦めた。まぁ、私は絵を描けないわけではないので、自分の手で描き変えてしまう方向に方針転換した。 iPad proでMedibang Paintを起動し、まともそうだけど子供の左手が4本指の画像を読み込ませる上位レイヤーを追加してApplePencilでちゃちゃっと指の位置をずらし指を5本に書き換えた。するとこの様に子供の指は5本になりイラストとして掲載可

画像生成AIを試す Midjourney Niji journey DALL-E

6月 24, 2023

最近は生成AIの話題が絶えない。以前からChatGPTやGoogle Bardをちょこちょこ試してはいたが本格的に実用する段階には至っていなかった。しかしそろそろ実用出来るレベルになっておいたほうが良いだろうと思い、色々と調査しつつ検証を進めることとした。 ChatGPTはプラグインによる強化が可能となったのでこれを機にプラグインを利用できるChatGPT-4(plus)を契約して試してみることにした。そこで見つけたプラグイン、Photorealisticを使ってみた。これはChatGPTに簡単な日本語の命令をするだけで画像生成AIであるMidjourneyに送る英語の命令文を作ってくれるものであった。たが、ちょっと思ったほど適切な画像は生成されなかった。ほぼ同じタイミングでChatGPTと同じOpneAIの画像生成サービスDALL-Eも試した。 DALL-Eへの命令もChatGPT（プラグイン無し）に依頼してみた「DALL-Eに以下の絵を描かせてほしい　洋風の椅子に座って向かい合う二人の可愛らしい少女　二人の間には丸いテーブル　テーブルの上にはオセロ　部屋は明るく外から光が刺している」結果はこれ "Please generate an image of two adorable young girls sitting on a Western-style chair, facing each other. There should be a round table between them, and on the table, there should be a game of Othello. The room should be bright with sunlight streaming in from the outside." それでDALL-Eが作った画像はこれまぁ、かなり想定外の画像が生成されているその上、とにかくディテールが荒く見るに堪えない。では、どうせなのでその命令文でMidjourneyとNiji journeyにも生成させてみた。 Midjourney ん！　だいぶいい！丸いテーブルも再現されているし絵として観られるレベル次はniji journey おおっ！　アニメ絵に特化したnij

このブログを検索

四海のほとり

投稿

iPad ProをChromebookのサブディスプレイにしてみた

Niji Journey Mid Journeyの進化部分訂正機能 Vary(Region)

LamaCleanerをChromebookのLinux環境にインストールして使ってみた

ベトナム語文法変換11〜15

CSS animationをChatGPTとGoogle Bardに作らせてみる

生成AIはアシスタントみたいなもの

画像生成AIを試す Midjourney Niji journey DALL-E