Harukaのnote

Linuxやプログラミング,写真,旅行等の記録帳

Python

ROG Zephyrus G14 (2022) Radeon GPUでStable Diffussion WEB UIを実行

久しぶりのブログ更新になりました。 今回は自分のノートPCであるROG Zephyrus G14 (2022) GA402にLinuxをデュアルブートして、Stable Diffusion WEB UIの実行が確認できたので残して置きたいと思います。 ROG Zephyrus G14 (2022) はノートでは珍しくRadeon…

Python でフォルダ内の画像ファイルを全て取得

自分の好きな方法.標準ライブラリのpathlibを使う. fmtsリスト内の拡張子を増やすことで他の画像フォーマットも一気に取得できる. from pathlib import Path # IMAGE_DIRは任意のディレクトリ fmts = ['.png', '.PNG', '.jpg', '.jpeg', '.JPG'] files = …

Anaconda で PyTorch を使う Dockerfile

画像処理系の深層学習用. Dockerfile #----使用するcudaのバージョンとubuntuのバージョンを指定------ FROM nvidia/cuda:11.2.0-devel-ubuntu18.04 #----------------------------------------------------- WORKDIR /root # インタラクティブをオフ(イメ…

Fantiaのダウンローダー (投稿をオリジナル画質で一括ダウンロード) を作成しました

はじめに 友人より,「Fantiaの画像をオリジナルサイズで保存したいけど面倒」と相談があったため,今回Fantia ダウンローダーを作ってみました. Fantiaとは ファンティア[Fantia]は、イラストレーター・漫画家・コスプレイヤー・ゲーム製作者・VTuberなど…

Python の GUI ~ EEL と Kivy ~

最近 Python GUI として Kivy ばっかり使ってたんだけど、どうも細かなことが設定しづらくてやめてしまいました。知人の Excel を苦手とするために機能を制限した表計算と結果のPDF化ソフトを作っていたのですが… ひさしぶりに自分の GitHub を見返すと、今…

AttnGANを動かすメモ

最近というか以前からText2Imageに興味があったので、留学や学会が一段落した今AttnGANを試して見ようと思いました。だいたいは以下のGitHubの手順に従うと大丈夫です。 github.com しかし、いくつか実行にあたり、修正した点があったので記載しておこうと思…

Wikipedia等のプレーンテキストの句点分割(括弧「」内の句点)

忘れるのでメモ 方法 以下の方法で,括弧(「」,『』)内の句点をタグに置き換えます. import re # 正規表現ライブラリ def clean(org_text): text = org_text[:] # 鍵括弧内句点置き換え regex_list = [r'「.*?」', r'『.*?』'] for regex in regex_list:…

TornadoからJavaScriptへJSONデータの受け渡し

PythonのWEBサーバーライブラリにTornadoを使っています.サーバーサイドのTornadoからフロントのHTMLに記載されたJSスクリプトにデータを渡したいとき,以下のようにすればパスできます. 方法 Python側 json形式に変換し,渡します. import json class Ma…

Gensim の KeyedVectors でエラー (is this really the text format?)

自分で Word2Vec のような各単語に対し,そのベクトルを表記したモデルを作成したとき,KeyedVectors を使います.model.txt 等には以下の用に書き出します. [単語数] [次元数] word1 -0.101747 -0.011735 word2 -0.017135 0.051458 ︙これを KeyedVectors …

Word2Vec で全ての単語とベクトルを処理

よく忘れるので. for word in model.wv.vocab: print(word, model[word])

Janome を Pyinstaller で exe 化するときのエラー

少し前に起きたエラーで,解決してからだいぶ経ったので,忘れかけていますが,これ以上忘れる前に記載します.先輩が直面したエラーで,解決策が見つからず困っていました. エラー内容 exe 化したあとの Janome を使ったプログラムが「No attribute... 'di…

BoWをgensimのLSIで次元圧縮する際のエラー

はじめに 今回は本当にメモ程度に残します。 対策も英語のサイトばかりでしたので。下記のようなコードで準備したデータをscikit-learnのsvm.SVCでfitすると、データのサイズが違うよ、とエラーが出ました。 # 分かち書きされたテキストのリスト list_wakati…

Python3 gensimでUnicodeDecodeError

久しぶりにgensimのword2vecを使いたいなと思ってやってたら、model作成の際にエラーが出て悩んだ。下記のようなエラーである。 UnicodeDecodeError: 'utf-8' codec can't decode...結論から言うと、学習用txtファイルがおかしくなっていたみたい。iconvコマ…

TornadoでHTMLタグを出力する方法

Tornadoでは、 <body> {{"<h1>Hello World!!</h1>"}} </body> で出力できるのは有名ですが、この時htmlタグもそのまま表示されます。 つまり、<h1>Hello World!!</h1>みたいになります。 これを解決する方法をあまり日本語記事で見つけられず、試行錯誤していました。しかし、…

Linux(OpenSUSE)にPyenvをインストールする

Pythonを使う際は必ず導入するPyenvですが、導入方法と依存ソフトに関してまとめて記載しているサイトがあまり無かったため、残しておきます。

Gensimを使ったWord2vec

現在研究にてword2vecを用いた単語の類似度の取得をしています。Gensimを用いた方法が割と手軽で、速度もまずまずであったため、残しておきます。

TornadoのHTML内でHTMLを読み込む

Tornadoで共通のheaderやfooterを読み込みたいとき TornadoはまだRailsやPHPほど日本語の記事がなく、やり方がわからず困っていました。 jQueryなどでhtmlファイルからhtmlファイルを呼び出せないかあがいていましたが、Tornado側から非常に簡単に呼び出すこ…

herokuにアップしたTornadoでPostgreSQLを使う

herokuでPostgreSQLを使うのが意外と面倒だったので、残しておきます。