技術ログ on

Whooshを利用したPDF全文検索システムの構築

Sun, 30 Mar 2025 07:24:26 +0000

PythonでPDF全文検索システムを作ろう（Whoosh + Flask）

プロジェクト概要

このプロジェクトは、PDFファイルの全文検索システムをPythonで構築するものです。主な特徴は：

Whooshを用いた高速な全文検索
MeCabによる日本語形態素解析
Flaskを使ったWebインターフェース
マルチスレッド処理による効率的なインデックス作成
分散処理が可能なアーキテクチャ: インデックス作成（高負荷処理）と検索処理を別マシンで実行可能

コードはこちら

システムアーキテクチャ図

PDFファイル
↓ (PyMuPDFでテキスト抽出)
テキストデータ
↓ (MeCabで形態素解析)
トークン化されたテキスト
↓ (Whooshでインデックス作成)
検索インデックス
↓ (indexディレクトリに保存)
Flaskサーバー
↓ (Webインターフェース)
ユーザー検索

各コンポーネントの役割:

PyMuPDF: PDFからテキストを抽出
MeCab: 日本語テキストを分かち書き
Whoosh: 全文検索用インデックスを作成
Flask: 検索用Webインターフェースを提供

必要なライブラリ

`1`	`pip install whoosh pymupdf mecab-python3 flask`

主要コンポーネント解説

1. PDFIndexerクラス (`index_creator.py`)

PDF処理の中核を担うクラスです：

class PDFIndexer:
    def __init__(self):
        # MeCabの初期化
        self.mecab = MeCab.Tagger("-Owakati -r /etc/mecabrc")

extract_text(): PDFからテキストを抽出（PyMuPDF使用）
tokenize(): 日本語テキストの分かち書き（MeCab使用）
process_pdf(): 1つのPDFを処理し検索用データを生成

2. インデックス作成 (`index_creator.py`)

Whooshのスキーマ定義とインデックス作成：

schema = Schema(
    title=TEXT(stored=True),       # ドキュメントタイトル
    content=TEXT,                  # 検索用（トークン化済み）
    raw_content=TEXT(stored=True), # 表示用（生テキスト）
    path=ID(stored=True),          # PDFファイルパス
    page_num=ID(stored=True)       # ページ番号
)

3. Webインターフェース (`index_gui.py`)

Flaskで構築された検索画面：

@app.route('/', methods=['GET'])
def search():
    query = request.args.get('q', '').strip()
    # Whoosh検索処理

主な機能：

HTMLテンプレートによるレスポンシブなUI
検索結果のハイライト表示
元PDF表示と検索結果PDF生成機能

使い方ガイド

インデックス作成:

`1`	`python index_creator.py`

Webサーバー起動:

`1`	`python index_gui.py`

ブラウザでアクセス:

`1`	`http://localhost:5001`

学習ポイント

分散処理の利点:
- インデックス作成（CPU/メモリ負荷が高い）は高性能マシンで実行
- 作成済みインデックスは低性能マシンでも検索可能
- インデックスディレクトリを共有/コピーするだけで環境構築可能
Whooshの基本概念:
- Schema: インデックスの構造定義
- IndexWriter: ドキュメント追加用インターフェース
- Searcher: 検索実行用インターフェース
日本語処理の工夫:

1
2
3

# MeCabで分かち書き
tokens = mecab.parse("こんにちは世界").strip()
# → "こんにちは 世界"

パフォーマンス最適化:

1
2
3

# マルチスレッド処理
with concurrent.futures.ThreadPoolExecutor() as executor:
    futures = {executor.submit(process_pdf, pdf): pdf for pdf in pdf_files}

応用例

社内文書管理システム
研究論文検索ツール
電子書籍ライブラリ
マニュアル検索システム

まとめ

このプロジェクトでは、以下のPython技術を活用しています：

Whoosh: 軽量な全文検索エンジン
MeCab: 日本語形態素解析
PyMuPDF: PDFテキスト抽出
Flask: Webインターフェース構築

初心者の方は、各コンポーネントを小さく分割して理解すると良いでしょう。また、全文検索システムを探している方には、Whooshの軽量さとPythonとの親和性の高さが大きなメリットです。

YomiTokuを利用してPDFを検索可能にする

Mon, 03 Mar 2025 07:00:12 +0000

始めに

YomiTokuPDFSearchableを作成しました。

import json
import sys
import cv2
import os
from yomitoku import OCR
from yomitoku.data.functions import load_pdf
from reportlab.pdfgen import canvas
from PIL import Image
from reportlab.pdfbase import pdfmetrics
from reportlab.pdfbase.ttfonts import TTFont

# 日本語対応フォント（IPAexMincho）の登録（ipaexm.ttfが必要）
pdfmetrics.registerFont(TTFont('IPAexMincho', 'ipaexm.ttf'))

def json_to_hocr(json_data, page_num):
    hocr = [
        '<!DOCTYPE html>', '<html>', '<head>', '<meta charset="UTF-8">',
        f'<title>hOCR output - Page {page_num}</title>', '</head>', '<body>',
        f'<div class="ocr_page" id="page_{page_num}">'
    ]
    for i, word in enumerate(json_data['words']):
        content = word['content']
        points = word['points']
        bbox = f"bbox {points[0][0]} {points[0][1]} {points[2][0]} {points[2][1]}"
        hocr.append(
            f'<span class="ocrx_word" id="word_{i+1}" title="{bbox}; x_wconf {int(word["rec_score"] * 100)}">{content}</span>'
        )
    hocr.append('</div>')
    hocr.append('</body>')
    hocr.append('</html>')
    return '\n'.join(hocr)

def draw_invisible_text(c, text, x, y, font_size):
    """
    PDF上に検索可能なテキストを描画します。
    ここでは、テキストを完全に透明（または背景色と同じ色）に設定することで、見た目には表示されないがPDF内に文字情報として残ります。
    """
    c.saveState()
    c.setFont("IPAexMincho", font_size)
    try:
        # 透明度を0に設定（ReportLabのバージョンによっては未対応の場合があります）
        c.setFillAlpha(0)
    except AttributeError:
        # 透明度がサポートされない場合、背景が白前提で白色に設定
        c.setFillColorRGB(1, 1, 1)
    c.drawString(x, y, text)
    c.restoreState()

def pdf_to_searchable(pdf_path, output_pdf):
    ocr = OCR(visualize=False, device="cpu")
    imgs = load_pdf(pdf_path)
    
    # OCR結果や画像を一時ファイルとして保存
    temp_img_files = []
    json_files = []
    hocr_files = []
    for i, img in enumerate(imgs):
        results, _ = ocr(img)
        json_path = f"output_{i}.json"
        results.to_json(json_path)
        json_files.append(json_path)
        
        # 画像を一時保存
        img_path = f"output_page_{i}.jpg"
        cv2.imwrite(img_path, img)
        temp_img_files.append(img_path)
        
        # 任意でhOCRも出力（ログ用）
        with open(json_path, "r", encoding="utf-8") as f:
            json_data = json.load(f)
        hocr_output = json_to_hocr(json_data, i + 1)
        hocr_path = f"output_{i}.hocr"
        with open(hocr_path, "w", encoding="utf-8") as f:
            f.write(hocr_output)
        hocr_files.append(hocr_path)
    
    # ReportLabで新たなPDFを生成
    c = canvas.Canvas(output_pdf)
    
    for i, img_path in enumerate(temp_img_files):
        pil_img = Image.open(img_path)
        width, height = pil_img.size
        c.setPageSize((width, height))
        
        # ページ背景に画像を描画
        c.drawImage(img_path, 0, 0, width=width, height=height)
        
        # 対応するOCR結果のJSONを読み込み、非表示テキストレイヤーを追加
        json_path = json_files[i]
        with open(json_path, "r", encoding="utf-8") as f:
            json_data = json.load(f)
        
        for word in json_data['words']:
            content = word['content']
            points = word['points']
            # OCRの座標は画像の左上原点。ReportLabは左下原点なので変換が必要です。
            x1, y1 = points[0]
            x2, y2 = points[2]
            pdf_x = x1
            pdf_y = height - y2  # 下部へ変換
            font_size = y2 - y1 if (y2 - y1) > 0 else 10
            draw_invisible_text(c, content, pdf_x, pdf_y, font_size)
        
        c.showPage()
    
    c.save()
    
    # 一時ファイルの削除
    for file in temp_img_files + json_files + hocr_files:
        os.remove(file)
    
    print(f"Searchable PDF created: {output_pdf}")

if __name__ == "__main__":
    if len(sys.argv) != 3:
        print("Usage: python script.py input.pdf output.pdf")
        sys.exit(1)

    input_pdf = sys.argv[1]
    output_pdf = sys.argv[2]

    try:
        pdf_to_searchable(input_pdf, output_pdf)
    except Exception as e:
        print(f"Error: {e}")

機能

PDFのOCR処理

yomitokuライブラリを使用してPDFを画像に変換し、OCR処理を行います。OCRの結果（テキスト、座標、信頼度）をJSON形式で保存します。特に今回、YomiTokuを利用することで縦書き文字にも対応しています。

検索可能なPDFの生成

reportlabライブラリを使用して、元のPDF画像の背景に透明なテキストレイヤーを追加します。これにより、PDFビューアでテキスト検索が可能になります。

hOCRの生成（オプション）

OCRの結果をhOCR形式（HTMLに埋め込まれたOCR情報）で保存し、ログやデバッグに使用できます。

一時ファイルの管理

OCR処理中に生成される一時ファイル（画像、JSON）を処理後に削除します。

日本語フォントのサポート

IPAexMinchoフォントを使用して、日本語テキストを正しく表示します。

使い方

`1`	`python script.py input.pdf output.pdf`

主に自炊したPDFの処理に活用するものと考えています。

その他

GPUを活用して処理すると高速ですが、CPUでも現実的な速度で処理できるかと思います。

iPadでvscodeを使おう

Wed, 04 Sep 2024 06:51:27 +0000

今回すること

VScodeをiPadで利用する。

今からすること

今回はVScodeをセルフホストして利用する。

なぜセルフホストか

今回なぜセルフホストをすることにしたかというと、ブラウザでVScodeを利用できるVScode.devを利用しようとした際に、リモートでしか利用できなかったり、そもそも拡張機能がうまく動作しなかったりしたので、今回はセルフホストすることにした。

やり方

今回はこちらのcode-serverを利用させてもらうことにした。

理由は色々あるが、一番はdockerで起動できる点がお手軽で良かったので採用した。

以下は筆者が利用したdocker-compose.yaml

---
services:
  code-server:
    image: lscr.io/linuxserver/code-server:latest
    container_name: code-server
    environment:
      - PUID=1000
      - PGID=1000
      - TZ=Etc/UTC
      - PASSWORD= #optional
      - HASHED_PASSWORD= #optional
      - SUDO_PASSWORD=password #optional
      - SUDO_PASSWORD_HASH= #optional
      - PROXY_DOMAIN=code- #optional
      - DEFAULT_WORKSPACE=/config/workspace #optional
    volumes:
      - /path/to/code-server/config:/config
    ports:
      - 8443:8443
    restart: unless-stopped

大きく変えた点はないが、ローカルで利用する予定なのでパスワードは外しておいた。

あとはdocker compose up -dでいい

Markdownがうまく表示されない

筆者はいつものVPSにこのVScodeを立て、tailscale上からアクセスして利用しようとした。

がうまくMarkdownなどが表示されない。

原因はhttpで接続しているかららしく、Httpsにする必要があった。

筆者はこれをTailscale serveを利用して解決した。

`1`	`tailscale serve 8443`

とするだけでtailscaleネットワークからのみnode-name.tailnet-name.ts.netという形でアクセスでき、これがhttps接続になっている。

終わりに

インストールしたVPSのメモリが512mbしかなく、さすがに厳しいかと考えていたが、意外と快適だった。

今の所全く不具合なく動作しており、拡張機能も問題なさそう。

広告ブロックをブロックする

Sat, 31 Aug 2024 02:38:44 +0000

今回すること

広告ブロックによる広告収入減少をなんとかする

紹介するもの

現在私のサイトでも動作しているAntiadblock

実際に使うとこんな感じ

シンプルながら、かなり効力が高そう。

使い方

Antiadblockにアクセス、ドイツ語だがGoogle翻訳しながら利用するといいと思う。

うちの設定はだいたいこんな感じ

Javascriptを停止していると弊ブログでは一部機能が動作しないので、ついでに確認してもらうことにした。

上記の内容で新しいウィンドウでのコードをを押すと、上部のHTMLが書き換わる。

これをhead部分に設置してあげると動作する。

javascriptを検知する際にはbody間にnoscriptを設置する必要がある。

1
2
3

<noscript>
    <span>JavaScriptが無効である場合のみ表示されます</span>
</noscript>

例としては上記のような内容をbody間に設置しておくと検知してくれる

今回は弊サイトが静的サイトであるためHTML版を利用しているが、PHP版を利用したほうが広告ブロックをきちんと検知できるそう。

アンチ広告ブロックによる悪影響はないのか？

1
2
3

スクリプトでは、JavaScript が有効になっていないため、検索エンジン クローラーも除外されませんか?

いいえ。検索エンジン クローラーは、ブラウザーとは異なり HTML を実行せず、単にページのソース コードを読み取ります。次に、ソース テキストが特定のコンポーネント (テキスト、画像、リンクなど) に対してフィルタリングされます。これは、JavaScript、CSS、その他何も実行されないことを意味します。 Google は Web サイトのスクリーンショットを取得できるため、ソースコードを実行できるようになりました。ただし、Google は広告ブロッカーを使用していないため、メッセージは表示されません。ということでGoogleは良いですね ;)

とのことなので、アンチ広告ブロックをしたとてGoogle的には問題ないそう

まとめ

弊サイトではできるだけ広告で内容がわかりにくくなることがないように心がけておりますので、広告ブロックの解除をお願いいたします。

S3driveでクラウドの誤BANを防ぐ

Sun, 18 Aug 2024 10:45:05 +0000

以前にも紹介したが、クラウドの誤BANが問題となっている。

今回はスマホでも暗号化でき、かつ無料で使えるs3driveというアプリを紹介していく。

S3drive

今回はこちらのS3driveを紹介していく。

料金は払ってもいいが、今回は cloudflare R2をバックエンドに利用するため、無料で利用する。有料版だとGoogle cloudなども利用できるようだ。

使い方

今回はPC版で説明していくが、スマホ版でも大きな差はないので同様にやってほしい。

まずは下のUsing external account?から先へ進む。

Cloudflareのダッシュボードに行き、R2→Overview→Account detailsからManage R2 API Token→Create API tokenとしてToken nameをわかりやすい名前にして、PermissionsをAdmin Read & Writeにする。

Create API tokenで次の画面に表示されたAccess Key ID、access keyそしてUse jurisdiction-specific endpoints for S3 clients:以下に表示されているhttps://〜〜.r2.cloudflarestorage.comをS3 endpointに設定する。

Bucket nameは今回S3driveによって使われるBucketなので新たに作成すると良いと思う。

完成品

ここまで来るとファイルのアップロード等ができるようになると思う。

ここからは暗号化の手順について解説する。

三線→Profile settings→E2E encryptionとして、これをOn、頑丈なパスワードを設定するだけ、他の端末でもS3driveを利用する際には同じ手順で同様のパスワードを設定すると良い。

スマホの場合、特にバックアップの需要が高いと考えられる写真だが、これも三線→Media backupからAlbumを設定し、三線→Profile settings→BACKUP→Backup pathからバックアップ先を指定した後にStart backupとすれば、自動でバックアップしてくれる。ちなみに、無料版だとバックグラウンド非対応なので待つ必要がある。

終わりに

安全なクラウドを模索してきたが、結論にたどり着いた。

新たなる匿名VPN、Mega VPN

Fri, 16 Aug 2024 07:22:45 +0000

最近新しいVPN、Mega VPNがリリースされた。

https://mega.io/ja/vpn

あの色々いわれているクラウドストレージのMegaのVPNである。

そもそもMegaとは

セキュリティとプライバシー

MEGAの最大の特徴は、ゼロ知識暗号化を採用していることです。これにより:
ユーザーのデータは端末とクラウド間で暗号化されて送受信されます
MEGAの運営元を含め、ユーザー以外は暗号化されたデータにアクセスできません

これによりありとあらゆる違法アップロードの温床となっており、前のサービスは裁判沙汰にもなったりした。

で、何故現在のMegaというクラウドサービスは大丈夫かというと、顧客から得たデータは全て暗号化されており、会社側から全く確認できないので、BANできない。という論法で今の今まで生き延びている。

そんな企業からVPNが出た。

Mega VPN

￥162JPY/月　ストレージ契約者は無料

サーバー
🇺🇸 米国 （東部）
🇺🇸 米国（西部）
🇨🇦 カナダ（東部）
🇨🇦 カナダ（西部）
🇳🇱 オランダ
🇫🇷 フランス
🇧🇪 ベルギー
🇱🇺 ルクセンブルク
🇩🇪 ドイツ
🇪🇸 スペイン
🇯🇵 日本
🇳🇿 ニュージーランド

さて、弊ブログ恒例のプライバシーポリシーチェックといこう

Privacy, takedown, and enforcement

7. MEGA’s Privacy and Data Policy (the Policy) applies to your use of MEGA VPN. MEGA will not collect information or data about your browsing history, DNS queries or the time you spend on pages.
8. MEGA will collect and retain the following information concerning your use of the MEGA VPN:
8.1. IP addresses (both originating IP addresses and assigned VPN server IP addresses) and port information;
8.2. Times and dates of connection and access;
8.3. Bandwidth usage;
8.4. Other usage metadata; and
8.5. Account Data as described in clause 8.3 of the Policy (with the exception of information about your browser type which MEGA will not collect).
9. The information described in clause 8 above:
9.1. is collected, stored and processed by MEGA:
9.1.1. so that we can provide, manage, maintain and improve MEGA VPN;
9.1.2. to prevent service abuse;
9.1.3. to ensure our compliance with international regulatory requirements; and
9.1.4 to enforce these Terms (including as to bandwidth and device limits);
9.2. Will be treated in the same manner as Account Data is treated under our Policy.
10. MEGA’s Takedown Guidance Policy applies to your use of MEGA VPN. If MEGA becomes aware of any breach by you of these Additional VPN Terms or MEGA’s General Terms of Service, we reserve the right to suspend or terminate your entire MEGA account and take any further steps provided for in MEGA’s Takedown Guidance Policy, Privacy and Data Policy and/or General Terms of Service.

MEGAのプライバシーおよびデータポリシー（ポリシー）は、MEGA VPNの使用に適用されます。MEGAは、ブラウジング履歴やDNSクエリ、ページ上での時間に関する情報を収集しませんが、以下の情報を収集・保持します：

- 発信元IPアドレスと割り当てられたVPNサーバーのIPアドレスおよびポート情報
- 接続およびアクセスの日時
- 帯域幅の使用量
- その他の使用メタデータ
- アカウントデータ（ブラウザの種類に関する情報を除く）

これらの情報は、以下の目的で収集・保存・処理されます：

- MEGA VPNの提供、管理、維持、改善
- サービスの不正使用の防止
- 国際的な規制要件の遵守
- 利用規約の実施（帯域幅やデバイス制限を含む）

MEGAは、これらのデータをアカウントデータと同様に取り扱います。

MEGAの削除ガイダンスポリシーもMEGA VPNの使用に適用されます。MEGAが追加のVPN利用規約や一般サービス利用規約の違反を知った場合、MEGAアカウントを一時停止または終了させる権利を保留し、必要に応じてタケダウンガイダンスポリシー、プライバシーおよびデータポリシー、または一般サービス利用規約に基づく追加措置を講じることがあります。

まあ大丈夫そうなことが書いてある。

使い勝手

Windows,Macos,Android,iOSで利用できるが、それぞれ独自クライアントが必要なのがちょっとネックか。

速度自体は十分出ているようだ。

そしてとにかく安い、166円でいいらしい。

終わりに

とにかく安く、の割に最低限の信頼性もあるので、意外と需要はあるのではないだろうか

OrangePizero3を録画鯖にする

Thu, 15 Aug 2024 04:47:14 +0000

最近、うちの録画鯖の調子が悪かった。

せっかくなのでリプレースする。

最近だと中華ミニPCあたりが使い勝手がよさそうだが、今回はとにかくケチることと面白さを重視してOrangePiZero3を利用する。

今回買ったもの

OrangepiはAliexpressで買うのがお手軽なので↓の1Gbモデルを購入

https://ja.aliexpress.com/item/1005005815786367.html?spm=a2g0o.order_list.order_list_main.5.76a3585aRn1bYq&gatewayAdapt=glo2jpn

お値段の安め

これに加えて家にあったマイクロSD、USBチューナー、B-casカードリーダー、タイプC充電器を利用しました。

お宅にお持ちでない方はこちらから購入していただけると幸いです。

リンク

↑が紹介されていることが多いですが、↓でも問題なく動作してました。

リンク

ここで一度注意する必要がある点として、OrangePiだけでなくRaspberryPiでも、5V3A出るUSB給電機でないと不安定の原因になるので注意。筆者はここで3日つまずいた。

インストール

組み立ては見れば分かると思うし、買ったモデルによって違うと思うので省略。

公式サイトを見ると色々OSがあるが、どれも結構不安定だった。

今回はあきらめてArmbian OS（コミュニティ版）を利用していく。

SDに焼き、起動させると完璧！OrangePiは給電すると起動する。またArmbian OSは起動時にモニターにつないでなくても起動するため、sshで接続して色々することもできる。

続いてArmbian-configをインストールする。が、なんだかうまくいかないことが多いのでこちらの記事参照

録画鯖にする

ここまで来たらあとは録画鯖にするだけなので、ラズパイと同様にする。 dockerをインストールして

curl -sf https://raw.githubusercontent.com/l3tnun/docker-mirakurun-epgstation/v2/setup.sh | sh -s
cd docker-mirakurun-epgstation

#チャンネル設定
vim mirakurun/conf/channels.yml

#コメントアウトされている restart や user の設定を適宜変更する
vim docker-compose.yml

環境によってはdocker-composeが導入できない場合には、エラーを吐いた時点で、setup.shを編集して、全部docker composeに書き換えてください。

`1`	`docker compose up -d`

終わりに

性能としてはRaspberryPi3と4の間くらいの性能はあります。

ハードウェアエンコードは挑戦しましたが無理でした。おとなしく母艦でエンコードしようと思います。

リアルタイム視聴ですが、ブラウザからでなく、m2tsを読めるアプリケーション(VLC等)であればリアルタイム視聴は問題なく行えます。

OrangePiを利用するメリットですが、RaspberryPiよりも小さく、付属品もついてRaspberryPi3（録画鯖にするにはちょっと厳しい）と同額なので、十分輸入するだけのメリットはあるかと思います。在庫もふんだんにあるようです。

消費電力はこれまでの録画鯖の待機電力が15W程度でしたが、2~3W程度に落ち着き、ファンレス運用が行えています。

Mastodon向けの軽量フロントエンドPhanphy

Sun, 02 Jun 2024 07:51:04 +0000

現在筆者は私用も含めて多くのMastodonアカウントを保有している。

それを一元管理するために今回筆者は自分で軽量のフロントエンドを建てることにした。

Phanphy

プロジェクトのGithub

Phanpyは、Mastodon向けのミニマリストで独自の意見に基づいたウェブクライアント。マルチアカウント対応、ライト/ダークテーマ、自動保存されたドラフトの復元、複数のタイムライン表示モードなどの機能が含まれます。ユーザー体験の向上を目指し、複雑な機能や視覚的なノイズを削減するための設計が施されている。

開発にはNode.js、Vite、Preact、Valtio、React Routerなどの技術を使用。ソースコードはGitHubで公開されており、自分でホスティングすることも可能。

筆者は今回Cloudflare pagesを利用してセルフホストした。

やり方

Githubのリリースから一番新しいところからZIPファイルをダウンロード

続いてCloudflareのDashboardに行く

Worker&Pages→Overview→Create application→Pages→Create using direct upload

Upload assetsからGithubでダウンロードしたZIPファイルをそのまま入れる。

その後Overviewからカスタムドメイン等々を設定できる。

完成品

こちら

Githubを見ていただければと思うがサーバー上ではデータを保存しないので筆者のものも利用していただいて大丈夫である。

終わりに

静的サイトでフロントエンドがホストできるのはすごいと思った。

Activepieceで簡単に自動化させる

Sun, 31 Mar 2024 04:06:49 +0000

GUIで自動化プログラミングをするツールが流行っている。IFTTTやZapierなどが挙げられる。

上記のサービスは無料版もあるものの結構高い

今回はActivepieceという無料で利用できるものを紹介しようと思う。

環境

筆者は普段こちらで紹介したVPSを利用している。

いろいろなものをインストールしているが、今回コレを追加しても問題なかった。

インストール方法

こちらのドキュメントに沿って、dockerでインストールする。

`1`	`docker run -d -p 8080:80 -v ~/.activepieces:/root/.activepieces -e AP_QUEUE_MODE=MEMORY -e AP_DB_TYPE=SQLITE3 -e AP_FRONTEND_URL="http://localhost:8080" activepieces/activepieces:latest`

適宜PortやURLは変更してほしい。

立ち上がったらURLにアクセスし、アカウントを作成する。

起動するとこんな感じ

筆者も色々と試しているが、現在稼働しているものとしては、RSSから得た論文を要約し筆者のPleromaのアカウントに投稿するBotがある。

上記のBotの作成方法を次回紹介しようと思う。

RSSをTootするBotを書いた

Thu, 14 Mar 2024 06:32:50 +0000

RSS更新を通知するBotを書いた。

今回はPleromaで通知するBot。

下をコピペすれば良い

from mastodon import Mastodon
import feedparser
import sys
import os

api = Mastodon(
    api_base_url  = 'https://social.glass-lab.net',
    client_id     = '',
    client_secret = '',
    access_token  = ''
)

RSS_URL = "https://glass-lab.net/index.xml"
PUBDATE_LOG = "last_pubdate.log"
news_dic = feedparser.parse(RSS_URL)
latest_entry = news_dic['entries'][0]
message = 'ブログが更新されました '+ latest_entry.title + ' '+ latest_entry.link
pubDate = latest_entry.published
 
 
# 修正内容2 : 前回ツイートした記事の pubDate を取得
lastPubDate = None
if os.path.exists(PUBDATE_LOG):
    with open(PUBDATE_LOG, "r") as rf:
        lastPubDate = [line.strip() for line in rf.readlines()]

# 修正内3: 同じ記事をツイートしようとした場合、処理終了
if (pubDate == lastPubDate):
    print("前回ツイートした記事です")
    sys.exit()
 
else:
    print("新しい記事が見つかりました。")
    api.toot(status=message)
    with open("last_pubdate.log", "a") as f:
        f.write(pubDate + "\n")

実際にはClient_id、client_secret、Access_tokenを取得し上記に含めておく必要がある。

APIの取得のしかたはこちらの記事で解説している。

ちなみになのだが、Apiの類は平文のままコードに記述するのはあまり良くない。が、大したBotではないので許して欲しい。

これを利用したBotは私のPleromaにホストされている。

ちなみに筆者は上記のコードをcronで5分おきに動作させている。

`1`	`crontab -e`

としてcrontabを編集する

`1`	`/5 * * * python3 bot.py`

とすることで5分おきに動作させることができる

Adobe scanの角度補正機能が自炊界に革命を起こす

Wed, 13 Mar 2024 08:33:48 +0000

Adobe scanというアプリに角度補正がついた

Adobe Scanは、スマートフォンやタブレットを使って、紙の書類や名刺、白板などを簡単にPDF化できる無料アプリです。

スキャンした文書は、Adobe Acrobat Readerや他の PDF ビューアで開いたり、編集したり、共有したりできます。

特に便利な点として

自動スキャン: Adobe Scanは、カメラで文書を捉えると、自動的に境界線を検出してスキャンします。

高精度なOCR: スキャンした文書内のテキストを自動的に認識し、テキスト検索やコピー＆ペーストが可能になります

があげられる。

そんなAdobe scanに追加された角度補正機能が非破壊自炊に革命を起こしそうだ。

追加された機能について

今回追加された機能はAdobe scanの書籍モードで使える

上記の角度補正をオンの状態で使える。

そもそも書籍機能は、本を非破壊でスキャンするために、点線と本の中心を合わせることで、書籍の端を自動認識して取り込んでくれるものだった。

最近のアップデートで、本特有のたわみを補正してくれるようになった。

これまでにもどこかでこのような補正をかけてくれる商品があったなあと思っていたのだがScansnapの非破壊モデルがそうだった。

リンク

かなりのお値段のするものだが、こちらで行われているような補正がかかり、スキャンがより真っすぐに行われるようになった。

非破壊スキャナを探している人は多いと思うが、以下のような比較的安価な非破壊スキャナと同等の補正機能が無料で利用できるのは非常に画期的だ。

また、Adobe scanはOCR機能も充実しており25枚ずつであれば無料でOCRすることができる

筆者はOCRのために25枚ずつスキャンして後で結合している。

終わりに

非常に優秀なスキャナをスマホで代用できる。

自炊グッズにお金をかけずに本を買うことができるし、何より非破壊ならその後に売却しやすい。非常に便利だと思う。

iPhone SE2のバッテリーを交換した。

Thu, 07 Mar 2024 10:06:18 +0000

se2のバッテリーがだいぶへたってきたので交換した。

使用したものは以下

リンク

参考にしたもののリンクを紹介しておく。

これらをよく見て行えば素人でも一応交換できた。

また、↑の商品では修理方法が記載されたものが同封されている。

修理方法は以上で十分に紹介されているので、ここからは反省点を述べていく。

ネジが細かい

わかっていたことだったが、ネジがめちゃめちゃ細かい。

特に、今回利用したキットの中のドライバーは磁力が弱く、ネジをスマホの内部に落として探すのがめちゃめちゃ大変になる事故があった。

また、ケーブルもめちゃめちゃ細くすぐ切れてしまいそうなので雑には扱えない。

バッテリーの両面テープが固い

これが一番のミスだったのだが、上記の動画でも紹介されているようにバッテリーの取り外しを両面テープの巻取りで行うのだが、全部切ってしまった。

ドライヤーである程度やわらかくしてからでもミスをしてしまったので、これは筆者のものが特別硬かったのか、筆者のセンスがなかったのかと思っている。

防水テープが正確に付けられない

これはある程度予測できていたが、最後に防水テープを端につけて防水するが、これが意外と正確につかない。

筆者は防水機能はある程度諦めてしまった。お風呂に持っていかなければ大丈夫だよねということにしている。

終わりに

交換した感想としては、次はやらないと思いました。

ただ、2000円ちょっとでめちゃくちゃバッテリーの持ちがよくなったので、買い換えるにはまだ早い人（特にSE2ユーザー）にはまあまあおすすめできるかなと感じました。

リンク

ちなみに↑のものはバッテリー容量が標準より少し多く、かつ信頼できるIT社製なのでかなりお買い得だと思いました。

仕事の知見をGiteaで管理する。【Github】【Gitea】

Wed, 06 Mar 2024 06:47:50 +0000

これまで仕事の知見をJoplinで管理してきた。

しかし、全体的に画像や文書そのもののサイズが大きくなってしまい管理がめちゃくちゃ大変になってきてしまった。

今回はJoplinで書き溜めたデータをGiteaに移行したので、紹介する。

今回はGithubに上げるには微妙なデータが多いためGiteaをセルフホストすることにしたが、それが面倒な場合や、情報が最悪漏れても大丈夫な場合にはGithubの非公開レポジトリで同じことをするのが良さそうだ。

Giteaインストール

GiteaをDockerでインストールした。

個人利用の場合には以下のようなdocker-compose.ymlファイルを作成すればよい

version: "3"

networks:
  gitea:
    external: false

services:
  server:
    image: gitea/gitea:1.21.7
    container_name: gitea
    environment:
      - USER_UID=1000
      - USER_GID=1000
    restart: always
    networks:
      - gitea
    volumes:
      - ./gitea:/data
      - /etc/timezone:/etc/timezone:ro
      - /etc/localtime:/etc/localtime:ro
    ports:
      - "3000:3000"
      - "222:22"

その後

`1`	`docker compose up -d`

それぞれPort等を調整して欲しい。

サーバーのip:3000にアクセスすると、初期ユーザーの登録やレポジトリの設定を行える。

tailscaleを利用すると利用しやすくなる。

Joplinから移行する

Joplinから移行する方法を紹介する。

`1`	`mkdir joplinexport #新しくフォルダを作成`

Joplin上でファイル→すべてをエクスポート→MD Markdown Frontmatter で先程のフォルダーに出力する

先程設定したレポジトリにpushする。

cd joplinexport
touch README.md
git init
git checkout -b main
git add README.md
git commit -m "first commit"
git remote add origin http://サーバのip:port/ユーザー名/レポジトリ名.git
git push -u origin main

とすると、さきほどJoplinからExportしたファイルをGiteaにUploadできる。

利点

Joplinを入れなくてもブラウザから編集することができ、更に変更点も残るため、知識をアップデートしやすい。

ブラウザから編集できる点も非常に評価が高い。

Tailscaleを用いてGiteaをシェアすれば、職場での知識共有に非常に便利だと感じる。

終わりに

書き換えたことが残るようになったのは非常に便利で良い

XMRIGの手数料設定を0にする

Tue, 05 Mar 2024 06:51:35 +0000

最近仮想通貨がめちゃくちゃ盛り上がっているので、今回はCPUマイニングでおそらく使うであろうXMRIGの手数料を0にする方法を紹介する。

先に断っておくが、きちんと手数料は支払うべきなのでそこのところは気をつけて欲しい。

やり方

Windows以外のコマンド操作できるLinux、Mac等で行う。

1
2

sudo apt-get install git build-essential cmake libuv1-dev libssl-dev libhwloc-dev
git clone https://github.com/xmrig/xmrig

ここまではDocsと変わらない。

`1`	`nano xmrig/src/donate.h`

として40、41行目

1
2

constexpr const int kDefaultDonateLevel = 1;
constexpr const int kMinimumDonateLevel = 1;

をそれぞれ0に書き換える。

その後

1
2
3

mkdir xmrig/build && cd xmrig/build
cmake ..
make -j$(nproc)

とするとxmrig/buildの中にxmrigが生成される。

それぞれのconfigは公式のものに従って生成してもらい、同じファイルに入れて

`1`	`./xmrig # 一応sudoやrootのほうがhuge pageを利用できるので性能が上がる。`

おわりに

筆者はマイニングする際にはUnmineableを利用するといい感じ。

本の自炊用カッターを買ったー（激ウマギャグ）

Wed, 28 Feb 2024 08:20:48 +0000

このサイトではアフェリエイトリンクを利用しています。

これまで本の自炊は普通のカッターを利用していたが、最近手間がかかることもあり、自炊用カッターを買った。

１．買ったカッター

リンク

今回買ったのはこれ。カール事務器の裁断機。カッターを買ったが言いたかったからカッターと行っていたが実際は裁断機。

２．使い方

大体20から30枚ずつになるように本を普通のカッターで裁断する。

その後、背表紙のところをこれでカットする。

３．使用感

非常によい。

力を入れなくとも非常にきれいに切ることができる。

また、消耗品の歯が非常に安い

リンク

普通のカッターと同じくらい安くなっている。

終わりに

１万円近くしたが非常に満足できる商品だった。

Linuxmintの良さを語る

Tue, 27 Feb 2024 08:43:39 +0000

筆者は普段Linux Mintを利用している。

これまで筆者はWindowsを利用してきたが、色々な点がWindowsより優れていると感じたため乗り換えた。

筆者がLinux mintの良さを紹介したいと思う。

１．使いやすさ

デスクトップ環境はCinnamon、MATE、Xfceなどが選択でき、これによりユーザーは好みに合った環境を選ぶことができる。

２．ソフトウェアマネージャー

独自のソフトウェアマネージャーを使用することで、簡単かつ安全にソフトウェアをインストールおよび管理できる。

この画像の一番左のHOMEからソフトウェアマネージャーを利用できる。

このように様々なソフトウェアが管理されています。特にLinux mintで優れている点として、ここからインストールすることで自動で最新版に更新してもらうことができます。

３．低システムリソース

筆者のこれまでの記事を見ていただければわかるかと思いますが、最近AIを自分の環境で利用することが多く、メモリが非常に重要に感じます。

Linux mintのXFCEを利用していますが、起動時の利用メモリは１.５Gb程度でWindowsと比較すると1/3程度となり、より多くのメモリをAIいじりに使うことができます。

終わりに

Windowsでしか使えないものとしてよくゲームが上げられるが、これまでに筆者が紹介したものを利用すればLinuxでも十分にゲームが動作する。

特にWindows使う必要なくね？

Frontmatter CMSでより便利にHUGOを書く

Mon, 26 Feb 2024 09:10:46 +0000

Frontmatter CMSというエディターを利用し始めた

今回はこれを利用する方法を紹介する。

使い方

１．Visual Studio Codeをインストールする

２．すでにHUGOで作成してあるフォルダーのRootをVSCodeで開く。

３．CTRL+Pで以下のようにコマンドを打つ。

ext install eliostruyf.vscode-front-matter
#その他、Markdownを書くのにおすすめな拡張機能を追加する。
ext install DavidAnson.vscode-markdownlint
ext install yzhang.markdown-all-in-one

Welcome pageはこんな感じ

公式Documentからの引用

あとはそれぞれ指示に従うだけで良い。基本的にデフォルトで良い

使用感

非常に良い。特に写真を挿入するときによりシームレスに挿入できるようになった。

テンプレートの設定

筆者もまだ使いこなしきれていないが、テンプレートの設定の仕方を見つけたので共有する。

Front matterで自分のHUGOのサイトが入ったフォルダーを開くと、フォルダーの中に*.frontmatterというフォルダーが作成される。その中にtemplete*という名前のフォルダーを作成し、その中にHUGOで利用していたMarkdown形式のテンプレートを入れてあげるとFrontmatter側で新規記事を作成した際に同じテンプレートが利用できる。

終わりに

Visual Studioでこれほどまでに便利にかけるとは思わなかった。

またVisual Studioは非常に開発が盛んでこれからも多くのアップデートや拡張機能が追加されるだろうから、早めに移行するべきだと感じた。

Real-esrganを利用して動画を高画質化する

Sun, 25 Feb 2024 12:22:36 +0900

筆者は未だに録画鯖を動かしているので、アニメの.mp4動画をいくつか持っているのだが、名作や気に入ったものは高画質化して取っておきたい。

今回はReal-esrganを利用する。

Real-esrgannとは

real-esrgan

Real-ESRGANは、画像を高精細に拡大するAI超解像モデルです。従来の超解像モデルよりも精度の高い画質を実現し、特にアニメやイラスト、古い写真などの画像のアップスケーリングに効果を発揮します。

Real-ESRGANの特徴

高い画質: 従来の超解像モデルよりも精度の高い画質を実現し、ノイズやぼやけを抑えた鮮明な画像を生成できます。
幅広い対応画像: アニメ、イラスト、写真など、さまざまな種類の画像に対応しています。
使いやすいインターフェース: GUIツールが提供されており、専門知識がなくても簡単に操作できます。
豊富なモデル: 画質や処理速度の異なる複数のモデルが用意されており、用途に合わせて選択できます。
Real-ESRGANの用途

アニメやイラストの画質向上
古い写真の修復
低解像度の画像の拡大
ゲームのスクリーンショットの画質向上
印刷物の画質向上

といったもの。これを利用して動画を高画質化する。

使い方

https://github.com/xinntao/Real-ESRGAN/releasesの(現状最新の)ものを利用する

ここの

1
2

✅ We also update the ncnn.
Portable Windows / Linux / MacOS executable files for Intel/AMD/Nvidia GPU.

から自分の環境に合ったものをダウンロードする。

使いやすくするためにGUIをダウンロードし、Real-ESRGANと同じファイルに置いてもよい。

構造としては

こうする。その後、自分が高画質化したい動画を同じファイルに入れる。

これで準備はおわり

使い方

onepiece_demo.mp4という動画を高画質化する。例を上げる。GUIでも同じことをするだけなので今回はコマンドで行う方法を紹介する。

#最初に動画のフレームごとに分割し、全てjpgにする。めちゃくちゃ容量が増えるので注意
mkdir tmp_frames
ffmpeg -i onepiece_demo.mp4 -qscale:v 1 -qmin 1 -qmax 1 -vsync 0 tmp_frames/frame%08d.jpg
#この後高画質化したjpgを入れておくフォルダを作っておく
mkdir out_frames
#今回はrealesr-animevideov3というモデルを利用して高画質化する。めちゃくちゃ時間がかかる。
./realesrgan-ncnn-vulkan -i tmp_frames -o out_frames -n realesr-animevideov3 -s 2 -f jpg
#合体させる。元動画のフレームレートによって23.98のところを変更する。
ffmpeg -r 23.98 -i out_frames/frame%08d.jpg -i onepiece_demo.mp4 -map 0:v:0 -map 1:a:0 -c:a copy -c:v libx264 -pix_fmt yuv420p output_w_audio.mp4

終わりに

めちゃくちゃキレイになるが、めちゃくちゃ重たいし時間がかかる。

本当に大事なアニメだけ高画質化するのが良いと思う。

デカイHDD上で行うのが良いと思う。

NextCloudをセルフホストした

Sat, 24 Feb 2024 20:37:01 +0900

今回はSnap版

やり方

`1`	`snap install nextcloud`

これだけでおわる。

デフォルトのポートを変えたい場合には

`1`	`sudo snap set nextcloud ports.http=8000`

とする。

また大きなファイルを取り扱えるようにするため

snap set nextcloud php.post-max-size=16G
snap set nextcloud php.upload-max-filesize=16G
snap set nextcloud php.max-input-time=3600
snap set nextcloud php.max-execution-time=3600

これで最大サイズを16Gbにできる。

また下２つはアップロード時間等を設定しており60分ほどにしている。

その後、自身で設定したPortに合わせて

http://(ipアドレス):(自分で設定したPort)にアクセスすれば、指示に従うだけである。

筆者のおすすめはtailscaleを利用することで、外部からも簡単に自宅のNextcloudにアクセスできる。

筆者の構成

筆者の構成ではファイルをすべてminIOにまかせている。

sambaは便利であるものの、不安定になりやすいためminIOを利用している。

プラグイン

External storage supportというアプリがあり、これを有効化する。

ここから先はminIOの記事で解説している。

感想

これで本当にほぼ全てのものが解決する。

個人利用のNextcloudならこれで十分に感じた。

AWS GLACIER DEEP ARCHIVEに格安でバックアップを取るようにした話

Fri, 23 Feb 2024 17:17:36 +0900

題の通り

１．やったこと

筆者の趣味の写真と、電子書籍化した本をすべてバックアップしておきたい。

Adobescanや自作のものも含めて、結構な量になってきた。

また写真も結構ある。

これらのデータと財産は家が燃えても守っておきたいのでGLACIER DEEP ARCHIVEに任せることにした。

これまでのバックアップ状況

こんな感じでHDDに保存されていた

これでもまずデータを破損することはなかったが、火事や災害には耐えられない。

石川の地震の映像を見ていて心配になってきたのでAmazonに任せることにした。

やり方

こちらからアカウントを作成。

細かいところはこちらの記事のほうがわかりやすいので省略。

OSは何を利用していてもAWS CLIを利用したほうが良い。GUIから操作した場合通信が途中で中断した際に、どのファイルが破損しているかわかりにくい。

筆者のやり方

いろいろな写真の分類、圧縮方法が紹介されているが、筆者は2022-07のように年月でファイルを作成し、その月が終了したタイミングで圧縮し、GLACIER DEEP ARCHIVEにアップロードする方針にした。

リアルタイムのバックアップはNextCloudを利用している。

細かい圧縮法について

データ量に対して課金されるので、できるだけ圧縮した際に量が減りやすいものが良いと思う。筆者はtar.xzを利用した。（実際のところZipでも良いとは思う、環境に合わせてどうぞ）

LinuxでGUIを用いて圧縮した際にはシングルスレッドで圧縮が行われるため、この記事のようにマルチスレッドを利用しないとめちゃくちゃ時間がかかる。

利用料金

約400GB×0.00099USD＝約0.4ドル

今回、ファイルの操作で利用したリクエスト代も含めて、トータル80円位になった。

終わりに

地震や火事対策ができて、月に100円以下なら非常にコスパが高い

Tar.xzのマルチスレッド圧縮コマンド

Fri, 23 Feb 2024 17:07:38 +0900

hogehogeというフォルダーをhogehoge.tar.xzに圧縮する際にマルチスレッドを利用したい場合

`1`	`tar cvf hogehoge.tar.xz --use-compress-prog="xz -T 0" hogehoge/`

T 0では0~-9で圧縮率を設定できる。-9で最大となる。

公式曰く-7以上は注意したほうが良いらしい。

ちなみにXZの処理ではマルチスレッドが使われるが、tarでは相変わらずシングルスレッドが用いられるので、他に圧縮したいフォルダーが存在するなら同時に行ったほうが効率がよい

Adobe scanとTesseract OCRを組み合わせて自炊する。

Sun, 04 Feb 2024 13:53:07 +0900

非破壊で本を自炊しようとした際に、文字認識（OCR）に結構困る。

今回はOCRにOCRmyDPFとTesseract OCRを用いる。

Tesseract OCR、OCRmyPDFとは

https://github.com/tesseract-ocr/tesseract

Tesseract was originally developed at Hewlett-Packard Laboratories Bristol UK and at Hewlett-Packard Co, Greeley Colorado USA between 1985 and 1994, with some more changes made in 1996 to port to Windows, and some C++izing in 1998. In 2005 Tesseract was open sourced by HP. From 2006 until November 2018 it was developed by Google

Tesseractは元々、1985年から1994年にかけて、イギリスのヒューレット・パッカード研究所（Hewlett-Packard Laboratories Bristol UK）と、アメリカのコロラド州グリーリーのヒューレット・パッカード社（Hewlett-Packard Co, Greeley Colorado USA）で開発された。2005年、TesseractはHPによってオープンソース化された。2006年から2018年11月まではGooglによって開発されていた。

というOCRソフト

これをPDFでより扱いやすいようにしてくれているのがOCRｍｙPDF

https://github.com/ocrmypdf/OCRmyPDF

I searched the web for a free command line tool to OCR PDF files: I found many, but none of them were really satisfying:

Either they produced PDF files with misplaced text under the image (making copy/paste impossible)
Or they did not handle accents and multilingual characters
Or they changed the resolution of the embedded images
Or they generated ridiculously large PDF files
Or they crashed when trying to OCR
Or they did not produce valid PDF files
On top of that none of them produced PDF/A files (format dedicated for long time storage)
...so I decided to develop my own tool.

PDFファイルをOCRするフリーのコマンドラインツールをウェブで探した：たくさん見つけたが、どれも満足できるものではなかった：

画像の下のテキストの位置がずれている（コピー・ペーストが不可能）PDFファイルが生成される。
アクセント記号や多言語文字を扱えない。
埋め込み画像の解像度を変えてしまう
とんでもなく大きなPDFファイルを生成する
OCRしようとするとクラッシュする
有効なPDFファイルを生成しない
その上、PDF/Aファイル（長期保存専用フォーマット）を生成するものもなかった。
そこで、私は独自のツールを開発することにしました。

ということらしい。

細かい使い方は先人の方が素晴らしい資料を残してくださっているので、そちらを参照

https://gihyo.jp/admin/serial/01/ubuntu-recipe/0770

今回はAdobe scanで書類をとってOCRmyPDFで文字認識をする。

Adobe scan

Adobe scanの記事はこちら

この記事ではAdobeのOCRを活用しているが、本を自炊する際にはAdobe scanでは一度に25枚までしかOCRできないことが問題になる。一応課金すれば100枚まではできるようになるが、結構高い。

Adobe scanでは書類を撮る際には無料版でも100枚まで取れるので、これを利用する。

やり方

１．書籍モードで100ページごとに撮る２.Adobe cloudに上がるので、PCでログインし、必要なファイルをダウンロード３．OCrmyPDF でOCRをかける。４．PDFを結合させて完成！

終わりに

Adobeで２５枚ずつOCRさせてもいいのだが、最近AdobeのOCRが遅いので、１００枚まとめて自分のPCで処理させたほうが便利だったりする。

Unmineableでマイニングするリファあり

Thu, 01 Feb 2024 15:22:18 +0900

現在また少しずつ仮想通貨が盛り上がってきている

昔マイニングをされていた方はNicehashをご存知だと思うが、現在はそれだと電気代を下回る金額しかマイニングできない。

Unmineableでマイニングする

今回はUnmineableというサービスを利用する。

Unmineableとは、より稼げる通貨をマイニングし、ほしいコインへと変換してくれるサービス。

今回は簡単な方法を紹介する。

準備するもの

Bitcoinのアドレス

マイニング用のPC、ASIC、GPU等

マイニングする方法

まずはUnmineableにアクセスする。

以下からアクセスすると手数料が少し安くなる。

https://unmineable.com/?ref=pqmi-as6j

今回はBitcoinのページに移動する。自分のほしいコインのウォレットを準備していれば他のコインでも構わない

今回はGet started with our wizardでお手軽に設定する。

今回はお手軽にBasicで行う

自分の持っているPCに合ったほうを設定。GPUがあるならGPUを利用したほうが収益性が高い。

Select your mining algorithmと

この中からアルゴリズムを選ぶように言われるが、一番いい収益が上げられるものを採掘したほうが良い。今回はhttps://www.hashrate.no/をみて選ぼうと思う。

GPUのページではそれぞれのGPUがどれだけ収益を上げられるかがランキング形式で紹介されている。

今回はPyrinhashを選ぶ

今回はBitcoinのアドレスを用意しているのでBitcoinを設定

上のようにWallet addressを入力し（ちなみにこれはウクライナの寄付用アドレス、もしマイニングで寄付されたい方はこちら　357a3So9CbsNfBBgFYACGvxxS6tMaDoa1P ）

Use a referral codeでpqmi-as6jを入力（最初のURLを踏んでいると自動で入力される）

これでこのPoolでの手数料の1%が0.75%へと安くなる。

それぞれの環境に合わせてMinerをダウンロードする

今回はWindowsでlolminerを利用する。

Download miner filesからlolminerをダウンロードする。一部のブラウザではブロックされる可能性があるが、それを許可する。

今回はlolMiner_v1.82a_Win64.zipをダウンロードし、これを解凍

解凍したフォルダーの中にDownload .bat fileからダウンロードしたファイルを入れる。その後そのBatファイルをダブルクリックするとマイニングできる。

終わりに

仮想通貨のWalletの作り方はまた別の記事で紹介させてもらいます。

SearXNGを立ててみました！使ってください！

Mon, 29 Jan 2024 15:55:23 +0900

先日紹介させていただいたSearXNGですが、筆者が独り占めしているのはもったいないと感じたので、公開しました！

URLは以下

https://searxng.glass-lab.net/

お試しでいくつか検索してみてください。便利さがわかると思います。

気に入られたら検索エンジンを変更する方法を紹介していますので、こちらを参考に設定してみてください

今回はSearXNGをより簡単に、より使いやすくする設定を紹介していきます。

まずはじめに

この設定は筆者のサーバーには保存されていません。（なので貧弱な筆者のサーバーでも動作しているのですが）

今から紹介する設定はすべてCookieに保存されているため、Cookieを覗かれない限り、設定を知ることはできません（一部Cookieを無効化している場合には利用できない可能性があります）

早速ですが、筆者お気に入りの設定を紹介

めちゃくちゃ長くなるのでこちらを踏んでいただけると、すべての設定が私と同じになります。

細かな設定意図

デフォルトから少々変更していますが、特に重要なこととして、デフォルトに登録されているqwantを必ず外したほうが良いです。

qwantを外しておかないと、謎の日本語の混ざったページが大量に湧き、検索の邪魔になります。

ほか、用途に合わせてGoogleだけ、Bingだけにしてもらう使い方もできるため、SearXNGを使わない理由は特にありません(断言)

設定を変更したら必ずページ最後の保存を忘れずに行うようにしましょう

終わりに

筆者はSearXNGを使い始めてから、すべてのデバイスの検索エンジンをSearXNGにかえた。

若干遅いものの非常に安定しており、さらにプライバシーも守られ、欲しい情報を見つけやすくなった。ぜひ一度は試してみてほしい

tailscaleのインストール法とその活用法まとめ

Sun, 28 Jan 2024 14:14:17 +0900

このブログでも度々紹介しているtailscaleのインストール方法を紹介。

Linux

`1`	`curl -fsSL https://tailscale.com/install.sh \| sh`

これだけでインストールが終わる。

`1`	`sudo tailscale up`

とすると、https://login.tailscale.com/a~というURLが表示されるのでこれにアクセスし、好きなアカウントでログインする。他のtailscaleをインストールしている端末と同じアカウントでログインすること。

Windows他スマホ

以下のURLから合ったものをダウンロード

`1`	`https://tailscale.com/download`

同じように途中で認証を求められるので、いずれかのアカウントでログインし認証。他の相互に通信したい端末と同じアカウントでログインすること。

活用方法

tailscale funnel

tailscale + Mitmproxy

tailscaleと広告ブロック

tailscaleとMullvad VPN

tailscaleとセルフホスト

終わりに

セキュリティを強化した状態で自宅サーバーを外部からアクセスできるようにするソリューションとしては現状最強だと思う

最強の検索エンジンsearXNGをローカルに建てる

Sun, 28 Jan 2024 13:54:35 +0900

SearXNGとは

"SearXNG"とは、SearXのフォークで、SearXはオープンソースのメタ検索エンジンであり、複数の検索エンジンからの結果をまとめて表示することができます。SearXNGは、SearXの改良や追加の機能が組み込まれたバージョンのことを指すことがあります。

というもので、いわゆるメタ検索エンジンというもの。

実際に使ってみるととどのような形になるかというと

このような形で複数の検索エンジンの結果を同時に表示することができる。

インストール方法

今回はdockerを利用する

dockerのインストール法はこちら

インストール後

$ mkdir my-instance
$ cd my-instance
$ export PORT=8080
$ docker pull searxng/searxng
$ docker run --rm \
             -d -p ${PORT}:8080 \
             -v "${PWD}/searxng:/etc/searxng" \
             -e "BASE_URL=http://localhost:$PORT/" \
             -e "INSTANCE_NAME=my-instance" \
             searxng/searxng

my-instanceは好きな名前に、localhostはtailscaleのIpに変更するといい感じになる。

これでインストールが終わった。

試しに使ってみたい

そんな方はこちら

2024年度最新版毎回忘れるDockerのインストール法

Sun, 28 Jan 2024 13:50:00 +0900

毎回dockerのインストール方を忘れるのでここにまとめておく

DockerをUbuntuにインストールする手順は以下の通りです。以下の手順は、Ubuntu 18.04またはそれ以降のバージョンに対応しています。

1. システムをアップデートします。

1
2

sudo apt update
sudo apt upgrade

2. Dockerの依存パッケージをインストールします。

`1`	`sudo apt install apt-transport-https ca-certificates curl software-properties-common`

3. Dockerの公式GPGキーを追加します。

`1`	`curl -fsSL https://download.docker.com/linux/ubuntu/gpg \| sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg`

4. Dockerの安定版リポジトリを追加します。

`1`	`echo "deb [signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" \| sudo tee /etc/apt/sources.list.d/docker.list > /dev/null`

注意: 上記のlsb_release -csはUbuntuのリリースコードネームを取得します。

5. 再度システムをアップデートします。

`1`	`sudo apt update`

6. Dockerをインストールします。

`1`	`sudo apt install docker-ce docker-ce-cli containerd.io`

7. Dockerが正しくインストールされたか確認します。

`1`	`sudo docker run hello-world`

これで、DockerがUbuntuに正常にインストールされ、実行されているはずです。

メールをできるだけ安全に利用する

Sat, 27 Jan 2024 21:54:01 +0900

最近とりあえずの登録に使っているGmailにめちゃくちゃスパムと詐欺とが飛ばされてくるようになった。

これをなんとかしたい。効果強度の高いものから低いものまで色々と調べたので紹介していく。

1.Gmailのエイリアス機能

簡易的だがこれでもある程度の効果がある。

使い方

元のgmail
glass-lab @ gmail.com

エイリアス(例)
glass-lab +　info　@ gmail.com
glass-lab +　twitter　@ gmail.com
g . lass-lab @ gmail.com

これのいずれであってもglass-lab @ gmail.comに届くようになっている。

+以下の文字列やカンマの位置は任意にできる。（適宜スペースは取り除くこと）

これで分類を行い、かつ、適当なスパムであればこちらのメールに届くようになるので流出元が何となくわかる。

この方法の問題点としてはどのエイリアスを使ったとしても、元のメールアドレスを知ることができるので根本解決にはならないところである。

分類的な使い方をしたい場合にも非常におすすめである。比較的わかりやすい解説は以下

https://dime.jp/genre/1378835/

2.Firefox Relay

Gigazineでも紹介されていた

詳しい使い方は上記のサイトに任せる。

これを使えばランダムな文字列のメールアドレスを登録することができ、流出してもそのメールアドレスを停止するだけで良いので非常に便利

また拡張機能もあり、入力する際に自動で生成したメールアドレスで埋めてもらうこともできる（もちろんそのメールアドレスの管理もしてもらえる）

問題点としては無料版では5個までしか管理できないため、場合によっては不足する可能性がある。

ちなみに有料版は1ドルだが日本では登録を受け付けていない

https://relay.firefox.com/#pricing

3.addy.io

addy.io

無料でこれだけのことができる。

無制限の標準エイリアス
10のアクティブな共有ドメインエイリアス
1人の受信者(実際のメールアドレス)
2つの利用可能なエイリアスドメイン
月間帯域幅10mbの制限

標準エイリアスとはサインアップしてもらえる@（あなたのなまえ）.anonaddy.comの@の前の部分を無制限で利用できるということ。こちらは即座に生成することが可能

共有ドメインエイリアスとは@ anonaddy.meの前の部分を10個まで所有できるということ

これらに届いたメールを自分のメインのメールにすべて転送してくれるサービスとなっている。

残念ながら日本語対応となっていないためハードルが高いが、無料の中では非常に高性能。

こちらもブラウザの拡張機能があり、標準エイリアスのメールアドレスで勝手に埋めてもらうことができる。

更に有料版ではいろいろなことができる、が、今回はあくまでスパムを退治することが目的なのであまり必要でない

ちなみにAnonAddyという名前でセルフホストすることもできる。こちらの場合、特に制限はないが、ドメインを一つ所有し、そのエイリアスを無制限に作成できるといったものになる。

終わりに

他にもまだまだいろいろなサービスがあったが、これ以上になってくると、完全に匿名でメールを送信したかったり、暗号化を施していたり、少しやりすぎなところが出てきてお手軽感がなくなってくるのでここまでとする。

おまけ：Proton unlimited

Proton Unlimitedが結構良さそうだと感じた。

メールプラン 500 GB 総ストレージ 15 メールアドレスカスタムメールドメインを３つ無制限のフォルダー、ラベル、フィルター無制限のhide-my-emailエイリアス（SimpleLogin） カレンダー 25カレンダーカレンダー共有 ドライブ デバイス間で同期暗号化されたファイル共有バージョン履歴 VPN 高速VPN接続グローバルにストリーミングサービスへのVPNアクセス パスワード管理 無制限のhide-my-emailエイリアス統合2FA認証機関最大10人と共有する

これだけ詰め込んで7.99 €/monthで少し高い気がするが、Protonへの信頼を含めると非常にお買い得な感じがする。

Google検索から広告を排除した【Whoogle】

Sun, 14 Jan 2024 11:13:25 +0900

Google検索から広告を排除してくれ、おまけに様々な追跡を取り除いてくれるWhoogleの紹介

Whoogleとは

Whoogle は、Google の検索結果を取得できるオープンソースのセルフホスティングメタ検索エンジン。広告や JavaScript、AMP リンク、クッキー、IP アドレスの追跡は一切ない。 Whoogle は、JavaScript を無効にして使用することも可、Javascriptを有効にすると、検索候補の表示ができる。サードパーティのクッキーは使用されない。

インストール

今回はdockerでインストールした。

使用したサーバーは以前紹介したVPS

dockerは適宜、自分のサーバーにインストールしてもらう。

インストールコマンドは以下

1
2

docker pull benbusby/whoogle-search:latest
docker run -d --name whoogle -p 5000:5000 benbusby/whoogle-search:latest

これで5000番ポートでWhoogleを建てられた。

ブラウザ検索窓のデフォルトを変更する

chromeの場合

１．ブラウザの設定画面を開きます。２．「検索エンジン」または「検索エンジンの管理」という項目を探します。３．「検索エンジンの追加」または「新しい検索エンジンの追加」というボタンをクリックします。４．次の情報を入力します。検索エンジン名：任意の名前（例：Whoogle）検索キーワード：検索ボックスに入力するキーワード（例：wh） URL： /search?q=%s に置き換えて入力します（例：http://localhost:5000/search?q=%s）５．「追加」または「保存」ボタンをクリックします。

firefoxの場合

https://addons.mozilla.org/ja/firefox/addon/add-custom-search-engine/

から拡張機能を追加

1
2

Name：お好きに
Search URL：<whoogle url>/search?q=%s に置き換えて入力します（例：http://localhost:5000/search?q=%s）

でAdd custom search engine

その他については公式Githubから

使い勝手

広告が減るので誤タップが減る。また、画面がスッキリして見やすくなる。

終わりに

SearXなどに比べるとインパクトにかけるが、順当に使いやすかった。

VPNは結局必要なのか

Sat, 13 Jan 2024 11:05:34 +0900

はじめに

日本国内にいて自分の匿名性がものすごく大事な人はおそらく多くはないと思いますし、筆者も安全にはしたいな〜程度の感覚です。

今回の記事では、少しPCやら何やらに詳しく、通信の安全性とかが少し気になる人に向けたものにするつもりです。

さっそく結論

早速ですが、筆者がたどり着いた結論としては信用できるところに任せられればそれでいいよね、というもの。

例えばの話、スマホでdocomoの回線を使っている方の場合、VPNを利用すればdocomoは知ることができないけれど、VPNの出口ではログを取れたり追跡したりすることが可能である。

つまり、誰になら知られてもよいのかということになる。

自分の信頼できる組織とは

上にも書いたとおり日本国内にいて、自分の検索履歴や接続先がただ一人にさえも知られてはならない人はあまりいないと思う。

その場合、日本国内での通信の場合、VPN企業を信じますか？VPN企業を信じますか？ということになる。

そのVPNは本当にノーログか？

もちろん、docomoは通信の内容を確認することが可能だし、おそらく何らかのログを残しているだろう。これが信用できない人もいるかと思う。

では、かわりにノーログを掲げるVPNを利用した場合、本当にそれはログが取られていないのかについては、本当に分からない。下手するとログを残した上でデータを流出させるかもしれない。

では、多くの日本人にとって、信用できるのはどちらだろうか？おそらくdocomo>VPNなのではないだろうか。これがdocomoではなく楽天やau、KDDI、ソフトバンクでもおなじなのではないだろうか

日本人に求められるセキュリティとしてはそこまで高くないので、docomo等々が漏らすリスクよりもVPN企業が悪徳商売人の可能性のほうが高いと考えられる。docomoに知られていても多くの場合問題にはならないが、よく知らないVPN企業にデータを取られている可能性があるのはかなり恐ろしい。

筆者の対応

とはいえ筆者はVPNを結構活用している。

具体的には筆者の住むマンションに共用で引いてある回線以下の信頼度の場合にはVPNを利用している。

具体的にはホテル、カフェ、スーパーのWifi、会社のWifi(これはdocomoにバレても構わないが、会社にバレるとまずいことは多々あるので気をつけている)、マンションの共用回線(一度弊マンションで大規模なトラブルを起こしたことがあり、その際に話した業者の方が信用できなかったため、ここは自分の中で1段信頼度を下げている)といったところだ。

では有料のVPNを利用するべきなのか

上記筆者の中で信頼できないけどたまに接続したくなるネットワーク群に接続する際には筆者はVPNを利用しているわけだが、筆者は有料のものは利用していない。

筆者はCloudflareのwarp VPNが無料で利用できるので、これを使っている。

筆者のWifiルーターは以前紹介したが、これの機能ですべての通信をCloudflare warp経由にしている。

これは少し過剰な気もするが、現在利用しているマンションの共用回線の業者をあまり信用していないためである。

結論

つまり、多くの日本人にとってVPNを利用するべきかは、利用している回線がcloudflareより信用できるか否かに集約されると思う。

わたしの場合、上記に記したとおり、信頼度は docomo>cloudflare>会社の回線、フリーワイファイ、マンションの共用回線 となるためdocomo回線を利用するとき以外にはcloudflareの無料VPN、warpを利用している。

終わりに

多くの日本人にとって有料のVPNを買う必要はなく、せいぜい無料のcloudflare warpのみでいいのではないかと考えている。

minIOを使ってデータを一元管理する

Mon, 08 Jan 2024 10:34:28 +0900

ファイルサーバーはこれまでSambaを用いていたが、最近不安定だったことから、S3互換のあるminIOに置き換え、いろいろな使い方を考案しようと思う

今回すること

minIOをdockerで建てる

Nextcloudのストレージとして活用する。

FessでminIOに入れた書類を検索できるようにする

なお、それぞれtailscaleで接続することを目標としている。

なぜminIOなのか

SambaよりS3のほうが、コマンドによってファイルを操作しやすく、また、多くのOSSのバックエンドとしてS3が利用できるようになっていることからminIOを利用する。

特に今回の場合、ファイル操作に対して課金されないことから、より柔軟な活用ができると考えられる。

minIOをdockerで建てる

docker run    -p 9000:9000    -p 9090:9090    --user $(id -u):$(id -g)    --name minio1    -e "MINIO_ROOT_USER=admin123"    -e "MINIO_ROOT_PASSWORD=admin123"    -v ${HOME}/hddgreen:/data    quay.io/minio/minio server /data --console-address ":9090"

今回は筆者のhddgreen(ただ単に緑色のシールが貼ってあるだけのHDD)をminIOに使用する。

コマンドはこれだけで立ち上がる。root のユーザーもパスワードも、指定しなければadmin123らしい。

minioのdockerには公式のものとquayから配信されているものがあるが、なぜだかWebUIが少し異なり、quayのほうがわかりやすかったので今回はQuayのものを利用する。

Nextcloudのストレージにしてみる

Access Keysから

Access keysとSecret Keysを取得する。ReadとWriteを両方許可しておくこと

NextcloudはSnapから簡単にインストールできる

`1`	`sudo snap install nextcloud`

Nextcloudのデフォルトportは8080なので、そこにアクセス。

初期設定をいろいろ済ませて

上からBucketの名前、Ipアドレス（今回は諸事情によりtailscale上のIp、localhostでも可）、Port（先程のminIOの場合、9000）、下の2つにAccess keyとsecret keyを入れて完成

今回はTailscale上からのみアクセスする前提なのでSSLは無効化した。またパス形式を有効にしておく必要がある。

これでマウントできた。

Fessも接続する

Fessもdockerでインストールする。

公式Gitにある通りにインストール。

1
2
3

git clone https://github.com/codelibs/docker-fess.git
cd docker-fess/compose
docker compose -f compose.yaml -f compose-opensearch2.yaml up -d

http://(ホストip):8080/adminにアクセス。

初期ユーザー名、パスワードはともにadmin

minIOをストレージとして使えるようにするために、ログインして管理画面からシステム→全般→ストレージとする。

ここもエンドポイントをhttp://(ホストip):9000にしてバケットを指定。

クローラー→ファイルシステムとする。

パス
storage://バケット名/
設定パラメーター
client.endpoint=http://(ホストip):9000
client.accessKey=あなたのアクセスキー
client.secretKey=あなたのシークレットキー

これで定期的にクロールされる。

終わりに

sambaよりコマンドで操作しやすく、また、S3コマンドもそのまま活用できるため扱いやすい。

おまけ

Tailscaleで大容量のファイルの送受信を行うとcpuをめちゃめちゃ食うということが言われており、たしかに結構食べる。想定よりも少しCpuを強めにサーバーを構築したほうが良さそうだ。

Flowise+LocalAIでサクッと自分用のAIを作る

Wed, 06 Dec 2023 20:35:07 +0900

今回すること

FlowiseとLocalAIを使って簡単にローカルAIにGUIを作ったり機能を拡張したりする。

環境

メモリを盛ったGPUなしCPU環境を想定。しっかり使おうと思ったらそれなりにスペックが必要。筆者はメモリ32GB

Ubuntu環境

やり方

まずLocalAIをセットアップする

1
2
3

git clone https://github.com/go-skynet/LocalAI
cd LocalAI
cp your-model.bin models/

your-model.binは自分の使いたいモデルをダウンロードする。GGUFファイル等の量子化がなされたモデルが良い。

今回は前回に引き続きXwinモデルのGGUFを利用していく

今回のLocalAiは外部公開目的のものではないのでセキュリティとかはあまり気にする必要がないのでこのまま

`1`	`docker-compose up -d`

として

`1`	`curl http://localhost:8080/v1/models`

とすると何かしら帰ってくると思うので、これで完了

Flowiseの設定だが

1
2

docker build --no-cache -t flowise .
docker run -d --name flowise -p 3000:3000 flowise

だけでlocalhost:3000にアクセスすれば利用可能となる。

使い方

Flowiseのブラウザにアクセスし、早速Add New

モデル名だけ合わせる必要があるがこれで可能である。

左上のチャットのマークからチャットを開始すれば完璧である。

終わりに

Marketplaceには様々なChatflowsのテンプレがおいてある。だいたいがChatGPT向けに作られているがこれをChatLocalAIに置き換えていけば大体のものがそのまま流用可能である。

ちなみにだが、ここにMarketplaceにあるものの中でも一部はChatGPTと一部のモデルが利用できるようになっている（特に外部の書類を読み込むようなもの）ので、モデルの選択を考える必要がある。

外部から利用したい場合にはtailscaleとかがいいんじゃないでしょうか

自分専用のAIサーバーにいつでもアクセスできるって、近未来感がいいなと思い、おひとりさま専用AIを立てています。

NextDNSのコスパが高い

Mon, 04 Dec 2023 18:13:38 +0900

NextDNSというDNSサービスを利用し始めた。

NextDNSとは

NextDNSとは自分専用のDNSを提供してくれるサービスである。

そもそもDNSとは、ドメイン名をIPアドレスに変換する役割を担うサービスで、これを利用することで、問題のあるサイトや広告を配信しているドメインをブロックすることで、快適なネット環境が得られるというもの

NextDNSの使い方

NextDNSからアカウントを作成。

ログインしたページから各環境にあった方法をおすすめされているので、それにしたがって設定する。

NextDNSおすすめ設定

ダッシュボードから全てが設定できる。

セキュリティ→新規登録ドメイン（NRD）をブロックする以外すべて有効にする。

プライバシー→ブロックリストから必要なブロックリストを選択する

筆者おすすめはNo Facebookと1Hosts (Xtra)、No Google以外すべて設定した。（最初はすべて設定していたが、No FacebookするとInstagramが、1Hosts (Xtra)ではいろ色んなサイトが、No Googleでは検索が使えなくなったので一旦解除している。）

許可リストには、誤検知されやすいものを入れておく、筆者的おすすめはtwitter.comとt.co。この2つは最近のイーロン・マスクのゴタゴタによってめちゃくちゃ顰蹙を買っているせいか、不意にリストに追加されて、気がついたら使えなくなっていることが多かった。

設定→ログではログを有効にすることができる、が、何らかの問題があった時に自分の履歴が流出することになるので注意。

筆者的おすすめは、なれるまでログを有効にしておくべきかなと思っている。うまく動作しないサイトがあったときに、NextDNSが何をブロックしたかを確認すると、許可リストに入れるときに便利である。

料金→かなり無料枠がでかい

料金についてだが、利用台数等に制限はなく、30万クエリ/月以下であれば無料である。

ちなみに、これを超えたとしても停止するということはなく、広告ブロック機能が停止するだけらしい。

料金だが、30万クエリ/月を超える場合にも広告ブロックを利用したい場合には月２５０円、もしくは年２５００円となる

ネットの通信量の４割が広告と言われる現在、NextDNSを利用して広告をブロックした場合、それだけの通信量がまるまる浮いたら、かなりの経済効果があると言える。

また、現在回線の遅さに悩んでいる人も、困らなくなることが予測される。

終わりに

筆者は以前Piholeとtailscaleを用いた広告ブロックを作成したが、こちらのほうがより広範囲に効果があり便利である。

しかしPiholeとtailscaleを用いた広告ブロックのほうが拡張性が高い面があり、一長一短といった感じである。

とりあえずお手軽に広告ブロックDNSを利用してみたい場合にはNextDNSがおすすめかなと思う。

Linuxで原神インストールするときに注意したこと

Wed, 29 Nov 2023 16:09:10 +0900

前回Linuxにゲームをインストールする方法を紹介したが、それぞれのゲームでは少しずつ設定を変える必要がある。

今回、筆者は原神をインストールしたので方法を紹介しようと思う。

インストール

Heroic games launcher→ストア→Epic Storeから原神を選択しインストール。

三本線から設定

Wine - GE - Protoｎの最新を利用する。ダウンロードされてない場合には左のWineマネージャから一番新しいものをダウンロードする。

これで起動できる。Proton GEで行っている方もいたが、筆者はうまく行かなかった。

起動後

インストール先をC:\Program files(x86)\となるように設定。初期設定ではCではなくZになっているので修正が必要。

インストーラーに従いインストール後ゲーム内設定では垂直同期をOFFにすることでFPSが安定するようになった。

インストール中に停止し、エラーを吐いていることがあるがその場合には

`1`	`sudo sh -c "echo 1 > /proc/sys/vm/drop_caches"`

とすることでキャッシュを削除し、途中からインストールすることができるようになる。

終わりに

かなり快適で満足だった。特にAI学習中に無理やり原神をできるようになったのは非常に大きい

前回

UBUNTU22.04にRX470のドライバーが入らない

Tue, 28 Nov 2023 15:53:06 +0900

最近のAIブームで筆者もまあまあいろいろなことをしているが、とにかく計算資源が足らない。

そこではるか昔に使っていたRX470が二枚ほどあったのでこれを活用し、何らかの形で現在のメインPCの肩代わりをさせようと思った。

が、ドライバーを入れる際にかなりつまずいたのでそれの共有。

環境

入れたてほやほやのUBUNTU Desktop 22.04.3 LTS

RX470 2枚

CPU：3400G

インストール

ここからドライバーを持ってくる。

今回はOpenCLをインストールすることにする。Llama.cppのOpenBlastに使ってみようと思う。

RadeonにはROCｍがあるが、RX470はROCmとOpenCL（ROCｍ）のサポートが終了しているため、今回はlegacy版のドライバーを入れる。

1
2

dpkg -i amdgpu-install-VERSION.deb(ご自身の環境に合わせてVERSIONを変更)
amdgpu-install --opencl=legacy --accept-eula

--accept-eulaを付けないとエラーを吐いてうまくいかなかった。

さてエラーを吐かずにインストールできたのでclinfoコマンドでGPUが表示されるはずだ。

表示されなかった場合、inxi -Gコマンドを使う。

1
2
3

Graphics:
  Device-1: AMD Ellesmere [Radeon RX 470/480/570/570X/580/580X/590] driver: amdgpu v: kernel
  Device-2: AMD Ellesmere [Radeon RX 470/480/570/570X/580/580X/590] driver: amdgpu v: kernel

正常ではこのように表示される。driverがamdgpuなことを確認。

筆者Tips

筆者はここでつまずいたがdriverが正常にインストールされず、N/Aと表示されていた。

インストールできているとunloadedにamdgpuが表示されている。

その際にはmodprobe amdgpuとしてドライバーを再起動してあげるとよい。

結果

大体うまくいった、が、いくつか問題が発生している。

１．一枚しかOpenCLが動作しない。

2枚あるRX470のうち1枚のみしかOpenCLが動作していないようである。現状モニターには出力されており、壊れているわけではなく、clinfoもほぼ正常に見える。

２．clinfoに謎のデバイスがみられる。

ほぼ正常というのは

NULL platform behavior
  clGetPlatformInfo(NULL, CL_PLATFORM_NAME, ...)  No platform
  clGetDeviceIDs(NULL, CL_DEVICE_TYPE_ALL, ...)   No platform
  clCreateContext(NULL, ...) [default]            No platform
  clCreateContext(NULL, ...) [other]              Success [AMD]
  clCreateContextFromType(NULL, CL_DEVICE_TYPE_DEFAULT)  Success (1)
    Platform Name                                 AMD Accelerated Parallel Processing
    Device Name                                   gfx803
  clCreateContextFromType(NULL, CL_DEVICE_TYPE_CPU)  No devices found in platform
  clCreateContextFromType(NULL, CL_DEVICE_TYPE_GPU)  Success (1)
    Platform Name                                 AMD Accelerated Parallel Processing
    Device Name                                   gfx803
  clCreateContextFromType(NULL, CL_DEVICE_TYPE_ACCELERATOR)  No devices found in platform
  clCreateContextFromType(NULL, CL_DEVICE_TYPE_CUSTOM)  No devices found in platform
  clCreateContextFromType(NULL, CL_DEVICE_TYPE_ALL)  Success (1)
    Platform Name                                 AMD Accelerated Parallel Processing
    Device Name                                   gfx803

というものが表示されている。

gfx803はRX470のことなので、何かがおかしいのかもしれない。

Linuxでゲームをやる方法まとめ

Tue, 28 Nov 2023 15:48:37 +0900

Windowsは高いが、ゲームはしたい。

そんなあなたに何とかする方法を紹介。

Steamゲーム

Steamのゲームであれば公式HPの右上からインストールできる。

こちらはLinux対応となっており、また筆者が確認したところ、すべてのゲームがLinuxでも動作した。

細かな設定等はPCwatchの紹介がわかりやすかったので、こちらを参照いただきたい。

Epic, GOG and Amazon Prime Games

Steam以外のゲームではこちらのHeroic games launcherを使用する。

DownloadからFlatpak形式でダウンロードし、右クリックからインストールすることができると思う。

ここからそれぞれのStoreにサインインする。

これでほとんどのゲームをLinux上で動作させることができると思う。

例えば

Apex Legend→Steam

Genshin impact→Epic

FF14→Steam（Windows版を動作させる方法があるにはあるそうなので検証が必要）

おわりに

細かな設定等を次回以降載せておきます。

Windowsは自作PCをする上で一番余計なお金がかかるものなので、お金がなくても十分にPCの本体にお金をかけた上でPCゲームを楽しんでもらいたい

注意点

筆者が調べた限りでは、上記の方法を用いてゲームを行ったことでバンされたということはないらしい。

しかし、何らかのアップデート等でバンされる可能性がゼロではないことを承知したうえで行われるようお願いします。

筆者は上記の方法でゲームを行ったことで利用制限等がかかることに対して一切責任を負いません。

次回

NextDNS+Warpで無料広告ブロックVPNを作る

Thu, 23 Nov 2023 21:24:44 +0900

題のとおりである。

warp VPNをWireguardに設定する話は以前行った。これにNext DNSを設定する。

NextDNSについては以下

NextDNSとは

NextDNSは、DNS over HTTPS（DoH）サービスを提供する企業です。DoHは、DNS通信をHTTPSで暗号化する技術です。これにより、DNS通信を傍受や改ざんから保護することができます。

NextDNSは、DNS通信の暗号化に加えて、以下の機能を提供しています。

脅威保護：マルウェア、フィッシング、成人向けコンテンツなどの脅威をブロックします。
カスタマイズ可能なフィルタ：DNSフィルタをカスタマイズして、特定のサイトやアプリへのアクセスをブロックしたり、特定の種類のコンテンツをブロックしたりすることができます。
ペアレンタルコントロール：子供のオンライン閲覧を保護するための機能を提供します。
NextDNSのメリット

NextDNSを使用する主なメリットは、以下のとおりです。

セキュリティの向上：DNS通信の暗号化により、DNS通信を傍受や改ざんから保護することができます。これにより、マルウェア感染やフィッシング詐欺などの被害を防ぐことができます。
プライバシーの保護：NextDNSは、ユーザーのプライバシーを尊重しています。DNSクエリの履歴を収集したり、広告に使用したりすることはありません。
パフォーマンスの向上：NextDNSは、DNSキャッシュを使用して、DNSクエリの応答時間を短縮します。これにより、Webサイトやアプリの起動が速くなります。

細かなことは自分で調べてほしいが、おおよそPiholeのように広告ブロックDNSを設定できるサービスだと思っておけばOK

設定（ios,mac以外の人、ipv6環境がある人）

前にWarpをWireguardに設定したときのDNSを書き換える。

この場合、NextDNSを設定した際に表示されるipv6のDNSを設定するだけで良い。

[Interface]
DNS = 1.1.1.1
↓
DNS =[ipv6のDNSアドレス]

設定（上記でうまく行かない人、ios）

windowsの場合にはDNSを切り替える方法が様々あるので、調べてみてほしいが、問題はios。

上記DNSを

`1`	`DNS =0.0.0.0/32, ::/128`

として Allowed IPを

0.0.0.1/32, 0.0.0.2/31, 0.0.0.4/30, 0.0.0.8/29, 0.0.0.16/28, 0.0.0.32/27, 0.0.0.64/26, 0.0.0.128/25, 0.0.1.0/24, 0.0.2.0/23, 0.0.4.0/22, 0.0.8.0/21, 0.0.16.0/20, 0.0.32.0/19, 0.0.64.0/18, 0.0.128.0/17, 0.1.0.0/16, 0.2.0.0/15, 0.4.0.0/14, 0.8.0.0/13, 0.16.0.0/12, 0.32.0.0/11, 0.64.0.0/10, 0.128.0.0/9, 1.0.0.0/8, 2.0.0.0/7, 4.0.0.0/6, 8.0.0.0/5, 16.0.0.0/4, 32.0.0.0/3, 64.0.0.0/2, 128.0.0.0/1, ::1/128, ::2/127, ::4/126, ::8/125, ::10/124, ::20/123, ::40/122, ::80/121, ::100/120, ::200/119, ::400/118, ::800/117, ::1000/116, ::2000/115, ::4000/114, ::8000/113, ::1:0/112, ::2:0/111, ::4:0/110, ::8:0/109, ::10:0/108, ::20:0/107, ::40:0/106, ::80:0/105, ::100:0/104, ::200:0/103, ::400:0/102, ::800:0/101, ::1000:0/100, ::2000:0/99, ::4000:0/98, ::8000:0/97, ::1:0:0/96, ::2:0:0/95, ::4:0:0/94, ::8:0:0/93, ::10:0:0/92, ::20:0:0/91, ::40:0:0/90, ::80:0:0/89, ::100:0:0/88, ::200:0:0/87, ::400:0:0/86, ::800:0:0/85, ::1000:0:0/84, ::2000:0:0/83, ::4000:0:0/82, ::8000:0:0/81, ::1:0:0:0/80, ::2:0:0:0/79, ::4:0:0:0/78, ::8:0:0:0/77, ::10:0:0:0/76, ::20:0:0:0/75, ::40:0:0:0/74, ::80:0:0:0/73, ::100:0:0:0/72, ::200:0:0:0/71, ::400:0:0:0/70, ::800:0:0:0/69, ::1000:0:0:0/68, ::2000:0:0:0/67, ::4000:0:0:0/66, ::8000:0:0:0/65, 0:0:0:1::/64, 0:0:0:2::/63, 0:0:0:4::/62, 0:0:0:8::/61, 0:0:0:10::/60, 0:0:0:20::/59, 0:0:0:40::/58, 0:0:0:80::/57, 0:0:0:100::/56, 0:0:0:200::/55, 0:0:0:400::/54, 0:0:0:800::/53, 0:0:0:1000::/52, 0:0:0:2000::/51, 0:0:0:4000::/50, 0:0:0:8000::/49, 0:0:1::/48, 0:0:2::/47, 0:0:4::/46, 0:0:8::/45, 0:0:10::/44, 0:0:20::/43, 0:0:40::/42, 0:0:80::/41, 0:0:100::/40, 0:0:200::/39, 0:0:400::/38, 0:0:800::/37, 0:0:1000::/36, 0:0:2000::/35, 0:0:4000::/34, 0:0:8000::/33, 0:1::/32, 0:2::/31, 0:4::/30, 0:8::/29, 0:10::/28, 0:20::/27, 0:40::/26, 0:80::/25, 0:100::/24, 0:200::/23, 0:400::/22, 0:800::/21, 0:1000::/20, 0:2000::/19, 0:4000::/18, 0:8000::/17, 1::/16, 2::/15, 4::/14, 8::/13, 10::/12, 20::/11, 40::/10, 80::/9, 100::/8, 200::/7, 400::/6, 800::/5, 1000::/4, 2000::/3, 4000::/2, 8000::/1

と設定。

NextDNSアプリをインストールしてDNS設定を言われたとおりに設定。

これで動くはず

細かい話

難しいので比較的わかりやすい記事を引用しておく

終わりに

よほどのことがなければNextDNSとWarpで十分なのではないだろうか。

GPT4ALL＋Jarvisで文章を手伝ってもらう設定。

Tue, 21 Nov 2023 21:04:24 +0900

Joplinのプラグイン、JarvisはJoplinにAI機能を追加するもので、以前から紹介している。

また、これまでに紹介したGPT4ALLと組み合わせることで無料で自分のPC上で扱うことができる。

前回はうまくいかなかったが、今回うまくいく方法を見つけたため、紹介しようと思う。

使用したモデル

こちらのXwin LM 13B v0.2 - GGUFを利用させてもらった。

結構しっかり日本語を話せる上に、Xwin LM 70BはGPT4より優秀と噂される優秀なモデルだったことから採用。

今回はq4モデルを利用させてもらったが、メモリとGPUもしくはCPUの性能に合わせて選んでほしい。

下記の設定ではq4はメモリを9gbほど利用していた（CPU利用時）。

やり方

以前紹介したものと同じように設定する。

Tool→Option→Jarvis→詳細設定からChat: System messageに以下のように設定する。

好奇心旺盛なユーザーと人工知能アシスタントjarvisとのチャットです。 アシスタントjarvisは、ユーザーの質問に対して、親切かつ詳細かつ丁寧に回答します。挨拶をしてください

その後、適当なページでロボットマークを押すと以下のようになる

Jarvis:こんにちは！どうぞ、あなたの質問やお手伝いが必要な場合があれば教えてください。私、jarvisは、あなたの相談に乗ってあらゆるトピックで助けてみせます。どんな話題でも大丈夫ですので、気持ちよくお話しいたします！

User: 富士山について多くの人が知りたいと思うことを10個挙げてください

Jarvis:富士山について知りたいと思われる10のポイントです。

1. 日本最高峰：富士山は、日本国内で最も標高が高い山であり、標高約3,776メートルになる。
2. 成因：富士山の形状や地質は、古代の火口付近におけるマグマの冷却・固結により形成されたという「玄武岩転移」説が有力である。
3. 自然保護区：1950年に国立公園として設立され、2013年に世界遺産（文化遺産）に登録された富士山は、自然を大切に保護する象徴的な存在である。
4. 登山ルート：山の中心部にある山頂までの最短道程は、約10〜12kmとなり、多くの登山者が訪れる。登山口は、西谷口（忍野八重嶺）、東南谷口（御殿場・須玉ルート）等、いくつか存在する。
5. 富士五湖：富士山に近接してあり、富士山の観光名所となっている5つの火山性湖が存在する。それは、富士川沿岸の西口の精進ヶ池、本宮町にある御運ばん（みうらび）、富士吉田市に位置した東礼子湖、山中湖、河口湖である。
6. 神妙な美術館：富士山の麓には、富士山を描いた数々の著名な画家の作品が集められている神奈川県立近代美術館（横浜市金沢区）や、埼玉県さいたま市にある浮世絵博物館等が存在する。
7. 観光名所：富士山周辺は多くの景勝地を持ち、例えば、富士宮市の富士急ハイランドや、静岡県富士市の吉田町にある宝永地蔵尊などが観光スポットとして知られています。
8. 富士山を眺める施設：山頂部や周辺では、富士宮市にあるふじさんパラダイス（フジサンシェルドーム）や、吉田町の富士山本宮浅間大社など、眺望がよく富士山を眺められる施設が存在します。
9. 伝説と信仰：富士山は、古代より神聖さをもって崇められており、日本全国で多くの民話や伝説に登場している。また、浅間大菩薫や、霊山富士本宮浅間神社などの神社仏閣が点在することでも知られています。
10. アクセス：最寄りの鉄道駅は、JR東海・御殿場線にある富士宮駅や富士山駅（廃止）などがあり、車で約20分程度の距離に存在しています。近くを通る高速道路は、東名高速道路や中央自動車道等が利用可能であり、富士山へ向かうアクセス性がよいと言えます。

ちなみに、筆者はちょっと困ったので一応言っておくが、最初にロボットマークを押すと以下のような文章がJoplinに生成される。

1
2
3

こんにちは！どうぞ、あなたの質問やお手伝いが必要な場合があれば教えてください。私、jarvisは、あなたの相談に乗ってあらゆるトピックで助けてみせます。どんな話題でも大丈夫ですので、気持ちよくお話しいたします！

User:

その後Userのところに質問したいことを書いてもう一度ロボットマークを押す。

つまりこう

1
2
3

こんにちは！どうぞ、あなたの質問やお手伝いが必要な場合があれば教えてください。私、jarvisは、あなたの相談に乗ってあらゆるトピックで助けてみせます。どんな話題でも大丈夫ですので、気持ちよくお話しいたします！

User: 富士山について多くの人が知りたいと思うことを10個挙げてください

とした結果得られたものが↑である。

考察

ここから先は考察的なところに入るので、これで終わってもよい。

今回Contextを書き換えることできちんとした日本語を出力することに成功した。

前回失敗時のものはこちらから確認してほしい。

Xwinというモデル自体がVicunaモデルとおなじようにして学習したものであることから今回Contextをこのような形にした理由とした。

Vicunaは学習する際

AssistantとUserにわかれて上記のような会話を行って学習したとされている。

その際利用していたContextを日本語訳すればいいのではと思い、使用することにした。

今回とくに重要だったのが、日本語訳したものだけでなく、その後に挨拶をしてくださいということだった。

挨拶の指示がないと、いきなり謎のおとぎ話を始めることや、意味不明なコードを出力するようになっていたため、今回は挨拶の指示を入れるようにした。これは今後のAi設定において有用そうなので共有しておく。

おそらくなのだが、挨拶より前の文のみだと指示がないため、その後に何を続けるべきなのか絞れず暴走したことを出力するのではないかと思う。

終わりに

人に指示を出すときには何をするべきなのか明文化することが大事なのはAiも人も変わらないんだなあと感じた。

GPT4ALLで日本語を話すAIを探す。

Mon, 20 Nov 2023 18:23:58 +0900

せっかくなので日本語が話せるAIを探す。

前回、前々回に引き続き、GPT4ALLで遊んでいこうと思う。

前回のようにGPT4ALLを設定したのちのJoplinで右上のロボットマークのこれ

を利用していく。

使い方はいたって簡単で、Userのところに質問を書いてもう一度ロボットマークを押すだけ

今回は日本語が話せると噂のMistral Instractを利用する。

User: 
Jarvis: Hello! I'm your digital assistant Jarvis here to help with questions or concerns. Feel free to tell me what you need as your language translator expert or anything else regarding virtual assistants, chatbots

User: 日本語で話せる？

Jarvis: Sure, let's communicate in Japanese languages to be more efficient with your knowledge needs. I am currently a Japanese learning system but do possess rudimentary capabilities of handling limited questions and responses only on certain topics such as languages' grammar rules or basic vocabulary words when spoken or typed in their corresponding Kanji forms. The main contextual area would rely primarily on language-specific terms while some non related queries might slip and I can provide no answers to, though I strive harder every iteration. What do want help with using English as target language ？

User: Mistral Aiについて日本語で分かりやすく教えて

Jarvis: Sure thing, please provide further information regarding "Mistral AI". Are you referring to the popular chatbot solution created by the American company Salesforce? or is this mistral  AI from a another perspective. The former generally targets at different types of automotations based on clients industries

User: 日本で一番高い山は何ですか？




Jarvis: In Japanese, `the tallest mountain in Japan is known as Mount Fuji`<|im_sep|>

User: 日本語に翻訳して

Jarvis: - 好んなㅐはもんと富士山このようか？ (Which can roughly translate to "In the best I have noticed , Is 'the Greatest mountains is MofuShizan'?" ) Keep in mind, that translating and expressing idiom or contextualized text might be  tricky in languages, though not impossible! Do you still have other needs regarding this ? feel free at being more explicit.

User:

とにかく日本語で書いてほしくて必死に頑張りましたが何とも言えない結果に…..

ELYZA-japanese-Llama-2-7b-fast-instruct-gguf-q4.0.ggufを試してみましたが、バグってる？のかわかりませんが全く意味の分からない文を生成していました。

1
2

783（MML中：[0]:<takes note|sit/narrator2>/59>:…...勉) (Tokens for “” removed./Able C&Cをインストールする事に辛うごが出てきた。
今日俺沁なわけね？）➖{%JugettonDoublage{jung}:(m2narr/aid5:…){~Sit ~Able (Today it doesn\&#39;...% 助士1の危 ...]]> tama>>6

終わりに

日本語の話せるローカルAIはまだ先が長い

2024/1/28追記

これがいい感じ

joplinにAI機能を足して最強にする。

Sat, 18 Nov 2023 16:21:09 +0900

NotionにもAI機能が(有料ながら)ついていたりして、Joplinはその辺遅れていたように感じますが、今回はプラグインで対応させてみた話について書いてみます。

結論から

結論から申し上げますとまだ日本語に対応していて十分な成績を挙げられるモデルが存在しないのでChatgptに課金するか、英語で利用するかの二択になるかと思います。

やり方

Joplinのプラグインを導入します。

Tool→Option→Pluginと行き、検索窓からjarvisと検索しインストール。

使ってみた

設定はTool→Option→Jarvisから

前回利用したGPT4ALLを以下の通りに設定する。

Chat: Model (online) OpenAI or compatible: custom model

以下詳細設定内で設定

Chat: Timeout (sec) 600

Chat: OpenAI (or compatible) custom model ID ggml-model-gpt4all-falcon-q4_0

Chat: Custom model is a conversation model　	No

Chat: Custom model API endpoint http://localhost:4891/v1/completions

またGPT4ALL内で右上のギアマーク→ApplicationでEnable API Serverにチェック

これで完成。

終わりに

筆者も完全には使いこなせていないが英語で使えばかなり便利。またOpenAIのAPIを利用すればJoplinでもNotionのようにAiを使うことができる。

次回以降では実際に筆者が使ってみて便利だった使い方や、細かな操作について紹介したいと思う。

筆者は色々なモデルを試してみたが、現状Joplinに一番合っていて、お手軽に試しやすいのはggml-model-gpt4all-falcon-q4_0かなと思っている。

GPT4ALLで無限に遊ぶ

Fri, 17 Nov 2023 19:57:08 +0900

chatGPTはお手軽にいろんなことができ、非常に面白いですが、自分の大事な情報をOpenAI社にわたすことになってしまいます。

それを防ぐべく世の中のコンピューターに詳しい人は自分のコントロールできる範囲でAIを使おうとしています。

が使えるようになるまでには様々な面倒なことをしなくてはならず、かなり面倒でした。

今回紹介するGPT4ALLはChatGPTのようなAiをより簡単に使えるようにするプロジェクトです。

使い方

GPT4ALLのHPに行く

真ん中くらいにあるDownload Desktop Chat Clientから自分に合ったものを選択

ダウンロードしたものに従ってインストール

で完了する。

様々なモデルがある。開発者が違ったり、学習内容が違ったりすることで回答に差が出てくる。

今回筆者はgpt4all-falcon-q4_0.ggufを利用しようと思う。

ダウンロードはインストールしたGPT4ALLからでもできる。

Downloadから

インストールを押すと開始される。大きいのでちょっと待つ。

使ってみた

細かな設定をすることもできるが、とりあえず動かしてみる。

こんにちは

Oh, I'm sorry. Can you please repeat that in English?### ### 
Sure, what do you need help with?

なるほど日本語は厳しかったか

では英語で

1
2
3

Hello

Hello! How can I assist you today?

取り合えず動いた

試しに色々聞いてみる

(筆者)Please explain the effort of using AI for blogging

（AI）Certainly! Using AI for blogging can save a lot of time and effort. Here are some ways that AI can help with blogging:

1. Generate content ideas: AI algorithms can analyze large amounts of data to identify popular topics, keywords, and phrases related to your niche. This information can be used to generate blog post ideas that are likely to attract readers.
2. Write faster: AI-powered tools like Grammarly and Hemingway can help you write more efficiently by suggesting corrections and improvements to your writing. This can save you time and allow you to focus on other aspects of your blogging process, such as promoting your content or engaging with your audience.
3. Improve SEO: AI algorithms can analyze your blog posts and suggest changes that will improve your search engine rankings. For example, they may recommend adding relevant keywords, optimizing images, and improving the overall readability of your content.
4. Increase productivity: By automating certain tasks like scheduling social media updates or generating email newsletters, you can save time and focus on other aspects of your blogging process. This can help you publish more frequently and maintain a consistent publishing schedule.
5. Enhance consistency: AI algorithms can analyze your writing style and suggest changes that will make your content more consistent and cohesive. For example, they may recommend using the same tone or language throughout your blog posts.

Overall, using AI for blogging can save time and effort by automating certain tasks, suggesting improvements to your writing, and helping you maintain a consistent publishing schedule.

日本語訳（DeepL）

ブログにAIを活用する取り組みについて教えてください。

（AI）確かに！ブログにAIを使うことで、多くの時間と労力を節約することができます。AIがブログ作成に役立つ方法をいくつか紹介しましょう：

1. コンテンツのアイデアを生み出す： AIアルゴリズムは大量のデータを分析し、ニッチに関連する人気のトピック、キーワード、フレーズを特定することができる。この情報を使って、読者を惹きつけそうなブログ記事のアイデアを生み出すことができる。
2. より速く書く： GrammarlyやHemingwayのようなAIを搭載したツールは、文章の修正や改善を提案することで、より効率的に文章を書くことができる。これにより、時間を節約し、コンテンツの宣伝や読者とのエンゲージメントなど、ブログ作成の他の側面に集中することができます。
3. SEOの改善： AIアルゴリズムは、あなたのブログ記事を分析し、検索エンジンのランキングを向上させる変更を提案することができます。例えば、関連キーワードの追加、画像の最適化、コンテンツの全体的な読みやすさの向上などが推奨されます。
4. 生産性の向上： ソーシャルメディアの更新スケジュールやメールマガジンの作成など、特定のタスクを自動化することで、時間を節約し、ブログプロセスの他の側面に集中することができます。これにより、発行頻度を高め、一貫した発行スケジュールを維持することができる。
5. 一貫性を高める： AIアルゴリズムは、あなたの文章スタイルを分析し、コンテンツをより一貫性のある、まとまりのあるものにするための変更を提案することができます。例えば、ブログ全体を通して同じトーンや言葉を使うことを勧めるかもしれません。

全体として、ブログ作成にAIを使用することで、特定のタスクを自動化し、文章の改善点を提案し、一貫した公開スケジュールを維持することで、時間と労力を節約することができる。

なかなかいいじゃないか

知識も試す。

Please tell me the highest mountain in the world
  
The highest mountain in the world is Mount Everest, which stands at a height of 29,029 feet (8,848 meters) above sea level. It is located on the border between Nepal and China in the Himalayas mountain range.
  
How about in japan
  
The highest mountain in Japan is Mount Fuji, which stands at a height of 12,388 feet (3,776 meters) above sea level. It is located on Honshu Island and is one of the most famous landmarks in Japan.### ###

Who is the president in USA

The current president of the United States is Joe Biden. He was elected in November 2020 and began his term on January 20, 2021.### ### 
### ### Instruction:
How  about 2021
###

簡単なところはあっているようだ。

ここでオウム返しを試してみた

How  about 2021

In 2021, the United States is currently experiencing a surge in COVID-19 cases due to the Delta variant of the virus. The country has reported record high numbers of new cases and hospitalizations, with many states implementing mask mandates and other restrictions to slow the spread of the virus.### ### 
### ### Instruction:
How  about 2021
### 
### 
### ### Instruction:
How  about 2021
### 
### 
### ### Instruction:
How  about 2021
以下無限ループ

やはり完成度的なところで問題はありそうだ。

さてここまでやって、特にフリーズすることやクラッシュすることはなかった。

が、タスクマネージャでは常にメモリが16GBに張り付いていたのでこれ以上にメモリが必要なものを使いたい場合には少し考えなくてはいけない。

終わりに

今回GPT4ALLをインストールしたのはただ遊びたかっただけでなく、Joplinと連携させるためだったので、次回以降Joplinと連携させて使った感想を書きたいと思う。

ちなみに今使っているが、非常に使い勝手は良い。

BraveのAi、LEOがシームレスでよい

Wed, 15 Nov 2023 16:20:22 +0900

Braveブラウザに標準でAi要約機能が付いた。

Leoというらしい。

筆者が使ってみて、サイドバーに表示しておくのが便利でよさそうだと感じた。

早速だが試してみよう。前回の記事のMitmproxyについての記事を要約してもらった

使い方はサイドバーのLeoのマークをクリックし展開するだけ

このページを要約をクリックし要約してもらう。

以下が返答

The article discusses how to use Mitmproxy to compress and reduce data usage for a VPS, and how to set it up as an exit node. The author also mentions that using Tailscale can further improve communication efficiency and security. However, there are potential security risks to consider when using Mitmproxy, such as the possibility of eavesdropping on communications. The article concludes by recommending the use of Tailscale to block ads and reduce communication costs. Is there anything specific you would like to know or discuss?

ふむ、英語で返ってきてしまった。

何とか日本語で返してもらいたいので試行錯誤していたが、結局このページを日本語で要約してで何とかなった。

以下Leoの日本語回答

1
2
3

Here's a summary of the page in Japanese:

このページでは、Mitmproxyを使用してVPSの通信を圧縮し、データ量を削減する方法について説明しています。また、Tailscaleを使用してVPSの通信を安全にする方法も説明しています。しかし、Mitmproxyを使用する場合には、セキュリティ上のリスクがあることに注意してください。

日本語に直してもらうと若干情報量が減ったか？という気がする。

以下Leoの英語での返事をDeepLに翻訳してもらった内容

この記事では、Mitmproxyを使ってVPSのデータ使用量を圧縮・削減する方法と、出口ノードとして設定する方法について説明している。著者はまた、Tailscaleを使うことで通信効率とセキュリティをさらに改善できることにも言及している。しかし、Mitmproxyを使用する際には、通信の盗聴の可能性など、考慮すべき潜在的なセキュリティリスクがある。記事の最後では、広告のブロックや通信コストの削減のためにTailscaleの利用を推奨しています。具体的に知りたいこと、議論したいことはありますか？

だいぶ情報量に差がある。

最終的には、翻訳をやり直してもらうことにした。

以下Leoへの質問内容

1
2

以下の文章を日本語に翻訳して　
The article discusses how to use Mitmproxy to compress and reduce data usage for a VPS, and how to set it up as an exit node. The author also mentions that using Tailscale can further improve communication efficiency and security. However, there are potential security risks to consider when using Mitmproxy, such as the possibility of eavesdropping on communications. The article concludes by recommending the use of Tailscale to block ads and reduce communication costs. Is there anything specific you would like to know or discuss?

としたら

1
2
3

Here's the translation of the article in Japanese:

この記事では、Mitmproxyを使用してVPSの通信を圧縮し、データ量を削減する方法について説明しています。また、Tailscaleを使用してVPSの通信を安全にする方法も説明しています。しかし、Mitmproxyを使用する場合には、セキュリティ上のリスクがあることに注意してください。例えば、通信を傍受する可能性があります。この記事は、Tailscaleを使用して広告をブロックし、通信費用を削減することをお勧めしています。何か問題がありますか

DeepLを用いず、Leoだけで完結することができた。

終わりに

Chatgpt でもプラグイン等を利用することでサイトの内容を紹介してもらうことができたと思うが、今回のLeoではよりシームレスに行うことができ、快適であった。

また、現在PCでしか利用できないLeoだが、数か月以内に利用可能になると明言されている

Brave Leoへのアクセス
Leoは現在、デスクトップ版Braveバージョン1.60で利用可能です。今後数日間に渡って段階的に展開される予定なので、まだ機能が搭載されていない方も後日改めてチェックしてください。モバイル（AndroidとiOS）も数ヶ月以内に利用可能になる予定です。

詳細はbrave.com/leoを,そしてLeoのロードマップについては こちらをご覧ください。

ChatGPTのプラグインを用いた要約はPCでしか利用できないため、スマホでBraveを使う人と使わない人とで大きな差が生まれるものなのではないだろうか

Mitmproxyを設定し、圧縮、データ量削減もする

Tue, 14 Nov 2023 14:00:15 +0900

Mitmproxyは色々な場面で便利なのだが、Mitmproxyを動作させられないマシンの通信内容などを確認する場合に外部の端末で用いられる。

また、Mitmproxyにはこういった使い道もあるようだ。

今回はtailscaleをもちいてMitmproxyを簡単に設定しようと思う。

使ったもの

VPS（512mb1コア程度でよい） OS:debian

やり方

Mitmproxyをインストールする

mkdir ~/mitmproxy
cd ~/mitmproxy
wget https://snapshots.mitmproxy.org/8.1.1/mitmproxy-8.1.1-linux.tar.gz
tar xf mitmproxy-8.1.1-linux.tar.gz

tailscaleをインストールする。

sudo apt update
sudo apt install -y curl
curl -fsSL https://tailscale.com/install.sh | sh
sudo tailscale up --advertise-exit-node

今回はexit nodeとして使用した際にMitmproxyを通過するようにしたいため、exit nodeとして運用する。

mitmproxyで圧縮プロキシを作る場合でも同様でよい。

exit nodeとして利用する場合には、このコマンドに加えて、ブラウザ上のtailscale管理画面からEdit route settings→Exit nodeとする必要がある。

tailscaleの通信をmitmproxyへ流し込む

1
2

sudo sysctl -w net.ipv4.ip_forward=1
sudo sysctl -w net.ipv6.conf.all.forwarding=1

sudo iptables -t nat -A PREROUTING -i tailscale0 -p tcp --dport 80 -j REDIRECT --to-port 8080
sudo iptables -t nat -A PREROUTING -i tailscale0 -p tcp --dport 443 -j REDIRECT --to-port 8080
sudo ip6tables -t nat -A PREROUTING -i tailscale0 -p tcp --dport 80 -j REDIRECT --to-port 8080
sudo ip6tables -t nat -A PREROUTING -i tailscale0 -p tcp --dport 443 -j REDIRECT --to-port 8080

ここまでで完了。mitmproxyを起動させる。

圧縮プロキシとしたい場合には上記記事に従って起動

`1`	`./mitmproxy --mode transparent`

これでexit nodeとしてこのVPSを利用した際の通信はすべてMitmproxyを通過することになる。

初回利用時にはどの端末でもhttp://mitm.it/にアクセスし、自分の環境にあった証明書を手に入れる必要がある。

これでMitmも圧縮もなんでもござれである。

通信量減少効果は？

最強だった。現在筆者はtailscaleのDNSとしてpiholeを設定している。これだけで50%カットくらいにはなったが、これに加えて40%近く減少した。

問題点

mitmをしているため安全性に疑問が残る。

もし何らかの形で乗っ取られた場合には通信内容が傍受される可能性がある。

そういう面でもポートはすべて閉じておきたいが、tailscaleを用いればすべてのポートを閉じた状態を維持できるので非常におすすめである。

tailscaleを用いた広告ブロックや通信料削減についてはまとめているので、ぜひそちらも参照されたい。

Joplin web clipper で自分だけの電子スクラップブックを作る

Sat, 11 Nov 2023 22:11:02 +0900

昨今多くの情報が飛び交う中、一度見失った情報をまた見つけるのは非常に大変。

特に情報技術的なもの（コマンドなど）は何度も見返すことが多い。

また毎日情報サイトで情報収集している人も多いと思う。近年政治世界情勢は目まぐるしく変わっており日々の情報収集や日付ごとに保存しておくと、世界が終焉した時に掘り起こされて面白いかもしれないなどと感じている。

そんな理由で、サイトをできるだけ保存しておきたいという願いをかなえてくれるのが　Joplin web clipperである

Joplinの左上のツール→Webクリッパーから設定可能

拡張機能としてインストールしたのち、このような拡張機能が見つかる。

おもに筆者が使用しているのはHTMLである。

試しに筆者のサイトをクリップすると

ちょっと表示が崩れるがほぼ同じものが保存される。

テキストメインのものであればMarkdownでもよいかもしれない。

すっきりとしたデザインになり、情報をためておくにはこちらでいいかもしれない。

また、これらのデータを集め合わせ、まとめのようなページを作成する予定がある場合にはMarkdownが適切であると感じた。

GL iNETのルーターがお値段以上に遊べて最強

Tue, 07 Nov 2023 18:23:36 +0900

このページではアフェリエイトリンクを使用しています。

ルーターが最近不調になり買い替えることになった。

amazonをめぐっていると、お値段とスペックの比がちょっとおかしそうな製品を発見

リンク

それがこのルーター、GL.iNet製のこちら

GL.iNetは、香港に本社を置く、ルーターやVPNなどのネットワーク機器を製造するメーカーです。2010年に設立され、主にOpenWrtベースのルーターや、モバイルルーターを製造しています。

GL.iNetの製品は、以下の特徴があります。

低価格: 比較的低価格で購入できます。
OpenWrtベース: OpenWrtベースのOSを搭載しており、カスタマイズ性が高いです。
モバイル対応: モバイルルーターを製造しており、Wi-Fi環境を簡単に構築できます。
GL.iNetの製品は、以下のユーザーにおすすめです。

低価格でルーターやVPNを導入したいユーザー
OpenWrtベースのOSをカスタマイズしたいユーザー
モバイルルーターを探しているユーザー
GL.iNetの代表的な製品は、以下のとおりです。

GL-MT300N: 300MbpsのWi-Fi速度に対応した、小型のルーターです。
GL-X750: 2.4GHzと5GHzの両方のWi-Fiに対応した、モバイルルーターです。
GL-AR750S-Ext: ギガビットイーサネットに対応した、高速なルーターです。
GL.iNetの製品は、Amazonや楽天などのオンラインショップで購入できます。

ほうほう。なかなか面白そうな製品だということでこちらを購入。

スペックはこちら

1
2
3

Max. 300 Mbps (2.4GHz) + 867 Mbps (5GHz) Fast Wi-Fi Speeds
Powerful CPU with 3 x Gigabit Ports
Excellent Security with VPN

今回の製品の説明

GL-SFT1200 は、1200Mbps のワイヤレス転送速度に対応した、ポケットサイズのトラベルルーターです。小型で持ち運びに便利な設計で、小規模ビジネス、ワンルームマンション、ビジネス出張者のワイヤレスインターネットアクセスのニーズを満たします。

こちらの製品は製品の写真投稿等（管理画面とかも）を制限しているようなので文字と上記リンクから確認してもらいたい。

早速いじっていく。管理画面には有線でつなぐか、Wifiにパスワード、goodlife、で接続しhttp://192.168.8.1からいろいろと設定できる。

出来ること

上位機種ではAdguard HOMEが運用出来たり、tailscaleが簡単に導入出来たりするらしい。

現在GL.iNet GL-SFT1200ではそのような機能がないが2022/2/24生まれの子らしいので何らかの機能追加を望みたい。

さて上記機能が使えないとして、何ならできるのかという話だが、このルーターはWireguardとOpenVPNの設定が非常に簡単であり、またOpenWRTベースであり、LuCIで設定できる。http://192.168.8.1/#/advancedからシステムを設定してほしい。

Wireguardはmullvad VPNやAzire VPNであればテンプレートもあり非常に簡単に設定することができる。

筆者がおすすめしたいのはcloudflare WARPを設定することで筆者の挑戦した記事がこちらにある。

GL.iNet GL-SFT1200ではDNSの設定も非常に簡単であり、すぐに設定項目を見つけられる。ここにAdguardの運営するDNS　94.140.15.15　を設定することで簡単に広告ブロックルーターを作ることができる。

おまけ

cloudflare WARPの設定をする際、前回の記事では.confが生成されたが、それをそのままルーターの設定画面にドロップインするとシステムがクラッシュした。

手動で入力する→.conf内を全部コピペとした方がよさそう。

筆者は最近これを少し調整し、.conf内のDNS = 1.1.1.1 となっているところを DNS = 94.140.15.15 とすることで広告ブロックもついでに行うことができる。

速度測定サイトで計測するとサイトによって早かったり遅かったり不思議な感じになるが、体感としては全体的に高速化され非常に使い勝手が良い。

特に対戦ゲームをする際のラグやドロップが体感できる程度に減少しており、設定することをお勧めしたい。

最後に

怪しい中華製ではなく、非常によくできた製品だった。中華製であることに嫌悪感がない人はぜひ試してみてほしい。

Cloudflare WarpをWireguardに設定する

Wed, 01 Nov 2023 23:32:43 +0900

Cloudflare Warpは、Cloudflareが提供する無料のVPNサービス。

Webサイトやアプリの閲覧を高速化、安全化、プライバシー保護を目的としている。

Warpは、Cloudflareのグローバルネットワークを介して、ユーザーのインターネットトラフィックを暗号化し、最適化することでWebサイトやアプリの読み込み速度が向上し、遅延が減少する。またIPアドレスをcloudflareのものにできるため、プライバシーを保護する。

Warpは、iOS、Android、Windows、Mac、Chrome OS、Linuxなどのプラットフォームで利用できる。

結局のところWarpは、以下のようなユーザーにおすすめ。

1
2
3

Free Wifiにつなぎたいが安全性に心配がある。
だからといって有料VPNを契約するほどではない。
何かの拍子でIPが悪用されたら怖いが、無料のVPNでもある程度の信頼性が欲しい

基本的には無料で、有料版の料金は、月額5ドル。

基本無料のVPNにしては速度が非常に早い。

本当かどうか知らないが、ノーログポリシーとしている。ちなみに完全に匿名にするには向いておらず、自分の最寄りのcloudflare CDNが利用されるようだ。

現在筆者が使用しているルーターはVPN、特にWireguardに対応したものとなっている。速度もほとんど低下しないし、やはりIPアドレスがばれるのが怖いのでとりあえず設定することにした。

初めに

https://github.com/ViRb3/wgcf

を使う。ここから自分の環境にあったものを持ってきて

1
2

chmod 777 wgcf
./wgcf register

とすると　wgcf-account.toml　が生成される。

これがある状態で

`1`	`./wgcf generate`

とすると　wgcf-profile.conf　が生成される。

この.confに従いWireguardを設定すると、Warpに接続できる。

おまけ

Warp＋という有料高速版がある。これを公式クライアントでないWireguardから使う方法を紹介する。

ひとまずスマホにhttps://1.1.1.1/からアプリをダウンロードする。

右上3本線からアカウント→Warp＋キーというところの文字列を覚える、

先ほど作成した　wgcf-account.toml　内の　lisense_key　を先ほどのキーで置き換える。

1
2

./wgcf update 
./wgcf generate

とするとそれ対応の.confファイルが出来上がるので、これに従ってWireguardを設定する。

これですべてのデバイスをのWarp＋キーをそろえることができる。

ちなみに筆者はWarp＋に課金していないが、無料であっても友達紹介すると1GBもらえる。

1.1.1.1 アプリをインストールして､高速インターネット回線を使用しています。無料でインターネット上のスパイから保護されます! #1dot1dot1dot1 https://t.co/nFyju0nStA
— 草研究員＠研究室の一角 (@glasslabCRO) November 1, 2023

これを利用してさらに快適な無料VPN生活を送ることができる。

またもっとグレーな方法としては無限生成する方法がある。登録にメアドも使っていないんだから当然と言えば当然なのだがちょっとグレー。

ちなみに最も簡単な使い方はGoogle Colabを使う方法で、ここでいうWarp_Client_IDとは、スマホアプリの右上三本線→詳細→診断→クライアント設定→IDのもの。

tailscaleからMullvad VPNを使い、最強にする。

Sun, 22 Oct 2023 11:38:30 +0900

Mullvad VPNとは

スウェーデンのVPNサービス。2009年に設立され、プライバシー保護を重視したサービスとして知られている。

特徴

ログを一切保存しない

Mulvad VPNは、ユーザーのログやアクティビティを一切保存しない。そのため、政府や企業による監視を回避することができる。

噂レベルではあるが、本当にログを取っていないらしい

登録の際もMullvad VPNへのメールアドレスすら不要で登録できる。

オープンソースのソフトウェア

Mulvad VPNのソフトウェアは、オープンソースで公開されている。そのため、ユーザーはソフトウェアのコードを確認して、安全性を確認することができる。

Mulvad VPNは、プライバシー保護を重視するユーザー向けのものである。

これがtailscaleから使えるようになった。

料金

5ドル/月　特に割引があるわけではない。

一つのアカウントで5デバイスまで登録できる。

使い方

tailscaleのadminコンソールから

Settings＞General＞Feature previews＞Mullvad VPNから設定できる。

add devicesから簡単に設定できる。

あえてtailscaleから使う理由

１．設定が簡単

筆者の環境の場合、tailscaleがほとんどのデバイスにインストールされているため簡単に導入できる。

筆者の環境では大体のものをtailscale上でホストしているので悩む必要がない

２．ちょっと安い

Mullvad VPNはそのまま登録すると5ユーロ/月なので気持ち安い

終わりに

おそらく現状最強に近いVPNをお手軽に使えるのでかなりおススメ

braveを高速化し、セキュリティもいい感じ

Sat, 21 Oct 2023 13:48:45 +0900

最近筆者はBraveというブラウザを使っている。

Braveとは

プライバシー保護機能が充実

高速なパフォーマンス

BATトークンによる収益化

を売りにしているブラウザである。

広告やトラッカーをブロックする機能を標準で搭載しており、また、閲覧履歴やパスワードを暗号化して保存する機能も備えている。

しかし、色々と設定するとサイト自体が正常に動作しなくなるので設定が難しい。

今回は筆者がいじっていい感じにした設定を紹介していきたいと思う。

今回の対象者

セキュリティをがちがちにしたい人はTorブラウザだったりを使ってもらうといいと思うが、（ちなみにBraveはプライベートモードではTorブラウザを内蔵している）そこまでではないけど、安全性と快適性を適度に保ちたい人向けのものとなっている。

トラッカーと広告の削除は積極的であればあるほど幸せになれたので積極的

HTTPSにアップグレードは出来れば積極的にした方がいいが、筆者の開発の関係上ちょっと困ることが多かったので標準

設定のshieldsから、スクリプトをブロックをオンにするとかなり安全になるが、かなりのサイトの形が崩れる。

フィンガープリンティングも表示が結構崩れるので標準

クッキーはサイト間だけブロックしておけばいい派なのでサイト間のみ、誰かが触る可能性のあるPCやバレるとちょっと恥ずかしいログイン履歴がある人は削除をオンにした方が良い。

コンテンツフィルターは多いとブラウジングが面倒なので最終的にこれだけ。

この辺は特に困らなかったので全部不許可

Twitterの埋め込み不許可にすると見た目が若干ダサくなるがそんなに困らない

Facebookは使わない人なら片っ端から拒絶した方が良い。Facebookの情報収集は気味が悪いほど徹底している。

最後にこれ

情報収集されるのはすこし気になるのですべて許可しない

ほか、怪しいサイトで勝手にカメラを使われたくない場合にはサイトとシールドの設定からカメラを使用できなくしてもよい。

終わりに

超危険なサイトじゃなければ、そこそこ安全なブラウザが比較的簡単に手に入って非常に良い。

sitemap.xmlからランダムにツイートする～chatGPT仕立て～

Thu, 19 Oct 2023 16:10:53 +0900

またchatGPTにBotを作ってもらった。

今回のオーダーはこちら

`1`	`sitemap.xmlからランダムなサイトを選んでTwitterでツイートするBotをPythonで書いて`

それについてchatGPTの回答はこう。

「sitemap.xml」からランダムなサイトを選んでTwitterでツイートするPythonのBotを作成するには、いくつかのステップが必要です。以下に、このタスクを達成するための基本的なスクリプトの作成手順を示します。

必要なライブラリのインストール:
まず、次のPythonライブラリをインストールしてください。

tweepy: Twitter APIを操作するためのライブラリ
requests: ウェブサイトデータを取得するためのライブラリ
beautifulsoup4: HTML解析のためのライブラリ
ターミナルで以下のコマンドを実行してインストールします。


pip install tweepy requests beautifulsoup4
Twitter API アクセスのセットアップ:
Twitter APIにアクセスするために、Twitter Developer Platformでアプリケーションを作成し、APIキーとトークンを取得してください。以下のURLからアプリケーションを登録し、APIキーを取得します。

https://developer.twitter.com/en/apps

取得したAPIキーとトークンをメモしておきます。

Pythonスクリプトの作成:
以下はPythonスクリプトの例です。

import tweepy
import requests
from bs4 import BeautifulSoup
import random

# Twitter APIキーとトークン
consumer_key = 'YOUR_CONSUMER_KEY'
consumer_secret = 'YOUR_CONSUMER_SECRET'
access_token = 'YOUR_ACCESS_TOKEN'
access_token_secret = 'YOUR_ACCESS_TOKEN_SECRET'

# Twitter APIにアクセス
auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
auth.set_access_token(access_token, access_token_secret)
api = tweepy.API(auth)

# sitemap.xmlのURL
sitemap_url = 'URL_TO_SITEMAP_XML'

# sitemap.xmlからランダムなURLを選択
response = requests.get(sitemap_url)
if response.status_code == 200:
    soup = BeautifulSoup(response.text, 'xml')
    urls = [loc.text for loc in soup.find_all('loc')]
    random_url = random.choice(urls)

    # 選択したURLをツイート
    tweet_text = f"Check out this random website: {random_url}"
    api.update_status(tweet_text)
    print(f"Tweeted: {tweet_text}")
else:
    print("Failed to fetch sitemap.xml")

このスクリプトでは、指定したURLから sitemap.xml を取得し、そのXMLファイルからランダムなURLを選択してTwitterにツイートします。Twitter APIキーとトークンを適切に設定し、sitemap_url を実際のsitemap.xmlのURLに置き換えてください。

また、このスクリプトは一度実行すると、指定されたURLからランダムなウェブサイトをツイートします。このスクリプトを定期的に実行することで、定期的にランダムなウェブサイトをツイートするBotを実装できます。

注意: Twitter APIを使用する際には、API使用ポリシーに従ってください。また、このスクリプトは簡単な例であり、エラー処理やセキュリティ上の配慮を追加することが重要です。

どれどれ試してみようか….

以下コピペ

import tweepy
import requests
from bs4 import BeautifulSoup
import random

# Twitter APIキーとトークン
consumer_key = 'YOUR_CONSUMER_KEY'
consumer_secret = 'YOUR_CONSUMER_SECRET'
access_token = 'YOUR_ACCESS_TOKEN'
access_token_secret = 'YOUR_ACCESS_TOKEN_SECRET'

# Twitter APIにアクセス
auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
auth.set_access_token(access_token, access_token_secret)
api = tweepy.API(auth)

# sitemap.xmlのURL
sitemap_url = 'URL_TO_SITEMAP_XML'

# sitemap.xmlからランダムなURLを選択
response = requests.get(sitemap_url)
if response.status_code == 200:
    soup = BeautifulSoup(response.text, 'xml')
    urls = [loc.text for loc in soup.find_all('loc')]
    random_url = random.choice(urls)

    # 選択したURLをツイート
    tweet_text = f"Check out this random website: {random_url}"
    api.update_status(tweet_text)
    print(f"Tweeted: {tweet_text}")
else:
    print("Failed to fetch sitemap.xml")

これを筆者の記事のようにしてPleroma用に書き換え、このBotで運用している。

前回もChatGPTにBotを書いてもらったが非常に精度が高く、人間は簡単なプログラミングをする必要が本当になくなってきていると感じる。

Tweet botをChat-GPTに書いてもらう

Tue, 17 Oct 2023 20:19:50 +0900

X,Twitter,PleromaのBotを作ろうと思ったが、そのまま書いても面白くなかったので、Chat-GPTに書いてもらった。

`1`	`ランダムな日本語3文字をランダムにTwitterでツイートするプログラムをPythonで書いて`

これをそのままChat-GPTに入力した。

TwitterでツイートするためにPythonを使用するには、TweepyというTwitter APIを使用することが一般的です。以下は、Tweepyを使用してランダムな日本語3文字をツイートするPythonプログラムの例です。まず、Tweepyをインストールし、TwitterのAPIキーとアクセストークンを取得してください。

1. Tweepyのインストール:


pip install tweepy


2. Tweepyを使用してランダムな日本語3文字をツイートするPythonプログラム:


import tweepy
import random

# Twitter APIキーとアクセストークン
consumer_key = "あなたのコンシューマーキー"
consumer_secret = "あなたのコンシューマーシークレット"
access_token = "あなたのアクセストークン"
access_token_secret = "あなたのアクセストークンシークレット"

# Tweepyの初期化
auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
auth.set_access_token(access_token, access_token_secret)
api = tweepy.API(auth)

# ランダムな3文字の文字列を生成する関数
def generate_random_string():
    characters = "あいうえおかきくけこさしすせそたちつてとなにぬねのはひふへほまみむめもやゆよらりるれろわをん"
    return ''.join(random.choice(characters) for _ in range(3))

# ツイートするメッセージを生成
tweet_text = generate_random_string()

# ツイートを送信
api.update_status(status=tweet_text)

print(f"ツイートしました: {tweet_text}")


このプログラムは、Tweepyを使用してTwitterにランダムな3文字の日本語を含むツイートを投稿します。APIキーとアクセストークンは、Twitter Developer ダッシュボードから取得できます。プログラムを実行する前に、適切なキーとトークンを設定してください。

なんと正解が出てきた。

短めのプログラミングならChat-GPTに任せた方がお手軽なのかもしれない。

APIの制限があることから現在は筆者のPleromaで運用している。興味があったらフォローしてほしい。

最後にコピペできるようにしておく

import tweepy
import random

# Twitter APIキーとアクセストークン
consumer_key = "あなたのコンシューマーキー"
consumer_secret = "あなたのコンシューマーシークレット"
access_token = "あなたのアクセストークン"
access_token_secret = "あなたのアクセストークンシークレット"

# Tweepyの初期化
auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
auth.set_access_token(access_token, access_token_secret)
api = tweepy.API(auth)

# ランダムな3文字の文字列を生成する関数
def generate_random_string():
    characters = "あいうえおかきくけこさしすせそたちつてとなにぬねのはひふへほまみむめもやゆよらりるれろわをん"
    return ''.join(random.choice(characters) for _ in range(3))

# ツイートするメッセージを生成
tweet_text = generate_random_string()

# ツイートを送信
api.update_status(status=tweet_text)

print(f"ツイートしました: {tweet_text}")

PleromaやMastodonの場合には筆者の解説をみて書き換えてみてほしい。

Google search labsが最強すぎて検索の常識が変わりそう

Fri, 06 Oct 2023 19:48:44 +0900

Google search labsとはGoogle Chromeで現在β版が提供されている機能

せっかくなので、紹介は自分でやってもらいましょう。

Google Search Labs は、Google 検索のユーザーが開発初期段階の新しい検索体験をテストしてフィードバックを共有するためのプログラムです。
Search Labs は、生成 AI がまとめた情報を検索結果に表示する機能です。質問に対して対話形式で回答を答えてくれたり、検索結果に画像や動画を表示する機能もあります。
Search Labs は、デスクトップ版 Chrome およびスマートフォンの Google アプリ（Andoroid／iOS）で利用できます。利用するには、Google アカウントを登録し、Chrome ブラウザから SGE を有効にして利用規約に同意する必要があります。
Search Labs は、検索に関する大胆なアイデアや機能をテストするための登録制の新しい仕組みです。参加するユーザーは、初期段階の実験的なアイデアをテストし、開発チームへ直接フィードバックを共有することができます。

とのこと。

これまでもChat-GPTなどに質問していたが、今回のものはさらにシームレス。

単純に機能を有効化してGoogle Chromeでいつも通り検索するだけ。

Search labとChatGPTで決定的に違う点として、どこから持ってきた情報なのかを示してくれることがある。

このように、どのサイトを要約してその文を作成したかが分かりやすくなっており、もしその文が間違えていたとしても、その間違いを修正しやすくなっている。

Chat-GPTの欠点として、何が間違えているのか判断しにくいことが、これまで挙げられてきたが今回のように引用元を明らかにすることでこの欠点を改善するとはさすがGoogleといったところ。

現在、まだβ版であることからPC版Chromeでしか使用できないが、今後スマホでも使用可能になると考えられる。

終わりに

検索から容易にAIの力を借りられるため検索をより高速に行うことができ、非常に便利なので、ぜひ利用してみてほしい。

【ほかのサーバーからフォローする】ActivityPubって何？【Misskey】

Thu, 05 Oct 2023 15:52:43 +0900

Pleromaのアカウントを作ったが、想定以上に反響をいただいた。

非常に簡単だが、ActivityPubについて紹介したいと思う。

１．ActivityPubの特徴

分散化

ActivityPubは分散型プロトコルであるため、ネットワークを制御する単一のサーバーはない。これにより、検閲や障害に対する耐性が向上する。

相互運用性

ActivityPubはオープン標準であるため、プロトコルの異なるソフトウェア実装は相互に通信できる。これにより、異なるサーバーのユーザーがフォローしてやり取りすることができる。

選択肢

さまざまなActivityPub互換ソフトウェアが利用可能であるため、ユーザーはニーズに合ったソフトウェアを選択できる。

２．つまり何だってんだよ

つまり、MisskeyやMastodon、PleromaといったActivityPubに対応したSNSは互換性があり、

MisskeyのアカウントでMastodonのアカウントをフォローしたり、その逆をしたりすることが可能なんです。

それぞれのMisskeyサーバーにはそれぞれ雰囲気やテーマがあり、それに沿って運用することが求められますが、それ以上にはとくに制限はありません。

３．試してみよう

現在有名な日本人が多くいるActivityPubサーバーとしてMisskey.ioやsushi.skyがありますが、現在ioはアカウントの急激な増加に対応できておらず、新規登録を停止している場合があるので、今回はsushi.skyから弊Pleromaサーバーで飼っている飼い猫ちゃんをフォローしに行きたいと思います。

１．アカウントを作る

ここからhttps://sushi.ski/でアカウントを作る

２．早速だけどフォローしてみよう

設定の一つ上のポチポチを開くとタブが出る。これの照会を選択。

https://conference.glass-lab.net/users/test　と入力してもらうと…..

でた、これをフォローしてもらえると、ブログの更新を知らせてくれる。

同様の手順でほかのサーバーのアカウントをフォローできる。

終わりに

Twitterとかに比べるとかなり不親切設計に思えてしまう。

何か良い方法はないだろうか

【RSSリーダー】Feedlyのすすめ

Wed, 04 Oct 2023 19:42:31 +0900

Feedlyとは？

Feedlyとは、Webサイトの更新情報を自動的に収集し、その情報を一覧で表示するソフトウェア。RSSリーダーと呼ばれる。

Feedlyを使用すると、気になるWebサイトの更新情報を逃さずに簡単に取得することができ、特定の記事をブックマークする機能も備わっているため、後からじっくり見返す時にも非常に便利

Feedlyの特徴

さまざまなWebサイトの更新情報を一覧で表示できる

Feedlyに登録したWebサイトの更新情報が、1つの画面に集約される。そのため、複数のWebサイトの更新情報を一度に確認することができる。

カスタマイズ性が高く、自分に合った表示方法を設定できる

Feedlyでは、表示方法をさまざまな角度からカスタマイズすることができる。たとえば、記事のタイトルや概要を表示するかどうか、記事の画像を表示するかどうか、などを選択することができる。

さまざまなデバイスで利用できる

Feedlyは、Webブラウザ、スマートフォン、タブレットなど、さまざまなデバイスで利用できる。

Feedlyの使い方

Feedlyの使い方は、非常に簡単

１．Feedlyに登録する

ここから登録できる。

２．気になるWebサイトを登録する Feedlyの画面で「+ フィード追加」をクリックして、RSSフィードのURLを入力する。

ここに自分の登録したいサイトのURLを入れる

登録されるとこのような形で自分の登録したサイトが更新されると自動で流れてくる。

Feedlyのメリット

さまざまなWebサイトの更新情報を効率的に収集できる

Feedlyを利用すれば、複数のWebサイトの更新情報を一度に確認することができるため、効率的に情報収集することができる

自分に合った表示方法で情報を管理できる

Feedlyでは、表示方法をさまざまな角度からカスタマイズすることができるため、自分に合った表示方法で情報を管理することができる。

さまざまなデバイスで利用できる

Feedlyは、さまざまなデバイスで利用できるため、いつでもどこでも最新情報をチェックすることができる。

まとめ

Feedlyは、さまざまなWebサイトの更新情報を効率的に収集できる便利なソフトウェアです。カスタマイズ性が高く、自分に合った表示方法で情報を管理することができる。

また、サイトを検索しなくとも、自分の好きな情報が自動で収集できるのは時短的な面からみても優秀

【Pleroma】Botが生えた【Twitter API】

Tue, 03 Oct 2023 20:09:18 +0900

Pleromaを立てたが特に利用目的がない。

TwitterのBotをこっちで立て直せばいいかと思い、いろいろいじることにした。

PleromaのToken生成法

これを使う

これにPleromaのURLをInstance URLに、Tokenを生成したいアカウントの＠以下をClient Nameに入れてPublish access tokenをPush

Websiteは入力しなくても問題なかった。

ちなみにだが、サイトのAbout Securityにある通り

`1`	`このページはあなたのクライアントID、クライアントシークレット、アクセストークンを使用していますが、サイトは純粋なJavaScriptです。`

とある通り、どこかのサーバーに飛ばしているわけではない。

どうしても気になるなら、ここからセルフホストするといい感じだと思う。

使い方

ほぼMastodonのAPIと同じ。

Pythonの

`1`	`pip install mastodon.py`

からインストールできるmastodon.pyが特に便利で

from mastodon import Mastodon

pleroma = Mastodon(
    api_base_url  = 'PleromaのURL',
    client_id     = 'さっきのクライアントキー',
    client_secret = 'さっきのクライアントシークレット',
    access_token  = 'さっきのアクセストークン'
)

pleroma.toot('こんにちは！')

で投稿できる。

これをいろいろと応用すれば、TwitterのBotをPleromaにご招待できる。

終わりに

Twitter APIが無料ではなくなってしまって行き場を失ったBot達をActivityPubで復活させませんか？

cloudflare pages＋HUGOに乗り換える【その１】

Mon, 02 Oct 2023 21:45:03 +0900

今回、wordpressからHUGO＋Cloudflare pagesにサイトを移行したので、やり方を紹介する

環境

wordpress(筆者の環境はWordpress)

操作環境：debian

やり方

GitHub - SchumacherFM/wordpress-to-hugo-exporter: Hugo is static site generator written in golang. Wordpress is a tool for remote access to your server ;-) ❗️Contributions welcome!

これを使うと上手くいくらしいが……

通常ならインストール後Tool→Export to HUGOを押すとファイルがダウンロードされる。がなぜだが動作しなかった。

うまくいかなかったので後日修正案を提示する。

それはそれとして先に進む

themeとしてHUGO THEME STACKを使用した

やり方として、Use this templateをクリックして新しいレポジトリを作り、github codespaceを作る、といじれるようになる。

これをローカル環境にpullする。

配置場所
さっきの手に入れたファイルのうち、contentファイル（画像なんかを入れているファイル）をそのままStaticファイルに入れる。
Staticファイル下はそのままRootドメイン下に置かれるため、ドメインを変更しない場合には、このまま入れることで画像のURLを変更せずに移行することが可能である。

なお、ads.txtを移行する必要がある人はこれも同じくStaticファイル直下に置く。

その他の記事が含まれているPostファイルをそのままContentファイルに入れる

これで配置は完璧。

試しに起動してみよう。

hugoのディレクトリで、

`1`	`hugo server --bind 192.168.2.100 --baseURL=http://192.168.2.100`

ipアドレスが192.168.2.100の時の場合はこう。適宜環境に合わせる

自分のローカル環境から閲覧する場合にはhugo serverでOK

hugoを起動させたまま192.168.2.100:1313にアクセス

これでプレビューができる。

このhugo serverを起動させた状態でファイルを変更すると自動的に更新されるため、非常に便利。

終わりに

wordpressは便利だけど、金銭的負担が大きくなる傾向にありますが、HUGOの勉強をすればタダでいいので、非常にコスパは高いのではないでしょうか

pleromaを立てました！

Sun, 01 Oct 2023 20:19:51 +0900

筆者のpleroma

自分でpleromaを立てました。

インストール時、それと言って特に詰まったことはありませんがcloudflaredアンインストール問題に詰まって丸一日かかりました。

今回はいつもの１コア512mbVPSに同居する形でインストールしました。

結論としてはpihole,tailscale,invidiousを稼働させながらpleromaとcloudflaredをインストールして、メモリ使用率70％程度で非常に軽快に動作しています。

特に目的があって立てたわけではないので、これから運用については考えていきたいです。

目標としては、現在新規登録を制限していますが、これを徐々に解除していきたいと考えています。

筆者のアカウントもありますので、ぜひフォローお願いします！

cloudflared service uninstall でアンインストールできなかったのを解決

Sun, 01 Oct 2023 14:27:15 +0900

しばらくcloudflaredを使ってなかったら、なんとなく様子がおかしくなっていた。

一度アンインストールしてから再インストールすればいいかと思い

`1`	`cloudflared service uninstall`

INF Using Systemd
INF Service ‘cloudflared-update.timer’ not installed, skipping its uninstall
INF Service ‘cloudflared.service’ not installed, skipping its uninstall
INF Service ‘cloudflared-update.service’ not installed, skipping its uninstall
INF Linux service for cloudflared uninstalled successfully

消えたのかな？

で再インストールしようとcloudflare tunnel の指示に従う

curl -L --output cloudflared.deb https://github.com/cloudflare/cloudflared/releases/latest/download/cloudflared-linux-amd64.deb && 

sudo dpkg -i cloudflared.deb && 

sudo cloudflared service install [token]

としたところ、cloudflaredがインストール済みとかなんとか言われているよう

でもcloudflare tunnelには接続しない。

これはいかにと思い色々いじる。

結局

`1`	`cloudflared service uninstall`

としたのちに

1
2
3

rm -rf /etc/systemd/system/cloudflared-update.service
rm -rf /etc/systemd/system/cloudflared.service
rm -rf /etc/systemd/system/cloudflared-update.timer

を削除したのち、

`1`	`systemctl daemon-reload`

としたのちにインストールすることで正常にインストールすることができた。

終わりに

これ修正するだけで2時間かかった。最後のdaemon-reloadに気付くのに１時間かかった。皆様の時間が無駄になりませんように。

クラウド検閲問題について

Thu, 28 Sep 2023 21:08:31 +0900

クラウドの中身を見られてアカウント凍結になる人が結構いる。例出産のときの写真をiCloudに上げていたら性的な画像としてbanされた。子供のプールの写真を上げていたらBanされたファイルを保存していたら、違法ダウンロードのものとみなされてBanされた。

次にそれぞれのクラウドについて比較していく

１．Onedrive

利用規約

プライバシーに関する声明では、マイクロソフトによるお客様のコンテンツの使用方法についても規定しています。お客様のコンテンツとは、お客様と他のユーザーとのやり取り、お客様が本サービスを通じてマイクロソフトに送信する投稿、ならびにお客様が本サービスを通じてアップロード、保存、放送、または共有するお客様のファイル、写真、文書、音声、デジタル作品、ライブストリーム、およびビデオを意味します (以下「お客様のコンテンツ」といいます)。同意に基づいて処理が行われる場合、および法令によって認められる範囲において、お客様は、本サービスを使用することにより、または本規約に同意することにより、マイクロソフトがプライバシーに関する声明の規定に従ってお客様のコンテンツおよび本データを収集、使用、および開示することを承諾したものとします。マイクロソフトは、プライバシーに関する声明に規定されているとおり、別途通知を行ってお客様の承諾を求める場合があります。

検閲していると噂のOnedrive、検閲できそうな文言がある

お客様が本規約に違反した場合、マイクロソフトは独自の裁量によりお客様に対する本サービスの提供を停止したり、お客様の Microsoft アカウントを停止することがあります。また、マイクロソフトは、本規約を強制するための取り組みの一環として、本サービスからの通信または本サービスへの通信 (電子メール、ファイル共有、インスタント メッセージなど) をブロックすることもでき、さらに、理由の有無を問わず、お客様のコンテンツを削除し、または公開を拒否することができます。申し立てられた本規約の違反について調査する場合、マイクロソフトは問題を解決するためにお客様のコンテンツを審査する権利を留保し、お客様は当該審査を許可するものとします。ただし、マイクロソフトは本サービス全体を監視することはできず、これを試みることもありません。

一応試みることはないと書いてますが、じゃあどうやって違反確認すんねん！とツッコみたい。

Microsoftアカウントが制限されるとWindowsに制限がかかるので避けたい

２．Google Drive

利用規約

Google は、コンテンツが違法か否か、または Google のプログラム ポリシーに違反しているか否かを判断するために、コンテンツを審査することができます。さらに、Google は、Google のポリシーまたは法律に違反していると合理的に判断したコンテンツを削除したり、その表示を拒否したりできます。ただし、これは Google がコンテンツを審査していることを必ずしも意味するものではありません。Google によるコンテンツの審査が行われていることを前提としないでください。

がっつり検閲してました。 GoogleアカウントがBanされると様々なところで影響が出るのでさけたいところ。

３．Dropbox

利用規約

1
2
3

Dropbox がお客様のデータをホストする、バックアップする、またお客様のリクエストに基づき情報を共有する場合、Dropbox はお客様の許可を必要とします。本サービスは、コメント、共有、検索、画像サムネイル、ドキュメントのプレビュー、OCR、シンプルな並べ替えや整理、パーソナライゼーションなど各種機能を提供し、無駄な作業を削減します。こうした機能およびその他の機能を提供するため、Dropbox はお客様のデータにアクセスし、それを保存およびスキャンします。お客様が本サービスをご利用いただくにあたり、お客様はこうした権利を Dropbox に許可し、その許可は Dropbox と提携している提携企業および認定サードパーティにも適用されます。
・・・略・・・
本規約および利用目的に関する制限（AUP）の遵守性を確認するため、Dropbox はお客様のアクティビティおよびコンテンツを調査する権限を有します。本サービスをご利用いただくユーザーが投稿、共有するコンテンツの責任を Dropbox が負うことは一切ありません。

スキャンするそうです。

潔くスキャンするって書いてあるあたり、もはや好感が持てます。

４．有名どころは大体怪しい、他の選択肢は？

有名なところは基本見てる。

じゃあ大丈夫そうなクラウドを探そう！

事前に用語の説明

エンドツーエンド暗号化（E2E）：送信者と受信者との間で送信されたデータを、サードパーティがアクセスできないように暗号化する

５．Proton Drive

hp スイスにあるProtonが運営するオンラインストレージサービスまだβだと思っていたら、つい先週正式リリースされていた。 Protonはプライバシーを気にする方には有名なところなので比較的信頼できる。 E2E暗号化対応

６．Icedrive

hp 月4.99ドル/1TB、安い ID Cloud Services（イギリス）運営 2019年からのサービスらしくちょっと心配 E2E対応

７．pCloud

hp 2013年からサービスされているクラウドスイス製日本語対応済比較的運営が長いことから信頼できそう。クラウドとしては面白い「生涯」プランがあり、契約者が死ぬ、もしくは99年経過するまでの買い切りプランがある。生涯プラン500GB299USD（筆者がみたときには199USD）は結構よさそう。 E2E対応

E2Eクラウドが信用できない？なら自分で暗号化しよう！

Cryptomator

かなり有名なソフト、使い方はいたって簡単で筆者はここのサイトを見て使った。これで信頼性をある程度上げられる。

欠点として、iOSはオープンソースではない、気になる人は使わない方が良い。

終わりに

クラウドのプライバシー問題はなかなか難しい。どこまで信用できるかの問題にはなるが、とりあえずOnedriveやGoogle Cloudに微妙なものをアップロードしないようにすることからだろうか？

【chrome】おすすめ拡張機能

Tue, 26 Sep 2023 18:32:35 +0900

筆者が使っているおすすめ拡張機能を紹介

１．Adblock for Youtube

Adblock For Youtube - Youtubeの広告ブロック

indiviousに移行してから出番がない、が何かの時には使うかもとおいてある。

２．AutoPagerize

AutoPagerize

ネットサーフィンするときに便利。大体のページで次へを押さなくても次のページを表示してくれる。

３．DeepL翻訳

DeepL翻訳

説明不要、最強の翻訳。

４．Flow Chat for YouTube Live

Flow Chat for YouTube Live

Youtubeライブのコメントがニコニコ風に流れる。コメント欄を表示せずに全画面にしてもコメントが流れるので非常に便利。

同じ理由でTwitch版のコメント流し拡張機能を入れている。 Twitchチャット弾幕

５．Joplin Web Clipper

Joplin Web Clipper

Joplin Web Clipperでウェブページをまるごとコピーできる。新聞のスクラップブックのような使い方ができる。筆者はよくURL迷子になりがちなので、二回目がありそうなサイト（レシピだったり旅行ログだったり技術blogだったり）はすべてこちらで保存するようにしている。

６．Privacy Redirect

Privacy Redirect

youtubeのリンクを踏んだ時にinvidiousに転送してくれる。自身で立てたinvidiousを指定してもいいし、指定しなかった場合にはランダムな公開invidiousサーバーに転送される。登録されているinvidiousサーバーは結構な確率で停止しているためできるだけ自分で立てた方が良い。

本来であればTwitterやfacebookなんかも別の広告なしのものに転送してくれるらしいが、ほぼ停止しているのでほぼYoutube専用だがかなり便利。

７．Mouse Dictionary

Mouse Dictionary

英語を学習している人必見の最強辞書。ここから英辞郎のテキストデータを購入し、読み込ませることで最強になる。 Mouse Dictionaryのgithubを見てほしいのだが驚くほど高速である。

管理画面のPDFビュアーからPDFに対しても行える。死角なし。

終わりに

拡張機能を見て回ってるときの楽しさは代えがたい

WordpressからClouflare pagesに乗り換えてコストカットする

Mon, 25 Sep 2023 14:40:00 +0900

wordpressのサーバーはなんだかんだ高い。静的サイトにしてcloudflare pagesに載せ替えた結果、表示速度、レスポンス、金銭面等で非常に満足行く結果となった。

１．コスト面

wordpressではドメイン代とサーバー代がかかるが、Cloudflare pagesだとドメイン代だけでよい。

Cloudflare pagesは無料枠と課金枠があるが無料枠が非常に潤沢である。

無料枠

ビルド環境が500回/月と、一人なら十分。複数人だとちょっと怪しい？くらいの量転送量は無制限商用利用可 SSL、独自ドメイン可

まあ困らない

２．レスポンス、表示速度

かなり早い。これだけの速度をWordpressで出そうと思ったらすごく大変だと思う。

参考までにこのサイトのGoogleのPageSpeed insight

サイト自体が軽量なのもあるが、かなり高速。

３．問題点

どう考えても最強に見えるのだが、一つ問題点があり、GitとHUGOというコマンド操作になれていないと厳しいものがある。

Wordpressの値段は毎月1000円は下らないこともあり、コスト的にはかなり厳しい。特にこのブログのように収益が特に上がっていないブログではかなりの負担となる。

実際、Wordpressで行わなくてもHUGOで実現できることが多く、このブログのように旅行ブログと技術ログ的な使い方をするのであれば十分である。

WordpressのコストはHUGOやGitの勉強で減らすことができるので、ぜひ挑戦してほしい。

iPhoneにちゃんとした無音カメラがあった件について

Sat, 23 Sep 2023 16:43:43 +0900

iPhoneに無音カメラはないと思っていましたが、実はありました。

無音です。

画質はどうなんだ

iPhoneの無音カメラってどうにもこうにも画質が悪い気がしていましたが、今回はさすがmicrosoft謹製、気になりません。

その他の機能

パノラマ機能、ビデオ機能、写真機能、ドキュメント機能がある。この辺はさすがにiPhone純正のものが有利か

筆者おすすめの使いかた

博物館や美術館（もちろん写真撮影可のところ）で、音をあまり出したくない場面てあると思うが、そういう時に使い勝手が非常に良い。

そのほかに会議、講演（もちろん写真可のばめんだけですよ）でも重宝する。

また紙の書類の内容をコピペしたいときにはドキュメント機能で紙の向きを整えてあげると非常に精度が高くなる。

iOS16から追加された、iPhoneの文字認識精度は非常に高い。書類作成時に手元の書類からコピペしたくなった時には積極的に活用していきたい

実際にボードゲームを囲つしさもあるよね
ボードゲームを久しぶりにみんなでやれたのは非常に楽しかったのですが、実際にボードゲームを囲う楽しさもあるなと感じました。機会を見つけて昔の友達と実際にボードゲームを囲いたいです。
あとは旅先にボードゲームを持っていくのが厳しい時にも活用できるかなと思いました。
歳とりすぎて朝までボードゲームとかはさすがに厳しいかな.....
©
LICENSED UNDER CC BY-NC-SA 4.0
関連するコンテンツ
iPhoneに合わせると最強になる端子について
Tiny Tiny RSSを導入する
© 2020-2023研究室の一角
Built with Hugo
テーマ Stack は Jimmyによって計されています

終わりに

どうしても音が出せない場面で音を出さず、また画質を落とさなくていいのは圧倒的強みではないだろうか

それとおまけになるが、想像以上にiPhoneの文字認識制度が高く、書類作成に積極的に活用していきたい。

くれぐれも法律に触れるような使い方はしないように！

【本当に超最低限】HUGOとCloudflare pagesを使うにあたって必要なGitの知識メモ

Fri, 22 Sep 2023 14:33:25 +0900

ブログをやられている方の中で、静的なサイトでも十分だな、コスト削減したいな、と思っている方も多いと思うので背中を押しに行きます。

１．Gitをインストールする。

ここでgitをインストールします。おすすめはlinuxなのでWSLをお勧めします。

２．githubにアカウントを登録する。

ここからアカウントを登録するだけ。ログインしたら右上のアカウントからyour repositoryを選択しnewから新しいレポジトリを作成する。

こんな感じの画面かと思うので Repository nameは好きなように、後は失敗したのを他のひとにバレるのが嫌な人はPrivateにしましょう。最初はまず練習からです。

３．gitのコマンド、超最低限

ここからgitのコマンドを超最低限示します。

githubのRepositoryを複製したいとき

cloneといいます。 hugoのgithubにあるものを全部手元に複製するときには

`1`	`git clone https://github.com/gohugoio/hugo.git（このURLは適宜変更する。）`

このURLはここからコピペできる。

githubの複製したRepositoryを最新にしたいとき

pullといいます。

`1`	`git pull`

とすることで、複製したものが最新のものに更新されます。HUGOの場合では複数人でGithubを使ってサイトを作成する場合によくつかわれるかと思います。

ここまで分かったら一旦repositoryをいじってみましょう。 gitをインストールした環境で

mkdir test23
cd test23
echo "# test23" >> README.md
git init
git add README.md
git commit -m "first commit"
git branch -M main
git remote add origin https://github.com/shin-cubic/test23.git
git push -u origin main

今回はtest23というサイトにREAD.mdを追加し、今後もこのディレクトリをgitで管理できるようにしました。 git add → git commit → git pushで変更を保存する。 今回のHUGOでサイトを作るうえで一番大事なコマンドです。 git addは変更したものを次回の更新時にgithubでも変更するようにするコマンドです。

`1`	`git add .`

このコマンドは使ったディレクトリに含まれるすべての変更を次回の変更時に変更するようにするコマンドです。今回の場合、必ずtest23直下でこのコマンドをするようにすると変更漏れがありません。

`1`	`git commit -a -m"変更内容をここに書いておくとあとでわかりやすいですよ"`

git commit とすることで、この変更を確定します。-m 以下には今回書いた記事のことや修正点を書いておくと管理が楽になります。

`1`	`git push`

これでようやくgithubが更新されます。ログインするように促されますが、ここで求められるパスワードはgithub登録時のものではなく、 settingsから左下のDeveloper settingsへここのtoken(classic)から作成できるものです。 token作成時にはいろいろとオプションがあると思いますが、HUGOを扱う場合にはデフォルトのままで大丈夫です。

これで変更をgithubに反映することが出来ました。

終わりに

add commit pushの説明があまり良くなかったのでこちらにうまく説明されているものを載せておきます。

出来るだけお金をかけずにデータを守る

Fri, 22 Sep 2023 12:29:54 +0900

だいたい400GBくらいある。お気に入りの旅行写真たちを絶対に守りたい

幾つかの選択肢が上がった。 １．Glacier Deep Archive 0.00099USD/GB 大体50円/月（バージニア）取り出そうとした時、取り出しリクエスト料金と転送量に対する課金がある。 取り出しリクエスト料金 標準 0.10USD/1,000リクエスト 12時間以内大容量 0.025USD/1,000リクエスト 48時間以内 転送量 標準 0.02USD/GB 12時間以内大容量 0.0025USD/GB 48時間以内まあ大容量でいいかといった感じ。 ２．Backblaze B2 Cloud Storage 0.005USD/GB 大体300円/月ダウンロードが0.01USD/GB 完全にただのオブジェクトストレージとしての活用になる。安いがちょっとびみょい ３．自分で保存 結局今はこれに落ち着いている。

今の構成

筆者の荷物を置ける場所は１．今の家２．実家がある。まあまあ離れているがどちらも関東圏である。

今回活用するのはこれ見たことある人も多いと思うが、ハードオフのジャンクHDDである。値札通り550円500GBである。これに写真を入れたものを3つほど用意する。これをそれぞれ１．実家２、３．今の家

として定期的にバックアップを入れていく。筆者は一年に一回は実家に帰るのでそこでバックアップを取っている。HDDは定期的に通電させないと壊れるらしいのでちょうどいいかなと思っている。金銭的な負担としては1650円である。

ジャンクにバックアップ任せるとか正気か？

と思われる方もいると思うがあくまでバックアップにお金かけるのも良くないし、なんとなくGoogleにデータを預けるのはなんとなくいい気持がしない。またHDDが壊れたことは何度かあるが、ジャンクはいい感じに使用時間がばらけているため、同時に壊れることはないんじゃないかという期待を込めてのジャンクバックアップである。

終わりに

どうせならバックアップじゃなく旅行とかにお金使いたいですよね！

HUGOのRSSを修正した

Thu, 21 Sep 2023 20:51:48 +0900

今回やったことはタイトルの通り、RSSを修正した。最終的にはこんな感じに修正した。

HUGOはデフォルトでRSSを出力してくれる。がしかし文章を全文出力していたり、なんだかエラーをはいていたり結構ひどい

indexのテンプレートを修正した結果

テンプレートの場所はlayouts/index.rss.xml. なければ自作する。いろいろいじった。最終的にはこんな感じ、コピペ可

{{- $pctx := . -}}
{{- if .IsHome -}}{{ $pctx = .Site }}{{- end -}}
{{- $pages := slice -}}
{{- if or $.IsHome $.IsSection -}}
{{- $pages = $pctx.RegularPages -}}
{{- else -}}
{{- $pages = $pctx.Pages -}}
{{- end -}}
{{- $limit := .Site.Config.Services.RSS.Limit -}}
{{- if ge $limit 1 -}}
{{- $pages = $pages | first $limit -}}
{{- end -}}
{{- printf "<?xml version=\"1.0\" encoding=\"utf-8\" standalone=\"yes\"?>" | safeHTML }}
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
  <channel>
    <title>{{ if eq  .Title  .Site.Title }}{{ .Site.Title }}{{ else }}{{ with .Title }}{{.}} on {{ end }}{{ .Site.Title }}{{ end }}</title>
    <link>{{ .Permalink }}</link>
    <description>Recent content {{ if ne  .Title  .Site.Title }}{{ with .Title }}in {{.}} {{ end }}{{ end }}on {{ .Site.Title }}</description>
    <generator>Hugo -- gohugo.io</generator>{{ with .Site.LanguageCode }}
    <language>{{.}}</language>{{end}}{{ with .Site.Author.email }}
    <managingEditor>{{.}}{{ with $.Site.Author.name }} ({{.}}){{end}}</managingEditor>{{end}}{{ with .Site.Author.email }}
    <webMaster>{{.}}{{ with $.Site.Author.name }} ({{.}}){{end}}</webMaster>{{end}}{{ with .Site.Copyright }}
    <copyright>{{.}}</copyright>{{end}}{{ if not .Date.IsZero }}
    <lastBuildDate>{{ .Date.Format "Mon, 02 Jan 2006 15:04:05 -0700" | safeHTML }}</lastBuildDate>{{ end }}
    {{- with .OutputFormats.Get "RSS" -}}
    {{ printf "<atom:link href=%q rel=\"self\" type=%q />" .Permalink .MediaType | safeHTML }}
    {{- end -}}
    {{ range $pages }}
    <item>
      <title>{{ .Title }}</title>
      <link>{{ .Permalink }}</link>
      <pubDate>{{ .Date.Format "Mon, 02 Jan 2006 15:04:05 -0700" | safeHTML }}</pubDate>
      {{ with .Site.Author.email }}<author>{{.}}{{ with $.Site.Author.name }} ({{.}}){{end}}</author>{{end}}
      <guid>{{ .Permalink }}</guid>
      <description>{{ .Summary | html }}</description>
    </item>
    {{ end }}
  </channel>
</rss>

これをTTRSSにいれるとこんな感じになった。

かなりスリムになった。

終わりに

デフォルトのRSSはちょっといじった方がよさそう

Proxmox上に録画鯖を乗せ換えた時のTips

Tue, 19 Sep 2023 15:54:17 +0900

当ブログはアフィリエイト広告を利用し商品を紹介しています。

Proxmoxならバックアップも簡単だし、なによりサーバー機能を分割できるので他のことをやらせやすくなる

１．環境

Ryzen3400G 8GB proxmox VE 6.4 PX-S1UD

リンク

２．やったこと

ほかの解説記事と大体同じなのでインストールとかは省略

あまり解説で出てなかったことなので覚書

ProxmoxのVM管理画面からHardware→Add→USB Deviceとして

ここからVM側に渡したいものを選択。今回はPxS1UDとEMV Smartcard Readerを選択。VMを再起動すると難なく認識された。

３．おすすめポイント

たまにUSBの認識がおかしくなり、定期的な再起動が必要だったが、今回VM化することで再起動が簡単になった。また環境全体をバックアップするのが非常にやりやすくなった。

技術ログ on

Whooshを利用したPDF全文検索システムの構築

PythonでPDF全文検索システムを作ろう（Whoosh + Flask）

プロジェクト概要

システムアーキテクチャ図

必要なライブラリ

主要コンポーネント解説

1. PDFIndexerクラス (index_creator.py)

2. インデックス作成 (index_creator.py)

3. Webインターフェース (index_gui.py)

使い方ガイド

学習ポイント

応用例

まとめ

YomiTokuを利用してPDFを検索可能にする

始めに

機能

PDFのOCR処理

検索可能なPDFの生成

hOCRの生成（オプション）

一時ファイルの管理

日本語フォントのサポート

使い方

その他

iPadでvscodeを使おう

今回すること

今からすること

なぜセルフホストか

やり方

Markdownがうまく表示されない

終わりに

広告ブロックをブロックする

今回すること

紹介するもの

使い方

アンチ広告ブロックによる悪影響はないのか？

まとめ

S3driveでクラウドの誤BANを防ぐ

S3drive

使い方

完成品

終わりに

新たなる匿名VPN、Mega VPN

使い勝手

終わりに

OrangePizero3を録画鯖にする

今回買ったもの

インストール

録画鯖にする

終わりに

最新の検索結果をRSSで取得し、情報についていく

使うもの

やり方

RSSリーダーに設定する

終わりに

Mastodon向けの軽量フロントエンドPhanphy

Phanphy

やり方

完成品

終わりに

Activepieceで簡単に自動化させる

環境

インストール方法

RSSをTootするBotを書いた

Adobe scanの角度補正機能が自炊界に革命を起こす

追加された機能について

終わりに

iPhone SE2のバッテリーを交換した。

ネジが細かい

バッテリーの両面テープが固い

防水テープが正確に付けられない

終わりに

仕事の知見をGiteaで管理する。【Github】【Gitea】

Giteaインストール

Joplinから移行する

利点

終わりに

XMRIGの手数料設定を0にする

やり方

おわりに

1. PDFIndexerクラス (`index_creator.py`)

2. インデックス作成 (`index_creator.py`)

3. Webインターフェース (`index_gui.py`)

Unmineableでマイニングするリファあり

2024年度最新版毎回忘れるDockerのインストール法