広告除去 on

【Youtubeの広告を破壊する編】512mbのVPSの限界に挑戦し、広告を破壊する。その４

Wed, 23 Aug 2023 05:51:50 +0000

当ブログはアフィリエイト広告を利用し商品を紹介しています。

これまでPiholeを用いて広告を破壊する方法を紹介した。
しかしながら、Youtubeの広告はPiholeではどうにもできない。
自分で広告の出ないフロントエンドを作ってしまおうという思想から生まれたのがInvidiousである。
いくつかのInvidiousインスタンスが稼働しているが常に不安定であり、自分用に立ててしまった方が安心感がある。

GitHub - iv-org/documentation: The official Invidious documentation

The official Invidious documentation. Contribute to iv-org/documentation development by creating an account on GitHub.

Invidiousでは広告の削除し、他の機能もおおよそYoutubeに準拠したものが取り揃えられている。これを512MB1コアのVPSに入れていこうと思う。

インストール

環境
Conoha VPS(512MB1コアVPS)
Debian12.0 docker、pwgen導入済み

pwgenはDebianであればaptで入れられる

sudo apt install pwgen

git clone https://github.com/iv-org/invidious.git
cd invidious

InvidiousのGithubからコードを持ってくる。
Invidiousにはバグがあるらしく、いくつかのファイルをマウントする必要があるようだ。

nano docker-compose.yml

とし

version: "3"
services:

  invidious:
    image: quay.io/invidious/invidious:latest
    # image: quay.io/invidious/invidious:latest-arm64 # ARM64/AArch64 devices
    restart: unless-stopped
    ports:
      - "127.0.0.1:3000:3000"
    environment:
      # Please read the following file for a comprehensive list of all available
      # configuration options and their associated syntax:
      # https://github.com/iv-org/invidious/blob/master/config/config.example.yml
      INVIDIOUS_CONFIG: |
        db:
          dbname: invidious
          user: kemal
          password: kemal
          host: invidious-db
          port: 5432
        check_tables: true
        # external_port:
        # domain:
        # https_only: false
        # statistics_enabled: false
        hmac_key: "CHANGE_ME!!"
    healthcheck:
      test: wget -nv --tries=1 --spider http://127.0.0.1:3000/api/v1/comments/jNQXAC9IVRw || exit 1
      interval: 30s
      timeout: 5s
      retries: 2
    logging:
      options:
        max-size: "1G"
        max-file: "4"
    depends_on:
      - invidious-db

  invidious-db:
    image: docker.io/library/postgres:14
    restart: unless-stopped
    volumes:
      - postgresdata:/var/lib/postgresql/data
      - ./config/sql:/config/sql
      - ./docker/init-invidious-db.sh:/docker-entrypoint-initdb.d/init-invidious-db.sh
    environment:
      POSTGRES_DB: invidious
      POSTGRES_USER: kemal
      POSTGRES_PASSWORD: kemal
    healthcheck:
      test: ["CMD-SHELL", "pg_isready -U $$POSTGRES_USER -d $$POSTGRES_DB"]

volumes:
  postgresdata:

以上のように書き換える。この時hmac_keyのCHANGE ME!!を

pwgen 20 1

で出力された文字列に置き換える。

お好みでPortを書き換えたのち

docker compose up -d

として起動させる。

http://(tailscaleで振られた100.~のプライベートIP):3000
とするとInvidiousが起動する。使い方等々はYoutubeと大きく違いはない。

すぐに使える高速レンタルサーバー【ConoHa VPS】【ConoHa for Windows Server】のお申込み

現在筆者はiOSを使用している

リンク

iOSの場合invidiousをSafariで開き

とすることで

アプリのようなUIに変更することができる。

おわりに

これでおおよそすべての広告を破壊できたと思う。

←前

512mbのVPSの限界に挑戦し、広告を破壊する。その3 PiholeとUnboundの設定

Wed, 16 Aug 2023 12:37:32 +0000

当ブログはアフィリエイト広告を利用し商品を紹介しています。

PiholeとUnboundの設定＆備忘録的なところを示す。

PiholeのAdlist

Piholeは自分で広告リストを追加することで強化できる。

http://(PiholeのIP):(Port)/admin/groups-adlists.php からいじる

ここのAddressに広告リストを入れ、Addを押して追加する。

以下に筆者が集めたAdlistを示す。全部コピペしてAddressに入れることが出来るようにしている。

https://raw.githubusercontent.com/StevenBlack/hosts/master/hosts https://warui.intaa.net/adhosts/hosts_lb.txt https://pgl.yoyo.org/adservers/serverlist.php?hostformat=adblockplus&amp;mimetype=plaintext https://raw.githubusercontent.com/Yhonay/antipopads/master/popads.txt https://raw.githubusercontent.com/eEIi0A5L/adblock_filter/master/kame_filter.txt https://zonefiles.io/f/compromised/domains/full/ https://zonefiles.io/f/compromised/ip/live/ https://hosts.oisd.nl/ https://adaway.org/hosts.txt https://hostfiles.frogeye.fr/firstparty-trackers-hosts.txt https://sebsauvage.net/hosts/hosts https://warui.intaa.net/adhosts/hosts.txt https://www.github.developerdan.com/hosts/lists/ads-and-tracking-extended.txt https://blocklistproject.github.io/Lists/abuse.txt https://blocklistproject.github.io/Lists/ads.txt https://blocklistproject.github.io/Lists/drugs.txt https://blocklistproject.github.io/Lists/malware.txt https://blocklistproject.github.io/Lists/phishing.txt https://blocklistproject.github.io/Lists/ransomware.txt https://blocklistproject.github.io/Lists/redirect.txt https://blocklistproject.github.io/Lists/scam.txt https://blocklistproject.github.io/Lists/tracking.txt https://bit.ly/PiHoleHostBlock https://raw.githubusercontent.com/PolishFiltersTeam/KADhosts/master/KADhosts.txt https://raw.githubusercontent.com/FadeMind/hosts.extras/master/add.Spam/hosts https://v.firebog.net/hosts/static/w3kbl.txt https://raw.githubusercontent.com/matomo-org/referrer-spam-blacklist/master/spammers.txt https://raw.githubusercontent.com/VeleSila/yhosts/master/hosts https://winhelp2002.mvps.org/hosts.txt https://v.firebog.net/hosts/neohostsbasic.txt https://raw.githubusercontent.com/RooneyMcNibNug/pihole-stuff/master/SNAFU.txt https://paulgb.github.io/BarbBlock/blacklists/hosts-file.txt https://v.firebog.net/hosts/AdguardDNS.txt https://v.firebog.net/hosts/Admiral.txt https://raw.githubusercontent.com/anudeepND/blacklist/master/adservers.txt https://s3.amazonaws.com/lists.disconnect.me/simple_ad.txt https://s3.amazonaws.com/lists.disconnect.me/simple_ad.txt https://v.firebog.net/hosts/Easylist.txt https://pgl.yoyo.org/adservers/serverlist.php?hostformat=hosts&showintro=0&mimetype=plaintext https://raw.githubusercontent.com/FadeMind/hosts.extras/master/UncheckyAds/hosts https://raw.githubusercontent.com/bigdargon/hostsVN/master/hosts https://raw.githubusercontent.com/jdlingyu/ad-wars/master/hosts https://v.firebog.net/hosts/Easyprivacy.txt https://v.firebog.net/hosts/Prigent-Ads.txt https://raw.githubusercontent.com/FadeMind/hosts.extras/master/add.2o7Net/hosts  https://raw.githubusercontent.com/crazy-max/WindowsSpyBlocker/master/data/hosts/spy.txt https://raw.githubusercontent.com/Perflyst/PiHoleBlocklist/master/android-tracking.txt https://raw.githubusercontent.com/Perflyst/PiHoleBlocklist/master/SmartTV.txt  https://raw.githubusercontent.com/Perflyst/PiHoleBlocklist/master/AmazonFireTV.txt https://gitlab.com/quidsup/notrack-blocklists/raw/master/notrack-blocklist.txt https://raw.githubusercontent.com/DandelionSprout/adfilt/master/Alternate%20versions%20Anti-Malware%20List/AntiMalwareHosts.txt https://osint.digitalside.it/Threat-Intel/lists/latestdomains.txt https://s3.amazonaws.com/lists.disconnect.me/simple_malvertising.txt https://v.firebog.net/hosts/Prigent-Crypto.txt https://raw.githubusercontent.com/FadeMind/hosts.extras/master/add.Risk/hosts https://bitbucket.org/ethanr/dns-blacklists/raw/8575c9f96e5b4a1308f2f12394abd86d0927a4a0/bad_lists/Mandiant_APT1_Report_Appendix_D.txt https://phishing.army/download/phishing_army_blocklist_extended.txt https://gitlab.com/quidsup/notrack-blocklists/raw/master/notrack-malware.txt https://v.firebog.net/hosts/RPiList-Malware.txt https://v.firebog.net/hosts/RPiList-Phishing.txt https://raw.githubusercontent.com/Spam404/lists/master/main-blacklist.txt https://raw.githubusercontent.com/AssoEchap/stalkerware-indicators/master/generated/hosts https://urlhaus.abuse.ch/downloads/hostfile/ https://malware-filter.gitlab.io/malware-filter/phishing-filter-hosts.txt https://v.firebog.net/hosts/Prigent-Malware.txt https://zerodot1.gitlab.io/CoinBlockerLists/hosts_browser https://raw.githubusercontent.com/chadmayfield/my-pihole-blocklists/master/lists/pi_blocklist_porn_top1m.list https://v.firebog.net/hosts/Prigent-Adult.txt https://hostsfile.mine.nu/hosts0.txt https://hostsfile.org/Downloads/hosts.txt https://v.firebog.net/hosts/Kowabit.txt https://adblock.mahakala.is/ https://hostfiles.frogeye.fr/multiparty-trackers-hosts.txt https://raw.githubusercontent.com/Kees1958/W3C_annual_most_used_survey_blocklist/6b8c2411f22dda68b0b41757aeda10e50717a802/TOP_EU_US_Ads_Trackers_HOST https://raw.githubusercontent.com/tg12/pihole-phishtank-list/master/list/phish_domains.txt https://raw.githubusercontent.com/HorusTeknoloji/TR-PhishingList/master/url-lists.txt https://raw.githubusercontent.com/Cats-Team/AdRules/main/dns.txt https://raw.githubusercontent.com/neodevpro/neodevhost/master/host https://raw.githubusercontent.com/neodevpro/neodevhost/master/lite_host https://raw.githubusercontent.com/5-whys/adh-rules/main/rules/output_full.txt https://raw.githubusercontent.com/xndeye/adblock_list/main/rule/all.txt https://raw.githubusercontent.com/cenk/bad-hosts/main/hosts

……この辺にしておこうか。
Adlistが増えると重くなるという話があるが、実際筆者の場合、512mb1コアのConoha VPSで元気に動いている。

【1.3円/時間】GMOインターネットのSSD「ConoHa VPS」

Unboundの設定

nano /etc/unbound/unbound.conf から

# Unbound configuration file for Debian.
#
# See the unbound.conf(5) man page.
#
# See /usr/share/doc/unbound/examples/unbound.conf for a commented
# reference config file.
#
# The following line includes additional configuration files from the
# /etc/unbound/unbound.conf.d directory.
include: "/etc/unbound/unbound.conf.d/*.conf"

#
#  local network - DNS Setting
#
# domain name: ***.local
#
server:
        # use all CPUs
        num-threads: 1

        # power of 2 close to num-threads
        msg-cache-slabs: 2
        rrset-cache-slabs: 2
        infra-cache-slabs: 2
        key-cache-slabs: 2
        # more cache memory, rrset=msg*2
        rrset-cache-size: 100m
        msg-cache-size: 50m

        # more outgoing connections
        # depends on number of cores: 1024/cores - 50
        outgoing-range: 950

        # Larger socket buffer.  OS may need config.
        so-rcvbuf: 4m
    # インターフェース設定．デフォルトルートとする
    interface: 0.0.0.0
    # 問いあわせを許可するネットワーク設定
    #
    # ネットワークに合わせて記述する
    access-control: 192.168.1.0/24 allow

    # IPv6 は使用しない
    do-ip6: no

    # ローカルゾーン設定
    #
    #
    local-zone: "***.local." static


    # NS レコードの設定
    #
    # ネームサーバーの設定を行う
    #
    # プライマリ: ns.~
    # セカンダリ: ns2.~
    local-data: "IN NS ns.***.local."
    local-data: "IN NS ns2.***.local."


    # MX recode: mail server

    # メールサーバーの設定．
    #
    # mail.~.local.
    local-data: "IN MX 10 mail.***.mydns.jp."


    # A レコード，ptr レコードの設定
    #
    # A レコードは，正引き
    # PTR レコードは，逆引き
    #
    # サーバーIP: 192.168.1.10
    local-data: "***.local. IN A 192.168.25.1"
    local-data: "***.local. IN A 192.168.25.1"
    local-data: "***.local. IN A 192.168.25.1"
    local-data: "***.local. IN A 192.168.25.1"
    local-data-ptr: "192.168.25.1 shirakawa.mydns.jp."

    # 転送設定
    #
    # 上記設定以外の問い合わせが発生した場合，google dns に問いあわせるようにする

forward-zone:
    name: "."
    forward-addr: 8.8.8.8
    forward-addr: 8.8.4.4

色々設定を考えてくれている人はいますが、いろいろ試してみて512mb1コアの場合にはこれが一番早いように感じたので、これに書き換えると高速化可能です。

続いて　/etc/unbound/unbound.conf.d/pi-hole.conf　として

server:
    # If no logfile is specified, syslog is used
    # logfile: "/var/log/unbound/unbound.log"
    verbosity: 0

    interface: 127.0.0.1
    port: 5335
    do-ip4: yes
    do-udp: yes
    do-tcp: yes

    # May be set to yes if you have IPv6 connectivity
    do-ip6: yes

    # You want to leave this to no unless you have *native* IPv6. With 6to4 and
    # Terredo tunnels your web browser should favor IPv4 for the same reasons
    prefer-ip6: no

    # Use this only when you downloaded the list of primary root servers!
    # If you use the default dns-root-data package, unbound will find it automatically
    #root-hints: "/var/lib/unbound/root.hints"

    # Trust glue only if it is within the server's authority
    harden-glue: yes
    # Require DNSSEC data for trust-anchored zones, if such data is absent, the zone becomes BOGUS
    harden-dnssec-stripped: yes

    # Don't use Capitalization randomization as it known to cause DNSSEC issues sometimes
    # see https://discourse.pi-hole.net/t/unbound-stubby-or-dnscrypt-proxy/9378 for further details
    use-caps-for-id: no

    # Reduce EDNS reassembly buffer size.
    # IP fragmentation is unreliable on the Internet today, and can cause
    # transmission failures when large DNS messages are sent via UDP. Even
    # when fragmentation does work, it may not be secure; it is theoretically
    # possible to spoof parts of a fragmented DNS message, without easy
    # detection at the receiving end. Recently, there was an excellent study
    # >>> Defragmenting DNS - Determining the optimal maximum UDP response size for DNS <<<
    # by Axel Koolhaas, and Tjeerd Slokker (https://indico.dns-oarc.net/event/36/contributions/776/)
    # in collaboration with NLnet Labs explored DNS using real world data from the
    # the RIPE Atlas probes and the researchers suggested different values for
    # IPv4 and IPv6 and in different scenarios. They advise that servers should
    # be configured to limit DNS messages sent over UDP to a size that will not
    # trigger fragmentation on typical network links. DNS servers can switch
    # from UDP to TCP when a DNS response is too big to fit in this limited
    # buffer size. This value has also been suggested in DNS Flag Day 2020.
    edns-buffer-size: 1232

    # Perform prefetching of close to expired message cache entries
    # This only applies to domains that have been frequently queried
    prefetch: yes

    # One thread should be sufficient, can be increased on beefy machines. In reality for most users running on small n$    num-threads: 1

    # Ensure kernel buffer is large enough to not lose messages in traffic spikes
    so-rcvbuf: 1m

    # Ensure privacy of local IP ranges
    private-address: 192.168.0.0/16
    private-address: 169.254.0.0/16
    private-address: 172.16.0.0/12
    private-address: 10.0.0.0/8
    private-address: fd00::/8
    private-address: fe80::/10

これもコピペで大丈夫かと思います。

これでPihole＋Unboundの環境が整いました。

最後に

Piholeだけでは管理できないものがいくつかあるので、その他の対処法については次回述べることとする。

←前　　次→

512mbのVPSの限界に挑戦し、広告を破壊する。その２

Tue, 15 Aug 2023 07:44:01 +0000

当ブログはアフィリエイト広告を利用し商品を紹介しています。

前回Pihole,Tailscaleまで導入したので続き

Tailscale側の設定

https://login.tailscale.com/admin/dns にアクセスし、

Add nameserver→Custum→PiholeをインストールしたVPSのTailscaleで振られたプライベートIP（100～のやつ）を入れOverride local DNS。

Piholeの設定

PiholeをいれたVPSのIPにアクセス　http://(VPSのグローバルIP)/admin

ログインしたらSetting→Interface settings から Permit all origins にチェック

前回のようにUnboundを設定した場合はここでこうしても良い

安全確認

TailscaleではPortを開けずにssh等が行えるので安全のためにPortを閉める

その後ConohaのコントロールパネルならこうするとPortが全部閉まる。

【1.3円/時間】GMOインターネットのSSD「ConoHa VPS」

お使いの端末にTailscaleを導入する。同じアカウントでログインするだけで全部いい感じになっている。

お使いの端末でTailscaleをConnectした状態でTailscaleで振られたプライベートIPにssh接続をしてみるとなんと普通にsshできる。ありがたやTailscale。

～第一部完～

これでTailscaleに接続している最中にPiholeが利用可能になった。

いろいろともっと上手いやり方はありそうだが、セキュリティを考えるとPortを開けなくていいというのはかなりのメリットだと思う。

Piholeの活用方法だったりは次回以降紹介しようと思う

←前　　次→

ポケモンWCSで見つけたポケジェニックを紹介

Sun, 13 Aug 2023 13:13:13 +0000

明日まで横浜でポケモンイベントをやる予定のようですがあいにくの台風ということで、筆者が見つけたポケジェニックスポットを紹介します。

工事中

ポケモンと共存する町ってこんな感じなのかな～と考えさせてくれる一枚
ゴツゴツメットがカワイイ

おばけ！？

そろそろ次の場所に移動しようかなと思っていたところで発見
昼間は明るくて見過ごしていた子たち。ごめんなさい……..
夜になってきてかなり雰囲気のある一枚

インスタ映え

たまに見るフォトスポットのようなデザインの一枚
筆者はおひとり様でしたが列に並んで映り込まずに写真だけ撮る人になっていました。

ニセピカ

ニセピカことデデンネちゃん
目線の下過ぎて完全にスルーしかけました。
コンセントのところにいるって流石ポケモン様や！って思いながら一枚

おわり

他の方の見つけたポケモンをSNSで見るのって楽しいですよね
筆者は探しながら歩いていたのにいくつかスルーしていたことを、後からSNSで知ることが多くあり泣いています。

またこういうイベントあったら是非回らせてもらいたいですね～

512mbのVPSの限界に挑戦し、広告を破壊する。

Fri, 11 Aug 2023 13:26:07 +0000

当ブログはアフィリエイト広告を利用し商品を紹介しています。

サブスク代高いなあと思ったので、VPSでいろいろ代用したメモ。ついでに512mbでこんなにできるのかとびっくりしたのでメモ。

現状うちの子で動いてるもの

1.tailscale(vpn)
2.pihole、unbound(ネットサーフィンの広告破壊)
3.invidious(youtubeの広告を破壊、youtube premiumの代用)
4.tinytinyRSS(情報収集)
5.このwordpress
6.dolphin(おひとり様向けmisskey)

１．下ごしらえ

１．VPSを借りる。今回はとにかくケチりたかったのと、VPNとしても使いたかったので通信量に制限のないConohaの1コア512mbのものを使用。どうせ使うかと36か月を契約。

【1.3円/時間】GMOインターネットのSSD「ConoHa VPS」

２．Google、Githubあたりのアカウントを作っておく。

３．暇な時間を作る。だいたいコピペで済むようにするので1時間はかからないと思う。

２．tailscaleの導入

OS:Debian12.0
他デフォルト

sshもしくはコンソールからコマンドを打つ。コピペ出来るからsshの方が早い

sudo apt update
sudo apt upgrade
curl -fsSL https://tailscale.com/install.sh | sh #tailscaleインストールコマンド

↑おまじないとtailscaleの導入

tailscaleの導入はググれば出るが、最後にリンクが出る。これをGoogleかGithubで認証する。

3.piholeの導入

これがメイン。これもスクリプトがある

curl -sSL https://install.pi-hole.net | bash #piholeをインスト―ル

我がvpsではunboundも導入している。効果は謎だが早くなったような気がする。
細かな調整は後日述べる。

sudo apt install -y unbound

/etc/unbound/unbound.conf.d/pi-hole.conf　を書き換える。
ここからさらに微調整をしたが、とりあえずこれで良い。

server:
    # If no logfile is specified, syslog is used
    # logfile: "/var/log/unbound/unbound.log"
    verbosity: 0

    interface: 127.0.0.1
    port: 5335
    do-ip4: yes
    do-udp: yes
    do-tcp: yes

    # May be set to yes if you have IPv6 connectivity
    do-ip6: no

    # You want to leave this to no unless you have *native* IPv6. With 6to4 and
    # Terredo tunnels your web browser should favor IPv4 for the same reasons
    prefer-ip6: no

    # Use this only when you downloaded the list of primary root servers!
    # If you use the default dns-root-data package, unbound will find it automatically
    #root-hints: "/var/lib/unbound/root.hints"

    # Trust glue only if it is within the server's authority
    harden-glue: yes

    # Require DNSSEC data for trust-anchored zones, if such data is absent, the zone becomes BOGUS
    harden-dnssec-stripped: yes

    # Don't use Capitalization randomization as it known to cause DNSSEC issues sometimes
    # see https://discourse.pi-hole.net/t/unbound-stubby-or-dnscrypt-proxy/9378 for further details
    use-caps-for-id: no

    # Reduce EDNS reassembly buffer size.
    # IP fragmentation is unreliable on the Internet today, and can cause
    # transmission failures when large DNS messages are sent via UDP. Even
    # when fragmentation does work, it may not be secure; it is theoretically
    # possible to spoof parts of a fragmented DNS message, without easy
    # detection at the receiving end. Recently, there was an excellent study
    # >>> Defragmenting DNS - Determining the optimal maximum UDP response size for DNS <<<
    # by Axel Koolhaas, and Tjeerd Slokker (https://indico.dns-oarc.net/event/36/contributions/776/)
    # in collaboration with NLnet Labs explored DNS using real world data from the
    # the RIPE Atlas probes and the researchers suggested different values for
    # IPv4 and IPv6 and in different scenarios. They advise that servers should
    # be configured to limit DNS messages sent over UDP to a size that will not
    # trigger fragmentation on typical network links. DNS servers can switch
    # from UDP to TCP when a DNS response is too big to fit in this limited
    # buffer size. This value has also been suggested in DNS Flag Day 2020.
    edns-buffer-size: 1232

    # Perform prefetching of close to expired message cache entries
    # This only applies to domains that have been frequently queried
    prefetch: yes

    # One thread should be sufficient, can be increased on beefy machines. In reality for most users running on small networks or on a single machine, it should be unnecessary to seek performance enhancement by increasing num-threads above 1.
    num-threads: 1

    # Ensure kernel buffer is large enough to not lose messages in traffic spikes
    so-rcvbuf: 1m

    # Ensure privacy of local IP ranges
    private-address: 192.168.0.0/16
    private-address: 169.254.0.0/16
    private-address: 172.16.0.0/12
    private-address: 10.0.0.0/8
    private-address: fd00::/8
    private-address: fe80::/10

そろそろ長いので次回に続く…

ps:途中までで飽きて辞めた人もポートは忘れずに閉めておくように

次→

広告除去 on

【Youtubeの広告を破壊する編】512mbのVPSの限界に挑戦し、広告を破壊する。その４

GitHub - iv-org/documentation: The official Invidious documentation

インストール

おわりに

512mbのVPSの限界に挑戦し、広告を破壊する。その3 PiholeとUnboundの設定

PiholeのAdlist

Unboundの設定

最後に

512mbのVPSの限界に挑戦し、広告を破壊する。その２

Tailscale側の設定

Piholeの設定

安全確認

～第一部完～

ポケモンWCSで見つけたポケジェニックを紹介

工事中

おばけ！？

人気者

インスタ映え

ニセピカ

おわり

512mbのVPSの限界に挑戦し、広告を破壊する。

１．下ごしらえ

２．tailscaleの導入

3.piholeの導入