Recently steam rolled out a beta preview of their game recording feature. It's amazing! But, since it's a beta, one small problem: on linux, at the time of writing, you can not choose which audio source it's recording from, it captures entire system audio. So I wanted to write a relatively simple script to unlink all sinks from steam and link wine64-preloader apps to it instead. Sounds like a job for pipewire!

Gotchas

Wireplumber doesn't have any (good) overview documentation

Here's how it works in Pipewire world:

• You have nodes that produce/consume sound
• You have ports which regulate settings of how said nodes produce/consume sound
• You have links that connect the ports

Wireplumber doesn't have any (good) scripting documentation

Oh, you want to know all possible types for `Interest` object? Too bad.

The type of an interest must be a valid GType, written as a string without the “Wp” prefix and with the first letter optionally being lowercase. The type may match any wireplumber object or interface.

No comprehensive list, go read the possible values from C library.

Oh, you somehow found that wireplumber has eventhooks? Too bad, there's only one mention of it in "Wireplumber's design" page and no examples whatsoever. Go read source code to find example usage.

Oh, you want to read examples on github that documentation explicitly mentions? Too bad, they're outdated and use legacy api.

Hell, it doesn't even describe all the objects there are! The only circulating snippet around the internet for linking ports has this:

local link = Link("link-factory", link_args)
link:activate(1)

Link object is not mentioned ANYWHERE in lua scripting documentation. It looks to be a wrapper against wp_link_new_from_factory, but why the hell do I have to guess?

Awesome, guys.

Wireplumber doesn't run "real" lua, it's sandboxed context

Okay, you found ObjectManager, managed to give it interest and connect it to callback. Great! It works!

local node_om = ObjectManager {
  type = "node",
  Constraint { "media.class", "equals", "Stream/Output/Audio", type = "pw" }
}

node_om:connect("object-added", function(om, object)
  print("Object exists!")
end)

You run this script via wpexec, and it prints a bunch of stuff! Cool! Now you launch a VLC or something to check that it will print once again and.... it doesn't?

Saving you some headache, it's because of local. As far as I understand, once it's done with first run, wireplumber switches context from script back to the main app and garbage collects all locals (you'll also see some "proxy destroyed" errors along the way).

Do not use locals for ANY ObjectManager objects, global or not.

Quick bits

• Wireplumber's sandbox doesn't expose much if at all from standard lua features. Here's comprehensive list from the doc. Don't expect to be able to make pid tree here:

_VERSION  assert       error    ipairs    next       pairs   tonumber
pcall     select       print    tostring  type       xpcall  require
table     string       math     package   utf8       debug   coroutine
os.clock  os.difftime  os.time  os.date   os.getenv

• It doesn't print logs by default (neither wpexec nor wireplumber itself), enable it:
  WIREPLUMBER_DEBUG=W,<my-logger-name>:T
• You are not guaranteed to have anything, which results on having lots of ObjectManagers and callback to wait for stuff to appear; i.e. do NOT assume that the node that just spawned has ports already, especially if it's something like game that takes long time to load
• Use Debug.dump_table(t) to dump properties

Okay, how do I actually use it?

I'm sorry, I can't give you a solution. Your usecase is probably just as non trivial as mine, if you are here.

If you're still reading, this is your last chance to change your mind and make it in bash via pactl subscribe.

Okay, less words, more examples. Here's how I disconnect my steam nodes from every sink input:

steam_om = ObjectManager { 
  Interest {
	type = "node",
	Constraint { "application.process.binary", "matches", "steam",              type = "pw" },
	Constraint { "media.class",                "matches", "Stream/Input/Audio", type = "pw" },
  },
}

-- On any steam node, ...
steam_om:connect("object-added", function(_, steam_node)
  -- ... We look for links with this node as one it is inputting into,
  steam_link_om = ObjectManager {
    Interest {
      type = "link",
      Constraint { "link.input.node", "equals", steam_node.properties["object.id"] },
    }
  }

  -- ... Then we look at the Audio/Sink nodes that are sources of this link,
  steam_link_om:connect("object-added", function(_, steam_link)
  
    steam_source_om = ObjectManager {
      Interest {
        type = "node",
        Constraint { "object.id",   "equals", steam_link.properties["link.output.node"] },
        Constraint { "media.class", "matches", "Audio/Sink*" },
      }
    }

    -- ... And then we destroy them.
    steam_source_om:connect("object-added", function(_, source_node)
    
      local _, err = pcall(function() steam_link:request_destroy() end)
      if err then log:debug("Destroying error: " .. tostring(err)) end
    
    end)

    steam_source_om:activate()
  end)

  steam_link_om:activate()
end)

And, arguably more hard one, here's how to connect every wine64-preload node to steam:

-- For every wine app, ...
wine_om:connect("object-added", function(_, wine_node)
  wine_port_om = ObjectManager {
    Interest {
      type = "port",
      Constraint { "node.id",        "equals", wine_node.properties["object.id"] },
      Constraint { "port.direction", "equals", "out" },
    }
  }

  -- ... We're waiting for it to have ports (which can very
  -- much be not instant, look at spotify and FFXIV), ...
  wine_port_om:connect("object-added", function(_, wine_port)
    -- ..., Comparing them to steam's ports, ...
    for steam_node in steam_om:iterate() do
      for steam_port in steam_node:iterate_ports(input_ports) do
      
        -- ..., Checking if those ports match channels, ...
        if steam_port.properties["audio.channel"] == wine_port.properties["audio.channel"] then
          -- ... And connect them.
          link_ports(steam_port, wine_port)
        end
      
      end
    end
  end)

  wine_port_om:activate()
end)

And here's a function to link two given ports (stolen from here):

function link_ports(input_port, output_port)
  -- Yes, sometimes I have gotten nil ports, don't remove this check
  if not input_port or not output_port then
    log:warning("nil values, not linking")
    return
  end

  local link_args = {
    ["link.input.node"]  = input_port.properties["node.id"],
    ["link.input.port"]  = input_port.properties["object.id"],
    ["link.output.node"] = output_port.properties["node.id"],
    ["link.output.port"] = output_port.properties["object.id"],
    ["object.id"]        = nil,
    ["object.linger"]    = true,
    ["node.description"] = "Link created by steam-wire",
  }

  local link = Link("link-factory", link_args)
  link:activate(1)
end

And here is link to full code in case you need it: https://github.com/Widowan/steam-wire

wireplumber.components = [
  {
    name = steam-wire.lua,
    type = script/lua,
    provides = custom.steam-wire
  }
]

wireplumber.profiles = {
  main = {
    custom.steam-wire = required
  }
}

Really useful resources!

• https://bennett.dev/auto-link-pipewire-ports-wireplumber/ (the goat)
• https://sourcegraph.com/search?q=context:global+file:.*wireplumber.*+file:.*%5C.conf+script/lua&patternType=keyword&sm=0
• Github code search
• I lost more :(

Note that all of the instructions are written for Arch Linux, but since you're doing LXC containers, you probably know what to do.

Installing LXC and LXD

First we need to install both LXC and LXD, the first one is the virtualization API itself and the second is it's management daemon.

sudo pacman -S lxc lxd 

You may also want to consider adding yourself to lxd group to not to do sudo every single time:

sudo usermod -a -G lxd $USER

And speaking of user permissions: to run LXC containers in unprivileged mode, you have to change default mappings of your UID/GIDs:

sudo usermod -v 1000000-1000999999 -w 1000000-1000999999 root

Alternatively you could also edit /etc/subuid and /etc/subguid files directly.

And don't forget to enable the services:

sudo systemctl enable --now lxd lxc

Now you should initialize the daemon. You probably want default answers to all of the questions.

lxd init

That should create everything you need, including lxdbr0 interface that will do all the heavy lifting for us on the networking side.

After that, all that's left is creating your container (to see all images use lxc image list images:, with colon):

lxc launch images:archlinux/current/amd64 wireguard

Now you can see your container with lxc list and connect to it using lxc exec wireguard bash

Configuring Wireguard

As per disclaimer above, install userspace tools:

[root@wireguard ~]$ pacman -S wireguard-tools

And configure your wireguard server profile at /etc/wireguard/wg0.conf:

[root@wireguard ~]$ wg genkey | tee /etc/wireguard/server-sk.key
[root@wireguard ~]$ cat /etc/wireguard/server-sk.key | wg pubkey | tee /etc/wireguard/server-pk.key
[root@wireguard ~]$ wg genkey | tee /etc/wireguard/peer1-sk.key
[root@wireguard ~]$ cat /etc/wireguard/peer1-sk.key | wg pubkey | tee /etc/wireguard/peer1-pk.key
[root@wireguard ~]$ wg genkey | tee /etc/wireguard/peer2-sk.key
[root@wireguard ~]$ cat /etc/wireguard/peer2-sk.key | wg pubkey | tee /etc/wireguard/peer2-pk.key

[Interface]
Address = 10.10.10.0/24
SaveConfig = true
ListenPort = 51820
PrivateKey = <server-sk goes here>

[Peer]
PublicKey = <peer1-pk goes here>
AllowedIPs = 10.10.10.2/32

[Peer]
PublicKey = <peer2-pk goes here>
AllowedIPs = 10.10.10.3/32

Keen eye might notice that we're missing the usual masquerade commands in the interface configuration:

PostUp = iptables -t nat -I POSTROUTING -o eth0 -j MASQUERADE
PreDown = iptables -t nat -D POSTROUTING -o eth0 -j MASQUERADE

Indeed - it doesn't work as is right now, but will start to if we add it. However, the one caveat of that is that we will not be able to connect to other containers through VPN by external address: meaning if we, say, have a website hosted at myservice.wido.dev:443, we wouldn't be able to connect to it while connected to VPN, even if it's public! I have no idea why this is exactly, it may be also because I was using UDP and just missed something specific to it.

My findings are as follows: if you connect to myservice.wido.dev, for some reason, the request goes from wg0 interface, but never response gets back; despite being masqueraded, the reply arrives designated specifically for eth0 interface and is never de-masqueraded back to wg0. I don't know whether this is a bug in LXC/LXD or a mistake of mine that I didn't notice, but I'd be glad to hear anyone who knows.

Okay, so how do you fix it? I'm gonna save you the two days I've spent looking around and tell you the answer: routing tables! (You can see your ip using lxc list)

ip route add 10.10.10.0/24 via <ip of your wg container> dev lxdbr0 src <ip of your host machine>

Don't forget to make it permanent (depends on your distro), here's the service for systemd-networkd way (see the devices with systemctl list-units):

[Unit]
Description='Add static routes to wireguard IP subnet'
After=sys-devices-virtual-net-lxdbr0.device
After=lxc.service
After=lxd.service
WantedBy=sys-devices-virtual-net-lxdbr0.device

[Service]
ExecStart=/usr/bin/ip route add 10.10.10.0/24 via <ip of your wg container> dev lxdbr0 src <ip of your host machine>

[Install]
WantedBy=multi-user.target

And also, while we're at the host system, don't forget one more thing: port forwarding! Because we don't want to do it ourselves, let's make LXD do it for us:

lxc config device add networking wg-proxy proxy listen=udp:0.0.0.0:51280 connect=udp:127.0.0.1:51280

Configuring firewall

We've done so much, and it may be working for you already depending on your distro. Congrats! But in reality, we're not done yet. One last step we have to do in to configure firewall. I will be using nftables for this, as this setup may imply you have specific networking needs as do I.

Here's how my /etc/nftables/nftables.conf looks like:

#!/usr/bin/nft -f
# vim:set ts=2 tw=2 sw=2 expandtab:
table inet filter
delete table inet filter

table inet filter {
  chain input {
    # type     = [filter, route, nat]
    # hooks    = [ingress, prerouting, input, forward, output, postrouting]
    # priority = int (mnemonics: mangle = -150, dstnat = -100, filter = 0, srcnat = 100)
    # policy   = [accept, drop]
    type filter hook input priority 0
    policy drop

    # You will NOT get reply back without this
    ct state established,related accept
    ct state invalid             drop
    
    ip protocol icmp accept comment "Allow ICMP"
    iif lo           accept comment "Allow loopback"
    # If you want to configure ACL, you should add a
    # jump-chain here instead of just accept
    iifname "lxdbr0" accept comment "Allow LXC communication"

    tcp dport 3737  accept comment "Allow sshd"
    udp dport 51820 accept comment "Allow wireguard"
    tcp dport 443   accept comment "Allow myservice"

    counter comment "Count input traffic"
  }

  chain forward {
    type filter hook forward priority 0
    policy drop

    oifname "lxdbr0" accept
    iifname "lxdbr0" accept
  }
  
  chain lxc {
    type nat hook postrouting priority srcnat
    policy accept

    oif     "enp1s0" masquerade
    iifname "lxdbr0" masquerade
  }
}

With this configuration, you should be done! Congratulations on taming LXC networking.

Как всё начиналось

Одним днём мне захотелось размяться и сделать кое-какой проект. В чем суть проекта — не так важно. На мысли о том что хочется сделать что-нибудь наложилось ещё и то, что я не так давно праздного интереса ради смотрел бесплатные тарифы Яндекс.Облака (Yandex.Cloud, далее YC), и в целом они меня порадовали: бесплатный тир достаточно щедрый и в целом цены не то чтобы очень дорогие (хотя и всё равно дороже AWS даже с текущим курсом). Это особенно важно, учитывая, что мы живём в России 2023 года, где никакие зарубежные сервисы не работают, а среди Российских облачных провайдеров бесплатный тир есть... только у Яндекса ¯\_(ツ)_/¯.

На самом деле это не самый первый мой опыт работы с Serverless системами — я делал сокращалку ссылок на Cloudflare Workers (wido.dev/evil, например). Но опыт там был на Rust'е с использованием всего у чего только была приписка Experimental... в общем опыт интересный, но я знал, во что ввязывался (кстати бесплатные тарифы Cloudflare просто фантастически щедрые).

Суть в том, что я, наслушавшись хвалебных статей о величии и удобстве облаков, ожидал увидеть полноценный mature сервис с SDK и обёртками под все языки и фреймворки. Ох как же я ошибался — их даже для AWS то мало, что уж про Яндекс... Хотя нет, по Яндексу конкретно я ещё проедусь — дальше.

Выясняем разные облака на вкус

Итак, вооружаемся словарём хайповых слов которые вы слышали и гуглим таблицу аналогов яндекса:

• AWS Lambda - Yandex Cloud Functions: "Function as a Service" — просто удалённое выполнение функции (на самом деле кода в любом объёме и с любым количеством функций) на серверах. По существу при получении запроса рантайм просто загружает и исполняет вашу функцию. Формулировка так себе, но она важна: существует конкретный рантайм который загружает вашу функцию. Важно это потому, что накладывает ограничения на код: он должен запускаться в определённом рантайме (например только Java 11, не выше) и быть структурирован таким образом, чтобы рантайм смог ваш код загрузить (он не просто выполняет python3 myCode.py)
• EC2 - Yandex Compute Cloud: по существу — виртуальные машины (сервера) с возможностью автоматического масштабирования под нагрузку.

Я мог бы долго перечислять аналоги, но эти два мало того что основные, так ещё и прекрасно показывают суть serverless сервисов для тех, кто с ними не знаком: есть обычный облачный (чаще - managed) режим, а есть serverless.

Оплачиваются такие сервисы по системе Pay-As-You-Go — по фактическому использованию. Однако в случае с managed вариантом... фактическим использованием будет время использования виртуалки! А значит вы по существу просто арендуете ограниченный VPS. Ладно. Будем использовать Serverless - он дешевле.

Yandex Cloud Functions

Итак, открываем YCF и видим следующую картину в плане рантаймов:

• NodeJS (12, 14, 16)
• PHP (7.4, 8.0)
• Python (3.7 - 3.11)
• Golang (1.16 - 1.19)
• Java (11)
• .NET 3.1
• R (4.0, 4.2)
• Bash

Список мягко говоря... не впечатляет, особенно меня, как джависта: пока весь мир уже сидит на 17 джаве, в YC до сих пор 11. Да и остальные рантаймы не то чтобы сильно актуальны.

Ладно, не 8 и на том спасибо. Как там с этим работать...

Вариант 1: Сделать реализацию стандартного интерфейса Function (или яндексовского YcFunction) и указать её в качестве точки входа. Очевидно что подойдёт это только для совсем простых функций, да и ограничения там тоже уже есть.

Вариант 2: О, есть раздел про Spring Boot! Как раз мой стек! Ну-ка... мда, раздел совсем маленький, и большая его часть — описание ограничений.

• Не поддерживается Spring Boot Loader (как его убрать, Appendix E.6 или моя заметка на Gist).
• Функция на Spring Boot не имеет информации о том, какой её эндпоинт был вызван. Для этого надо использовать API Gateway (и соответственно писать OpenAPI спеку, если вы ещё этого не сделали).
• Не поддерживаются некоторые метода HttpServlet* классов.

Лааааадно, пофигу. Пишем простой Hello World на спринге, загружаем, настраиваем API Gateway, делаем наконец-то curl запрос и!.. 500 миллисекунд на ответ??? Как-то... ну вообще не впечатляет. Из плюсов — загружать проект можно исходниками, джарником или maven проектом. Удобно.

В начале было слово, и слово это было — докер. Yandex Serverless Containers

Слишком уж не впечатляет производительность и "удобство" Cloud Functions, давайте попробуем контейнеры! Тут нам никто не указ по части рантайма, да и Spring Boot 3.0 официально поддерживает GraalVM Native Image.

Для того чтобы использовать контейнеры, нам надо создать реестр в YC (тоже отдельный сервис кстати) и настроить CLI утилиту. Качаем тулзу (есть в AUR), настраиваем, компилируем Native Image (не забывайте -Pnative чтобы собрать минимально возможный и оптимизированный образ, ценой 100% загрузки всех 12 ядер), тегаем как того просит документация, заливаем, делаем curl... 300 мс (и 1.5 секунды на первый холодный запуск).

Очевидно что контейнеры лучше по всем параметрам, но вот производительность всё равно оставляет желать лучшего. Если что, время запуска на локальной машине у меня — 50 миллисекунд.

Ладно, черт с ним со временем ответа, не критично, пора подключать базу данных.

YDB — самый нижний круг ада

На этом этапе я ещё даже не подозревал, что меня ждёт...

Итак, какие варианты serverless баз данных есть у YC? Да никаких, только YDB. Все остальные базы данных, представленные в облаке — managed, т.е. по сути виртуалка с помесячной оплатой, причём стоят они все конских денег — самый нищенский вариант среди всех баз данных начинаются от трёх тысяч рублей в месяц (хотя Clickhouse и Redis минимально можно взять за 2500, а MongoDB минимум 5000).

Есть YDB, у которой существует serverless вариант с оплатой в подобающем pay as you go формате, а значит мы его и выбираем. Идём в консоль, создаём базу и сразу же сталкиваемся с тем, что таблица можем быть либо в YDB формате (реляционном), либо в документном (AWS DynamoDB-совместимая).

Я совершил фатальную ошибку — я выбрал YDB режим.

Хорошо, идём в документацию и видим следующие факты:

• Язык запросов — YQL (очередной велосипед, которые Яндекс очень уж любит переизобретать).
• Существует SDK под джаву.
• Если найти таблицу сравнения SDK, то лучше всех поддерживается Python и C++.

Ладно, открываем ссылку на SDK для джавы, не теряя времени в ридми находим ссылку на пример использования, открываем и видим две вещи: феерическое качество кода "тестов" и безрадостную картину голого использования JDBC, причем с кастами всего что можно в свои велосипеды (Connection -> YdbConnection, PreparedStatement -> YdbPreparedStatement, ...), что убивает использование даже JdbcTemplate.

Ну не может же у базы данных с JDBC драйвером (пусть даже и таким) не быть библиотеки для работы со Spring Data (JPA)??

Шерстим issues и ищем по коду в надежде найти что-то, но ничего. Абсолютно. В стадии "отрицания" отправляемся в гугл и... внезапно находим другой SDK — легаси, на верхушке ридми которого написано про deprecated и дана ссылка на новый SDK, где мы только что были. Но несмотря на то что это "легаси" — этот сдк не брошен, там всё ещё есть коммиты недельной давности.

И, что самое главное, тут есть разделы spring-data-jdbc и spring-data-jpa! Радостно открываем их и... видим, что последний коммит в них был 2 года назад и там даже нету джарников и pom (а значит и возможности собрать самостоятельно).

...

Ну такого ведь не может быть, да?

На этом моменте я потратил целый день и перерыл гугл, исходники обоих SDK, все issue, поиск по всему гитхабу (встроенными средствами и через sourcegraph) и могу вам заявить — так и есть. Возможности нормально использовать YDB со спрингом нет. И даже Datasource для спринга создать не получится — драйвера диалекта для Hibernate-то нет, у нас же велосипед, YQL.

На этом этапе я стал железобетонно уверен, что разработчики Яндекса ненавидят других программистов и людей в целом, и изобретают велосипеды только чтобы мучить всех остальных своими несовместимыми со всеми реализациями.

Помните документный режим, совместимый с DynamoDB? Давайте попробуем его!

В этот момент я потерял веру в человечество (и в первую очередь в Яндекс) и решил попробовать документный режим. С ними я никогда раньше не работал (даже с MongoDB), но это меня не остановило. Я удалил старую таблицу и начал создавать новую, документную и...

Тут всего три типа данных (String, Number и Binary) и есть ключи партицирования и ключи сортировки. Ладно, возможно погуглить всё же придётся.

Итак, суть для таких же как я:

• Вам не нужно больше типов данных, потому что вам нужна 1-2 колонки в админке, собственно под ключи (документные БД не имеют схемы, вы просто загрузите json со всеми нужными колонками).
• В таблице может быть только ключ партицирования, а может ключ партицирования и сортировки. Ключ партицирования — это и есть обычный Primary Key (на самом деле нет).
  Если есть ещё и ключ сортировки, то PK выступает ключом группировки (т.е. могут быть несколько одинаковых значений ключа партицирования.
  Грубо говоря — есть таблица песен, где есть исполнители и названия песен. Ключ партицирования — это имя исполнителя, а ключ сортировки — название песни.
• Не пытайтесь создавать таблицу в которой будет только PK типа Number — это плохая идея, идущая против best practices, да и вас в этом не поддержит SDK: он генерирует случайные UUID (Строковые), а не инкрементальные айдишники. И по-возможности всё таки используйте ключ сортировки — хорошим вариантом всегда является дата (создания, добавления в базу, чего угодно) (официальная статья mongodb с ориентирами на то, как проектировать БД)
• Там нет напрямую языка запросов, все действия делаются через API. Однако дальше SDK и библиотеки для спринга этот момент нам абстрагируют.

Итак, поехали.

Ставим форк форка бибилотеки для Spring Data (не JPA. Не ставьте стартер JPA, он будет просить драйверы для Hibernate!), делаем всё как в ридми кроме сущности. Если вы сделали простой ключ (только ключ партицирования), то делайте как в ридми; если композитный (партицирование + сортировка), то тут чуть запарнее: видите ли, под капотом там всё равно используются самые обычные аннотации вроде @Entity и @Id, и именно последний ставит палки в колёса: он-то может быть только один, а ключей у нас два...

Поэтому нам надо создать абстракцию, которая будет нашим айдишником. Выглядит это примерно так (с использованием Lombok):

// ShowId.java
@Getter
@Setter
@NoArgsConstructor
@AllArgsConstructor
public class ShowId implements Serializable {
    @Serial
    private static final long serialVersionUID = 1L;

    @DynamoDBHashKey
    @DynamoDBAutoGeneratedKey
    private String showId;

    @DynamoDBRangeKey
    @DynamoDBTypeConverted(converter = ZonedDateTimeToStringConverter.class)
    private ZonedDateTime addedAt;
}


// Show.java
@Getter
@Setter
@DynamoDBTable(tableName = "shows")
public class Show {
    @Id
    // Если тут будут геттеры то SDK
    // подавится и упадёт, даже с @Transient.
    @Getter(AccessLevel.NONE)
    @Setter(AccessLevel.NONE)
    @Transient
    public transient ShowId _showId = new ShowId();

    @DynamoDBHashKey
    private String showId;

    public String getShowId() {
        return _showId.getShowId();
    }

    public void setShowId(String showId) {
        _showId.setShowId(showId);
    }
    
    @DynamoDBRangeKey
    @DynamoDBTypeConverted(converter = ZonedDateTimeToStringConverter.class)
    private ZonedDateTime addedAt;

    public ZonedDateTime getAddedAt() {
        return _showId.getAddedAt();
    }

    public void setAddedAt(ZonedDateTime addedAt) {
        _showId.setAddedAt(addedAt);
    }

    @DynamoDBAttribute
    private String name;

    @DynamoDBAttribute
    private String description;
    
    @DynamoDBAttribute
    private Integer episodes;
}


// ZonedDateTimeToStringConverter.java
public class ZonedDateTimeToStringConverter implements DynamoDBTypeConverter<String, ZonedDateTime> {
    @Override
    public String convert(ZonedDateTime zonedDateTime) {
        return zonedDateTime.toString();
    }

    @Override
    public ZonedDateTime unconvert(String s) {
        return ZonedDateTime.parse(s);
    }
}

Да, как можно заметить, SDK амазона до сих пор не умеет конвертировать новые классы даты в строки (а вот старые — умеет).

Ах да, в конфигурации DynamoDB бин создания БД должен выглядеть как-то так (endpoint так же, как указано в админке яндекса, регион тоже тот, который выбирали (i.e. ru-central1))

@Bean
public AmazonDynamoDB amazonDynamoDB() {
    return AmazonDynamoDBClientBuilder.standard()
        .withCredentials(new AWSStaticCredentialsProvider(
            new BasicAWSCredentials(dynamoDbAccessKey, dynamoDbSecretKey)
        ))
        .withEndpointConfiguration(
            new AwsClientBuilder.EndpointConfiguration(dynamoDbEndpoint, dynamoDbRegion))
        .build();
}

Кстати, видите Access Key и Secret Key? В админке YC это называется "Статический ключ доступа". А говорю я это потому, что в YC ШЕСТЬ СПОСОБОВ АВТОРИЗАЦИИ! Я сразу оставлю ссылку на документацию, она вам понадобится. Помните про велосипеды? Вот то-то и оно...

На самом деле, использования DynamoDB был значительно менее болезненным, однако я всё равно в шоке, что SDK амазона тоже ничего не умеет. Казалось бы, AWS — это с огромным отрывом лидер в облачных технологиях, но нет, если бы не коммьюнити — пришлось бы писать на встроенном маппере... чуть лучше JDBC, но приятного мало.

Вместо вывода

На то чтобы написать простой CRUD ушло просто непозволительно много времени, пусть и частично из-за моего упёрства и перфекционизма, но мы что, варвары, писать на JDBC без причины в 2023 году?

Я не хочу сказать, что Яндекс Облако — плохой сервис, как раз наоброт: это удобный сервис, и единственный, который работает в т.ч. по формату B2C, потому что все остальные serverless решения в России работают почти исключительно в формате B2B.

Тем не менее, желание Яндекса переизобретать велосипеды, которые до него изобретали уже десятки корпораций, которые уже устоялись и стандартизировались, накорню рубит удобство использования их продуктов, и это очень печально. Яндекс запустил YDB в облаке уже давно (а год назад его ещё и открыл в опенсорс), однако не позаботился о написании нормального SDK, как это сделали амазон — их SDK тоже не фонтан, но это всё равно не идёт ни в какое сравнение с тем, что на общее обозрение выставил яндекс.

Стандарты позволяют чуть-чуть упростить разработку, потому что сейчас:

• Разработка под облака — это больно.
• Деплой под облака — это больно.
• Интеграция с облаками — это больно.
• Вообще любое соприкосновение с облаками — это больно.

Давайте сделаем их чуточку удобнее, ладно?

Обзаводимся доменом

Домен можно либо купить за 150-1500 рублей в год (смотря в какой зоне; .ru самые дешёвые), либо получить бесплатно — в зонах .tk, .ml, .ga, .cf, и .gq (конечно, со звёздочкой).

Получаем домен бесплатно

Бесплатные доменные имена в зонах .tk, .ml, .ga, .cf, и .gq выдаёт регистратор Freenom. Но конечно всем нам очевидно, что бесплатный сыр только в мышеловке, за сами следующие предупреждения:

Переносим домен на DNS Cloudflare

После этого стоит перенести DNS хостинг домена к Cloudflare, поскольку а) мы воспользуемся сервисом Cloudflare для настройки почты, б) он объективно один из лучших.

Для этого необходимо сделать следующее:

1. Зарегистрироваться на Cloudflare.com
2. В разделе Websites добавить свой сайт
3. После этого вам выдадут два адреса, которые нужно прописать в раздел nameservers у регистратора вашего домена вместо стандартных.

Настраиваем почту

Настройка получения писем (inbound)

Для пересылки писем на наш адрес мы будем использовать Cloudflare:

1. Открываем наш сайт в личном кабинете cloudflare
2. Выбираем раздел Email → Email Routing
3. Cloudflare предложит нам автоматически добавить все необходимые DNS записи. Соглашаемся.
4. Выбираем тип пересылки, который нам нужен:
1. Кастомные адреса: пересылка только с конкретных адресов, которые вы настроите, например contact@example.com или admin@example.com, остальные игнорируются.
2. Catch-all: пересылаются любые адреса, например asdfgh@example.com или github@example.com (рекомендую именно этот тип, вы сможете регистрироваться на любых сайтах адресом с названием сайта).
5. Выбираем адрес куда пересылается письмо.
6. Всё, вы восхитительны!

Настройка почтового клиента на входящие письма (если вы пользуетесь отдельным приложением, а не вашей почтой в браузере): согласно вашему провайдеру почты. Искренне сочувствую пользователям Protonmail и Tutanota, где не поддерживается IMAP (то есть самому себе).

Настройка отправки писем (outbound)

С отправкой всё несколько сложнее, потому что получать репутацию спам сервиса никто не хочет, а спамеры будут использовать любые возможности, поэтому этим мало кто занимается. Согласно статистике, 40% всего трафика электронной почты это спам (а раньше было 80%).

С отправкой писем нам поможет сервис SMTP2GO. В бесплатном тарифе он предлагает 1000 писем в месяц, чего для личного пользования хватит с головой. Сервис хранит отправленные письма в течение пяти дней.

Всё достаточно тривиально:

1. Регистрируемся и заходим в личный кабинет
2. Добавляем адрес сайта
3. Подтверждаем добавлением указанных DNS записей в админке Cloudflare
4. Создаем нового пользователя SMTP в разделе SMTP Users.

Настройка почтового клиента на исходящие письма (для всех): тут для любого софта / конкретно для Thunderbird.

Всё, отправляйте тестовое письмо!

Настраиваем сайт

Если вам нужен статический сайт (визитка, блог, etc), то проще всего использовать Jekyll и GitHub Pages, что и будет описано дальше.

Блог, например, можно сделать с помощью всё того же Jekyll (если тема такое поддерживает) или Hugo, либо с помощью сервисов вроде Teletype (где вы и читаете эту статью).

Я выбрал второе из-за WYSIWYG редактора и отсутствия необходимости каждый раз добавлять статьи в качестве Markdown файлов на гитхаб и встроенных комментариев.

Выбор темы для Jekyll

Для начала необходимо выбрать тему для Jekyll. Традиционно GitHub Pages поддерживал только минимальное количество тем, которые ещё и плохо настраивались.

Но с недавних пор там появилась поддержка развёртывания сайтов с помощью GitHub Actions, из-за сайты теперь можно делать на чём угодно, а для Jekyll выбирать какие угодно темы. Собственно подобрать их можно, например, тут:

• jamstackthemes.dev
• jekyll-themes.com
• jekyllthemes.org

На моём сайте — wido.dev — стоит тема Minimalist.

Развёртывание и настройка темы

С настройкой темы у всех всё индивидуально, поэтому обращайтесь к документации выбранной темы. А вот развёртывание у всех примерно одинаковое:

1. Ставим Ruby и Bundle (если он у вас не идёт вместе с Ruby)
2. Скачиваем нужную тему, переходим в её директорию
3. bundle config set --local path "vendor/bundle"
4. bundle install
5. bundle exec jekyll serve — учтите, что он автоматически перезагружает контент сайта, но не _config.yml
6. Играйтесь, настраивайте

Публикация сайта

Для публикации сайта на GitHub Pages вам необходимо:

1. Создать репозиторий для сайта (если у вас есть GitHub Pro — можно приватный, иначе — публичный) и залить туда результаты вашей настройки
2. Перейти в настройки → Pages и в разделе Source выбрать GitHub Actions
3. Выбрать Jekyll (НЕ «GitHub Pages Jekyll») среди списка всех Workflow
4. В разделе Jobs -> build -> "Build with Jekyll" YAML файла, который нам предложит отредактировать GitHub, убрать --baseurl "${{ steps.pages.outputs.base_path }}"
   То есть должно остаться только: run: bundle exec jekyll build
   (этот шаг нужен чтобы разместить сайт на корне вашего домена, а не example.com/repositoryname)
5. Вернуться в настройки Pages и прописать свой домен (можно поставить галочку Enforce HTTPS)
6. Войти в Cloudflare и прописать следующие настройки DNS (на всякий случай актуальные адреса тут), не забудьте снять галочку Proxy:

Тип записи | Имя | Адрес
A             @    185.199.108.153
A             @    185.199.109.153
A             @    185.199.110.153
A             @    185.199.111.153
AAAA          @    2606:50c0:8000::153
AAAA          @    2606:50c0:8001::153
AAAA          @    2606:50c0:8002::153
AAAA          @    2606:50c0:8003::153
CNAME        www   your-username.github.io

Всё, ждите обновления DNS записей.

Если вам нужен только блог на главной странице без возни с Jekyll

В случае Teletype это делается достаточно просто: создаём блог, в его настройках указываем ваш домен и нужную DNS CNAME запись:

• Если вам нужно, чтобы ваш блог отображался на главной странице:
  CNAME @ domains.teletype.in
• Если по поддомену (например blog.example.com):
  CNAME blog domains.teletype.in

И нажимаем кнопочку подтверждения после обновления. Всё!

Бонус: верификация домена на GitHub

Зайдите в настройки своего профиля GitHub, раздел Pages, укажите адрес своего сайта и добавьте указанную DNS TXT запись в Cloudflare. Подождите обновления, нажмите кнопочку Verify.

Бонус: итоговый вид DNS таблицы

Домашнее задание: облака и serverless

Если вы хотите сделать что-то динамическое, то советую глянуть на Yandex Cloud и Cloudflare R2. У первого очень неплохие бесплатные лимиты на Serverless вычисления (Yandex Cloud Function), а R2 предоставляет чудовищные 10 гигабайт хранилища в месяц бесплатно!

Это уже совершенно другая тема, но потенциал, как видите, огромный :)

Если вам нужно что-то попроще, то можно использовать pipedream.com — это IFTTT на стероидах с вебхуками.

Удачи!

Синопсис

Главный герой, Казами Юджи, не старше двадцати лет отроду, работает на секретную правительственную организацию, которая занимается "устранением" неугодных государству людей, однако к моменту начала новеллы он решает подать в отставку и перевести в обычные школу в поисках нормальной жизни. Однако человеку военному не то чтобы есть место среди обычных студентов, поэтому и поступает он по знакомству в специальную школу "для детей с особыми обстоятельствами". Во всей школе всего пять студентов, и все - главные героини, конечно же.

Тут стоит отметить, что новелла вышла в 2011 году, и пусть местами это заметно, но в общем и целом — она ничуть не устарела (кроме разрешения 576p), ведь уже на момент выхода деконструировала свои клише и из-за этого до сих пор выглядит свежо. Поэтому не дайте касту вас отпугнуть:

Каст

Итак, у нас есть:

Ирису Макина — неугомонная и гиперактивная лоля, которая боится окружающих и ищет заботу и внимание в людях вокруг себя. Иногда может вести себя глуповато, хотя и понятно, что она скорее просто не хочет взрослеть.

Комине Сачи — вечно ходящая в униформе горничной староста класса и (почти) всегда серьёзная, выполнит любой (вообще любой) приказ как данное, даже не задумываясь, из-за чего является опорой всех остальных студентов, которые уже разучились жить без её помощи.

Матсушима Мичиру — перекрашенная блондинка с хвостиками, которая очень-очень упорно пытается играть роль цундере, однако получается только роль шута. Может быть на удивление тактичной и читать атмосферу, пытаясь разрядить её своим шутовством.

Сакаки Юмико — дочь владельца академии (и по совместительству первый студент) с проблемами с социализацией. Постоянно скрывает свои эмоции берясь за канцелярский нож и кидаясь (не по-настоящему) на всех подряд, в том числе встречая так главного героя после первой попытки заговорить.

Суо Амане — очень высокая девушка, которая играет роль старшей сестры (или даже матери) для всех в общежитии, заботится о Макине и сразу проявляет интерес к главному герою, не стесняясь бравировать своим телом, за что давно получила много прозвищ.

О чем игра на самом деле

Вы прочитали описание каста выше? Заметили, что оно какое-то маленькое и невзрачное? На это есть причина — вы можете забыть сразу же всё то, о чем я написал выше. Нет, вся информация там как бы легитимна, всё так, однако это очень однобокое описание персонажей, и даже если вы прочитаете чуть более полную версию на VNDB — ситуацию это не изменит.

Помните в синопсисе фразу "школа для людей с особенными обстоятельствами"? Вот этим обстоятельствам на самом деле и посвящена вся игра, и пусть в ней нет претензии на философичность или истинное познание жизни, сценаристы явно пытались вложить в неё очень многое.

В самой игре есть метафора о характерах людей, по памяти — примерно такая:

Люди похожи на геометрические фигуры. Изначально их личность похожа на куб, но чем больше они сталкиваются с другими людьми, проблемами и обществом, тем больше их углы тупятся скругляются, в идеале в конце превращаясь в шар. Однако, если столкновение будет слишком сильным — это может оставить непоправимые вмятины на личности человека.

Я не уверен, насколько эта мысль применима к реальности, однако она очень хорошая применима к самой игре:

Многие люди уже привыкли к тому, что протагонист в новеллах является пустышкой для ассоциации игрока с ним и своего рода Мэри Сью, однако в данном случае Юджи — самый главный персонаж всей истории. Его прошлое и характер раскрывается нам по крупицам в каждом руте, и мы только к концу первого рута будем иметь относительно полное представление о том, что он за человек.

Повествование

Юджи, как было уже сказано, очень необычный для визуальных новелл протагонист. У него есть свой характер и личность, но при этом он не похож на эксцентричного Нариту Шинри из «Hello Lady», вся личность Юджи со всеми недостатками — это груз прошлого и его психологических проблем, в этой истории он учится социализироваться, как и все остальные героини. Это же, кстати, убирает вопрос "а почему это несколько девушек влюбились в обычного ОЯШа?" который может возникать в большинстве гаремников — всем героиням тут нехватает общества и внимания, а студентов парней до Юджи тут не было в принципе.

Сложно назвать Юджи "гигачадом" как например упомянутого Нариту, но в сравнении с ним, персонажу Юджи, как ни странно, сильнее веришь, и симпатии он вызывает больше. Тем не менее, мы смотрим на историю почти исключительно от его лица, со всеми вытекающими. Он не твердолобый, скорее просто апатичный и холодный, и именно из-за этого он и поступил в эту академию.

Жанр повествования

Основная часть коммона — это обычная повседневная комедия (с необычной линзой), которая знакомит нас с персонажами. Причём что удивительно — комедия смешная. Химия между персонажами просто невероятная и это создаёт шутки на грани комедии абсурда, но как же это периодически разрывает...

В принципе Грисая во время коммона оборачивает в геги почти любую ситуацию, даже серьёзную, вплоть до того что жажда мужского внимания у героинь высмеивается шутками об их мастурбации на протагониста.

Но при всём этом как только игрок выбирает конкретный рут — комедия достаточно быстро вымещается серьёзным повествованием, причём это может быть как флешбек на десять часов (да, правда, и он очень даже интересный), так и история о бегах и сражении с врагами в стиле Джона Уика.

Кстати, о моих словах о "первом" руте...

Структура игры

Не считая первых двух выборов, которые почти (pro tip: помогайте нуждающимся и не скупитесь на доброе слово) ни на что не влияют, новелла имеет лестничную структуру: это означает, что выход на конкретный рут определяется одним выбором, и в случае "неправильного" выбора, вам дадут следующий выбор уже на следующий же рут и так далее. Графически:

начало
   |-> первый рут
   |-> второй рут
   |-> третий рут
   |-> четвертый рут
   v
пятый рут

Несмотря на свою монструозную длительность, я не могу сказать, что читать новеллу тяжело или что она затянута, за исключением нескольких сцен. Она написана на удивление целостно и внятно, повествование не скачет и в целом очень неохотно перескакивает с главного героя и только по необходимости. В своей сути она до последней запятой следует обычной структуре драмы из трёх актов... кроме рута Мичиру, но о нём чуть-чуть дальше.

В истории часто были ссылки и цитирования моментов из коммона или предыдущих рутов, что у внимательного читателя вызывает моменты радости в стиле "вот, я помню эту фразу, это было предвестие (foreshadowing)!", что приятно и ещё больше доказывает грамотность сценаристов.

Рут Мичиру — единственный неработающий рут в игре

Это тот рут, который вызовет недоумевание примерно у всех. Не поймите превратно, сам персонаж многим очень нравится, но вот конкретно её рут — простите, ###нутый. Дело не в том, что рут плохой — он просто очень тупой по завязке и реализации и очень сильно структурно выделяется на фоне остальных.

Все остальные руты следуют структуре из трёх актов драматургии до последней запятой, в них можно примерно понять где ты находишься, сколько ещё осталось и что тебя ждёт; здесь - забудьте, он абсолютно хаотичный, сбивчивый сами происходящие в руте события его структурированию вообще не помогают.

Опять же, рут не плохой — в нём есть пусть и немного дешёвые, но всё же очень сильные сцены и мысли, а развязка, если закрыть глаза на её общий тупизм, — одна из самых сильных сцен в игре. Но основная проблема рута — это противоречия самому себе и почти что паранормальная общая завязка, при том что вся остальная игра придерживается реализма, пусть и иногда такого, в который сложно поверить.

На все вопросы "почему так" есть достаточно простой ответ — рут доверили непрофессиональному сценаристу, который до этого в основном писал тексты песен и помогал со сценариями по мелочи — иными словами, банальная неопытность. Почему ему рут доверили — вопрос хороший, однако остающийся загадкой по сей день.

Технические моменты

Если вы зайдёте на VNDB и проспойлерите себе список персонажей, то спешу огорчить — в первой игре главными героинями будет только основная пятёрка и никого больше, да и в сиквелах ни у кого больше не будет "полноценного" рута, однако это разговор для следующего раза.

На Linux / Steam Deck игра работает со скрипом — для запуска (через стим) необходимо выключить DRI3 и включить WINED3D9:

LIBGL_DRI3_DISABLE=1 PROTON_USE_WINED3D9=1 %command%

Для запуска не через стим (пиратки бишь) через gamescope (для повышения разрешения через FSR) нужно сделать примерно так (скриптом или каждый раз ручками - ваш выбор):

LIBGL_DRI3_DISABLE=1 PROTON_USE_WINED3D9=1 WINE_FULLSCREEN_FSR_STRENGTH=0 WINE_FULLSCREEN_FSR_MODE=ultra INTEL_DEBUG=norbc gamescope -h 576 -w 1024 -H 1080 -f -U -- wine BootMenu.exe

В обоих случаях сразу советую залезть в настройки игры и выключить воспроизведение видео (всё равно не заработает) и включить фикс для отсутствующих превью файлов сохранений.

И ещё — игра через протон может изредка просто повиснуть при переходе сцен и просто не загрузить новый, так что сохраняйтесь почаще. И даже будучи визуальной новеллой, через протон она способно неплохо так нагрузить не самый мощный ноутбук, так что играть без зарядки рядом крайне не советую, если только не ограничивать ей фпс и потребление процессора вручную.

Общие мысли и заключение

Грисайя — это немного неоднозначная игра. Она вам либо очень понравится, либо вы её не поймёте и невзлюбите, почему-то чего-то посередине практически не случается. Тем не менее, цифры не врут: это четвёртая по популярности визуальная новелла на VNDB со средним рейтингом 8.4 и я настоятельно советую в неё поиграть.

Она неидеальна, в ней таки есть некоторые сюжетные дыры, химия местами страдает, но о её недостатках не очень хочется говорить (поэтому они тут не сильно и затронуты), она либо нравится, либо нет.

Но советую опираясь не на рейтинг, на простой факт — это единичный проект. Игры такого масштаба и качества — огромная редкость, и только лишь за это, как мне кажется, стоит хотя бы попробовать пройти её.

Спасибо, что прочитали этот малосвязный поток сознания до конца :)