712 безглуздих слів про "renewing the Brand".

Дякуючи Зевсу, Гері та іншим богам, ЕйАй, який нищить Stack Exchange, вміє перетворювати воду на сенс:

"Stack Exchange is launching a rebrand because they think their identity is a mess, and it’s hurting their business. Instead of fixing real problems, they’re wasting time and money on consultants and vague “brand strategy” to make everything look more polished while AI eats their lunch. They say they want community input, but this is corporate theater."

З безтурботних часів кінця сивочолого криголама (що мені не подобалось?), для знаходження діректових лінків на .iso, Майкрософт кілька разів змінювали внутрішній ойпіай, загалом, потреба ув якому як була так і залишається незрозумілою, якщо не рахувати необхідність свіжих булітів кожного end-of-year рів'ю.

Щоб завантажити 24h2, треба отримати ойді сесії та список мов, за якими Майкрософт подарує згенерований url ув джейсоні. Як робити найостанніший ріквеста забагато разів на годину (наприклад, нахабно 5 разів), Майкрософт зобанить. Покласти всі .iso на статичного сервера не можна--це буде глузування над здоровий глуздом, потрібна Процедура.

$ grep -Ev '^#|^$' windows-iso-url | wc -l
28

Скрипта вимагає nokogiri.

Ув вікіпідіа написано шо хадварні термінали VT100 (продавалися з 1978 року) та VT220 (1983) були монохромні (кольорові варіянти, напевно, лише для заможних верств гіпадрілів). Terminfo ув лайнаксі про ці термінали містить ту саму інформацію:

$ for i in dumb vt100 vt220 screen xterm $TERM; do printf "%-20s" $i; TERM=$i tput colors; done
dumb                -1
vt100               -1
vt220               -1
screen              8
xterm               8
xterm-256color      256

Кілька днів тому, нєкто Поттерінґ, мастодонів про діфолтне значення TERM, яке обирає systemd:

'The default fallback $TERM we so far picked has been "vt220" … This deemed us to be a good choice, since (unlike the better known vt100) these kind of terminals support PageUp/PageDown keys'

Загалом, ув terminfo дивляться зазвичай тільки ютіліти які для користувацького інтерхфейсу використовують ncurses; решта вгадує можливості терміналу шляхом слідкування за візерунками руху небесних тіл, e.g.:

• чи є змінна середовища COLORTERM (нещодавно обраний шлях systemd);
• змінна середовища NO_COLOR (я би віддав перевагу, навпаки, щось на кшталт COLOR=1, бо діфолтне плювання кольорами ув консолі є страшенний несмак);
• дивитися на TERM і шукати збіг ув своїй вкомпайлений (не жарт) табличці, як то робить ls з coreutils;
• механізма terminal-colors.d(5) з util-linux, яким користується ніхто, окрім деяких ютіліт з util-linux.

Лайнаксний ls, звичайно, перемагає ув конкурсі найдебільнішого рішення.

Воно друкує барвами для vt100, тому що протягом компіляції coreutils хапається текстовий хфайла з налаштунками для dircolors(1), який має ось такі рядки:

TERM vt100
TERM xterm*

Цей хфайл (його копія зазвичай є ув /etc/DIR_COLORS) скрипта перловий конвертує ув символьного масива

$ head -c7 src/dircolors.hin # ув ріпо coreutils
# Confi
$ (head -c61 && printf 🤡 && tail -c39) < <(src/dcgen src/dircolors.hin)
static char const G_line[] =
{
  '#',' ','C','o','n','f','i',🤡,'r','i','a','b','l','e','s','.',0,
};

який потім інклудиться як dircolors.h ув ls.c, де є хфункція

/* Check if the content of TERM is a valid name in dircolors.  */
static bool known_term_type(void) {
  char const *term = getenv("TERM");
  if (!term || !*term)
    return false;

  char const *line = G_line;
  while (line - G_line < sizeof(G_line)) {
    if (STRNCMP_LIT(line, "TERM ") == 0) {
      if (fnmatch(line + 5, term, 0) == 0)
        return true;
    }
    line += strlen(line) + 1;
  }

  return false;
}

dircolors(1) також парсить нещасну G_line та друкує 0 інструкцій для ls, коли TERM є відсутня чи несе невідоме значення:

$ env -i SHELL=/bin/sh dircolors
LS_COLORS='';
export LS_COLORS

У чому сенс тоді, навіть за відсутності LS_COLORS, розмальовуювати множинні character devices з директоріями (довгий масив color_indicator[] ув ls.c, якщо комусь цікаво), але полишати файли звичайні (кольори для яких G_line має), залишається невідомим.

Бовзер Кроум має інтернáльну сторінку chrome://gpu/, яка малює, поміж інших речей, статуса хадварних відеокодувальників. Якщо драйвер gpu не опиняється ув блеклисті (це слово можна знову використовувати?), ближче до кінця там з'являється таблиця з рядками

Decode hevc main    64x64 to 8192x4352 pixels

З інтернáльною сторінкою пов'язано багато смішного. Наприклад, одного разу на безмежні узбережжя скелястих форумів гоогла викинуло монголку:

"Добрий дєнь! вопрос про страніцу chrome://gpu - у мєня поддєржка ЯндєксКарти запросіла пріслать содєржімоє єтой страніци. Єто что, вообщє? Єто бєзопасно? Я вставіла єє в адрєсную строку і получіла коллапс какой-то - цвєтниє полоси, клінья, сєґмєнти і прочую бєлібєрду, послє чєґо всє откритиє страніци інтєрнєта пошлі "плясать" - содєржімоє пєрєкорєжіло. Вірус, что лі?"

Раніше, якщо треба було дивитися на окремі відеофрейми, брався src відеокодеку на C та відчайдушно компілювався ув вебасемблі. Зараз це ліпше робити ні, т.я. бовзер розуміє вдосталь відеокодеків самотужки і має новітнього ойпіай (йому 5 років) для маніпулювання фреймами--WebCodecs.

Ув лайнаксі, Кроум використовує хадварні відеокодувальникі через завдяки за допомогою VAAPI. Якщо дістро має застарілі (або занадто нові) версії Mesa з їх DRI-драйверами, відеокодувальники ув Кроумі будуть софтварними, навіть якщо GPU підтримує їх хадварну акселерацію. З ідіотськими порадами "не викидайте старі комп'ютери, а інсталюйте на них лайнакса", наївний користувач отримує гул кулерів, який був відсутній ув віндюку, де Кроум дружив з драйверами GPU.

WebCodecs має метода статичного VideoDecoder.isConfigSupported(), яким можна перевірити чи використовує Кроум могутню акселерацію для конкретного кодека. З VideoEncoder це можна перевірити для конкретної роздільної здатності.

Наприклад, якщо пастнути текста нижче ув дівтулзову консоль, воно надрукує трохи більш зручну табличку, аніж простирадла з chrome://gpu/:

Promise.all([
    ['AV1',   'av01.0.08M.10'],
    ['H.264', 'avc1.640033'],
    ['H.265', 'hev1.1.6.L120.90'],
    ['VP8',   'vp8'],
    ['VP9',   'vp09.00.40.08']
].map( async v => ({
    name: v[0],
    codec: v[1],
    support: (await VideoDecoder.isConfigSupported({
        codec: v[1], hardwareAcceleration: "prefer-hardware",
    })).supported
}))).then(console.table)

(Звичайно шо isConfigSupported() є червона хфункція, т.я. потрібно нагадувати гіпадрілам постійно шо життя це є боротьба.)

На жаль, console.table() не вертає html, тому щоб написати уйоб-сторінку, яку зручно відкривати на SBC з ондроїдом або кетайських тівібоксах, треба малювати все самому.

Мінімальний приклад (працює лише ув Кроумі; Файрфокс видає галімат'ю):

$ wc -l *html
47 index.html

є отут (вибачте що не Реакт). Ув якості домашнього завдання, додайте вибір варіянтів baseline/main/high кодеків з <select>.

Such is human stupidity that whatever is difficult
to obtain is always thought to be better.
-- Peter Martyr d'Anghiera, 1524.

Колись давно, років 8 тому, ув часи сивочолого гетьмана і кволих реформ мусоріату, на HN з'явився лінка на http-сервера розміром 1KB. Не src того сервера був 1KB, а його статично зкомпільований байнарник. Все що той сервер вмів робити це відповідати на будь-який ріквест 1 файлом. Я проявив 0 інтересу, тому що написано воно було на asm/C ув пропорції 60/40.

Ідея такого розміру програм сподобалася французькому автору haproxy і він вмовив нарід ув LKML погодитися закомітити окрему бібліотеку для написання "nolibc" аплікацій. Прикладом такої аплікації є rcutorture--тестування кернела--де генерується невеличкий initrd, написаний на C без використання будь-якої libc.

Іронія ув необхідності спеціяльної бібліотеки щоб не використовувати стандартну бібліотеку нагадує спробу обійти коло, рухаючись по його контуру.

На тему < 1KB байнарників є класичний текста Really Teensy ELF Executables, але у ньому йде мова про асемблера, на який я не бажав звертати уваги ув минулому і на який не бажаю звертати уваги зараз.

Чи можна створювати крихітні (байнарі-вайз) аплікації без асемблеру на C без стандартної бібліотеки? Майже пусту main() лінкер--лінкує, але:

$ cat 42.v1.c
int main() { return 42; }

$ clang -Os 42.v1.c -o 42.v1.o -c
$ ld.lld -e main -o 42.v1 42.v1.o

$ ./42.v1
Segmentation fault (core dumped)

Виявляється, осемблер потрібен щоб кликати сисколи лайнакса:

$ cat 42.v2.c
static inline long syscall(long NR, long arg1) {
  long r;
  __asm__ volatile("syscall" : "=a" (r) : "a" (NR),
                   "D" (arg1) : "rcx", "r11", "memory");
  return r;
}
int main() { return 42; }
void _start() { syscall(60, main()); }

$ clang -Os 42.v2.c -o 42.v2.o -c
$ ld.lld -e _start -o 42.v2 42.v2.o
$ strip -s 42.v2

$ strace ./42.v2
execve("./42.v2", ["./42.v2"], 0x7ffc7190b9a0 /* 105 vars */) = 0
exit(42)                                = ?
+++ exited with 42 +++

Ага! Такий статичний байнарник має розмір 800 байт і залежить від 0 бібліотек. Номер сисколу (60) для exit можна подивитися ув файлі arch/x86/entry/syscalls/syscall_64.tbl кернельного src. На відміну від віндюка, де ABI змінюється з щорічними "feature updates", такий 800-байтовий ікзек'ютабл буде працювати доки є жива орхітектура x86_64.

Чи складно тоді, маючи обгортки для лайнаксних сисколів, написати елементарного TCP сервера для x86_64? Я вирішив спробувати:

$ _out/uptime-tcp-nolibc &
[1] 53161
$ nc --recv-only 127.0.0.1 1377
 07:16:29 up 1 day(s) 22:14,  load average: 0.19, 0.31, 0.30

Воно вертає шось схоже на команду uptime на ремоутній мошині, але не використовує ніяких екстернальних команд чи бібліотек. Якого розміру uptime-tcp-nolibc та скільки він їсть пам'яті написано ув кінці посту.

Якщо без libc немає жодного способу робити I/O чи відкривати сокета, тоді С стає фанкшонал мовою, про яку мріяли вчоні з 80х років, але, на їх невдачу, кернела набув IP стек та аналоги open(2) з write(2).

42.v2.c не вміє читати argv чи environ, а варіятивні хфункції у ньому роблять кордамп. Останне лікується

__attribute__((force_align_arg_pointer))
void _start() { ... }

З argv все є набагато гірше: якщо мета є саме отримувати поінтера на argv, потрібен знову осемблер (~14 рядків), який я тут постити не буду, щоб не лякати людей. Технічно, прочитати argv можна просто відкривши /proc/self/cmdline, ув якому \0 є роздільником аргументів:

$ tr \\0 \\n < /proc/self/cmdline
tr
\0
\n

але вас засміють ув інтервебах.

Перша каменюка на шляху до сокетів лежить ув man-сторінках відповідних libc враперів. Наприклад, bind(2) чекає на аргумента struct sockaddr *, опис якого ув man-сторінці ip(7) був скопійований з документації якоїсь 4.3BSD-Tahoe 1987 року і відповідає реальності нутрощів лайнуксного сьогодення з висоти дзвіниці Києво-Печерської лаври. (Потрібний додатковий паддінґ' unsigned char __pad[8].)

Якщо libc-врапери вертають -1 на помилку та виставляють errno, то сисколи вертають errno × -1. Ув справжніх libc errno є локальна для поточного треду. Для мікімаусного nolibc серверу писати свою версію позікс тредів це як збирати гелікоптер AK1-3 на подвір'ї поміж 2ма хрущовками, тому тут errno--глобальна змінна. Як зберігати інтерхфейса, до якого звикли всі, хто коли-небудь писав мережеві майкросервіси на C, то найпростіший враппер виглядає як

int accept(int sockfd, struct sockaddr *addr, socklen_t *addrlen) {
  int r = my_syscall(43, sockfd, (long)addr, (long)addrlen, 0, 0, 0);
  if (r < 0) {
    errno = -r;
    r = -1;
  }
  return r;
}

Сигнали

Ув класичних Unix-серверах, якщо вони писалися не для inetd, конкурентна модель є форкова модель, яка вимагає прислуховуватися до SIGCHLD і чекати доки child завершить роботу, інакше після кожного ріквесту буде залишатися зомбі.

Форкова модель була популярна, тому що дозволяла серверу не лякатися сіґфолта, якщо сервер мав бага на який натрапив клайент: зупинявся лише child-невдаха, всі інші продовжували працювати.

Для встановлення колбеку на окремий сигнал лайнакс має свій rt_sigaction сискола. Ув аргументах той має поінтера на struct sigaction з дуже підступним філдом

void (*sa_restorer)(void);

Ув man-сторінках про нього написано ось таке:

'This flag is used by C libraries [тобто, нами] to indicate that the sa_restorer field contains the address of a "signal trampoline".

'… the C library's sigaction(2) wrapper function informs the kernel of the location of the trampoline code by placing its address in the sa_restorer field of the sigaction structure.'

Шматок з мікімаусного врапера:

int sigaction(int sig, const struct sigaction *act, struct sigaction *oact) {
  // ...

  struct kernel_sigaction kact, koact;
  kact.k_sa_handler = act->sa_handler;
  memcpy(&kact.sa_mask, &act->sa_mask, sizeof(sigset_t));
  // ...
  kact.sa_restorer = &restore_rt; // THE MOST IMPORTANT STEP

  int r = my_syscall(13, sig,
                     (long)(act?&kact:NULL), (long)(oact?&koact:NULL),
                     _NSIG/8, 0, 0);
  // ...
}

Звідкіля береться адреса хфункції для kact.sa_restorer? Це є та сама "signal trampoline", про необхідність якої попереджає лайнаксна документація. Звичайно, можна її не виставляти, але тоді жоден з сигналів не буде пійманий і жоден з колбеків не буде виконаний.

Спочатку я наївно написав

void restore_rt() {
  my_syscall(15, 0, 0, 0, 0, 0, 0); // 15 це rt_sigreturn
  __builtin_trap();
}

сигнали перехоплювалися, колбеки виконувалися,

СЄЧЄНОВ

Цей гіпноз корисний дуже,
У хазяйстві вєрно служить,
Злакі мощно прорастають
І надої возрастають!

але після завершення останніх сервер гепався через сіґфолта. На жаль, тут був потрібен осемблер знову:

__asm__(
  ".globl restore_rt\n"
  "restore_rt:\n"
  "    movq $15, %rax\n"
  "    syscall\n"
  "    hlt\n"
);

Чому не працює С-версія я не знаю. Клод ЕйАй вважає вона "may modify registers or the stack layout."

snprintf та gettimeofday

Життя без snprintf--життя варварів.
-- Невідомий філософ.

Ув src кернелу є приклад мінімалістичної vfprintf на 101 рядок, але вона не підтримує floats, які має друкувати uptime. Замість додавання їх підтримки, ліпше пошукати справжню snprintf, яка не використовує malloc. Така є ув pkg Федори (із усіх можливих місць саме тут) і називається stb_sprintf-devel. Це самотній .h файла, який зкомпільовується ув 18168 байт. Жахливе марнування ресурсів, але нічого не вдіяти. Тій хфункції потрібні va_start з друзями, але gcc та clang мають __builtin_va_* ув комплекті:

#define va_start(v,l)   __builtin_va_start(v,l)

Після інкорпорації stb_sprintf життя заграло новими барвами.

Дізнатися час ув секундах з початку буту можна зі сисколом sysinfo, поточний час--зі gettimeofday. Останній провайдить навіть кількість хвилин на захід від Ґрінвічу! Така розкіш.

Фіналє

Розмір нестріпованого статичного байнарника: 21736 байт. (Я до сих пір не можу повірити як це можливо.)

$ make info
wc -lc *.[ch] | while read -r lines bytes file; do \
 elf=-;\
 echo $file | grep -q '\.c$' && elf=`stat -c%s _out/${file%.*}.o`;\
 echo $file $lines $bytes $elf;\
done | column -t -N\ ,LINES,BYTES,ELF
            LINES  BYTES  ELF
main.c      134    3657   5896
signal.c    76     1699   1704
signal.h    113    2649   -
snprintf.c  6      120    18168
snprintf.h  12     274    -
sockets.c   37     896    1728
sockets.h   45     1119   -
u.c         98     2152   4496
u.h         46     1353   -
uptime.c    67     2148   2128
uptime.h    6      79     -
total       640    16146  -

Якби не stb_sprintf, розмір був би < 10KB.

Але це є не найбільша цікавинка. Ось кількість пам'яті, яку їсть такий конкурентний tcp-сервер після відповіді на 100 одночасних ріквестів:

$ sudo ps_mem -p `pgrep -f uptime-tcp-nolibc`
 Private  +   Shared  =  RAM used       Program

 36.0 KiB +   4.5 KiB =  40.5 KiB       uptime-tcp-nolibc
---------------------------------
                         40.5 KiB

Дуже сміюся. Ув сучасному світі, якщо споживання серверу, який робить 0 складного, < 80 _мегабайт_, то це є видатний вчинок і безстрашний прояв волі, за який треба сертифікат хоноровий, медаль та грошовий бонус для походу ув підпільне казино з повіями.

FreeBSD is very compatible with standards such as POSIX.
-- FreeBSD Developer Handbook

На будь-якому лайнаксі з будь-яким sh-похідним шелом, скрипта нижче друкує hello world:

$ cat -n 1.sh
     1  set -e
     2
     3  hello() {
     4      false
     5      echo hello
     6  }
     7
     8  true | hello && echo world

$ sh 1.sh
hello
world

fbsd зі своїм /bin/sh робить потужний кєк на рядку 4:

$ sh 1.sh
$ echo $?
1
$ sh -x 1.sh
+ set -e
+ true
+ hello
+ false
$ uname -rs
FreeBSD 14.1-RELEASE-p5

Їхній sh(1) має ось таке речення ув роздлі про set -e:

"If a shell function is executed and its exit status is explicitly tested, all commands of the function are considered to be tested as well."

Я, звичайно, не є перший хто це випадково помітив: схожі 4 скарги ув їхній баґзилі date back to 1999-2005, всі обнадійливо позначені як FIXED.

Хто і навіщо fbsd використовує для роботи, окрім контори Соні та ображених на Торвальдса русскіх, залишається незрозумілим.

Як нарід робить векторні скріншоти терміналу? Ось такі:

Я гадав є конвертори аутпуту зі script(1) ув SVG, але нічого такого не знайшов. Результат з asciinema нормально конвертується лише ув бітмапові зображення. Мотлох ansi-ту-шото на пáйфоні та расті або видає скуйовджені світлини або не розуміє ті ansi сіквенсес, що відповідають за рух курсору. Покинутим termtosvg можна генерувати купу svg, але він покладається на пáйфонівський in memory емулятора терміналу, який має купу багів.

Сучасний xterm вміє робити "SVG Screen Dump", але з наївним позіціонуванням літер. Наприклад, рядок '$ uname' він серіялізує як:

<g fill='rgb(60.00%, 60.00%, 60.00%)'>
 <text x='2' y='17'>$</text>
 <text x='22' y='17'>u</text>
 <text x='32' y='17'>n</text>
 <text x='42' y='17'>a</text>
 <text x='52' y='17'>m</text>
 <text x='62' y='17'>e</text>
</g>

Це означає, що кернінґа шрифта до уваги не береться і результат виглядає чудернацько.

Сучасний xterm також вміє робити "XHTML Screen Dump" (ув меню Ctrl + Миша-1), який гендериться ув бовзері майже ідеально (з замалим line-height). Додати необхідного стилю до .xhtml файлу ж нескладно, але як конвертнути той xhtml ув svg?

Пассо нумеро уно

Бовзери вміють друкувати ув pdf. Кроум має headless режима, а гооглова бібліотека puppeteer (з дебільним інтерфейсом), має Page#pdf() метода. Нам лише потрібно вибрати розмір в'юпорту та опцію 'друкувати background graphics'.

$ cat html2pdf
#!/usr/bin/env node

import util from 'util'
import fs from 'fs'
import puppeteer from 'puppeteer'

async function pdf(url, output, opt) {
    let bowser = await puppeteer.launch()
    let page = await bowser.newPage()

    let print_settings = Object.assign({
        path: output,
        printBackground: true,
        width: 1920,
        height: 1080,
    }, opt)

    await page.emulateMediaType('screen')
    await page.setUserAgent('Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36')
    try {
        await page.goto(urlise(url), { waitUntil: 'networkidle0' })
        await page.pdf(print_settings)
    } catch (e) {
        err('Error:', e.message)
    }

    await bowser.close()
}

function urlise(s) {
    return (/^https?:/.test(s)) ? s : 'file://' + fs.realpathSync(s)
}

function err(...msg) { console.error(...msg); process.exit(1) }

let args = util.parseArgs({
    options: {
        width: { type: 'string', short: 'w' },
        height: { type: 'string', short: 'h' },
    },
    allowPositionals: true
})

if ( !(args.positionals[0] && args.positionals[1]))
    err('Usage: html2pdf URL output.pdf')

pdf(args.positionals[0], args.positionals[1], args.values)

Скрипта підтримує -w та -h опції і конвертує будь-яку уйоб-сторінку, а не тільки локальні файли. Якщо не виставити user-agent, по-замовчуванню буде HeadlessChrome, на що деякі сайти неприємно реагують.

Пассо нумеро дуе

PDF, на жаль, не буде мати розмір конь тенту, а буде містити borders (як це українською? межа?) Прибрати їх простіше всього Inkscape'ом:

$ inkscape --actions "select-all;fit-canvas-to-selection" 1.pdf -o 2.pdf

Пассо нумеро тре

$ pdf2svg 2.pdf 1.svg

Воно автоматом перетворює текст ув path. Зменшити розмір .svg можна svgcleaner'ом.

На кроці нумеро дуе можна було би зразу конвертнути рельтат ув svg, але він тоді виходить гаргантюажного розміру.

Енівей, фінальний мейкфайла:

$ cat xterm-xhtml-to-svg
#!/usr/bin/make -f

font := monospace

$(if $(and $(i),$(o)),,$(error Usage: xterm-xhtml-to-svg i=1.xhtml o=1.svg))
__dir__ := $(dir $(realpath $(lastword $(MAKEFILE_LIST))))

$(o): $(i).dirty.svg; svgcleaner --quiet $< $@

%.nokogiri.xhtml: $(i)
    ruby -rnokogiri -e 'd = Nokogiri.XML(STDIN.read); d.css("#vt100 > pre").first["style"] = "font-family: '$(call se,$(font))'; line-height: 1.2"; puts d.to_xml' < $< > $@

%.uncropped.pdf: %.nokogiri.xhtml; $(__dir__)/html2pdf $< $@

%.pdf: %.uncropped.pdf
    inkscape --actions "select-all;fit-canvas-to-selection" $< -o $@

%.dirty.svg: %.pdf; pdf2svg $< $@

se = '$(subst ','\'',$1)'
.INTERMEDIATE: $(i).dirty.svg

Намагаючись приготуватися до неминучого колапсу Кроума, згадав шо є бовзер Файрфокс, фундацьоне якого минулого року збирало усім світом на зарплату своєї CEO.

Чому колапсу? Кроум переходить на "новий" API для ікстеншонів (моніфест 3.0), депрікуючи "старий". За винятком Ublock Origin, всі ікстеншони у мене є самописні (99% того що має гооглівський могозин є malware; я не перебільшую). Ublock Origin працювати з "новим" API не збирається, а я маю 0 стимулу та зиску ув портуванні самописного. 1 з ікстеншонів використовує той самий API що і Ublock Origin, але для додавання/редагування http headers.

З цим ікстеншоном були 2 смішні гішторії. Його статистика плаває від 30 користувачів до раптом 900, 1200, 1900 і знову вниз до 30, а т.я. ніякої телеметрії там немає, чому їм починають користуватися на короткий час ув Азії, я не знаю. Якось після такого бурсту активності мені прийшов листа від якогось кетайця, який чемно запропонував продати йому ікстеншона за €600 (я не відповів).

Іншого разу до мене приколупася гамериканська коб'єта, у якої не працювало замовлення з якогось локального склепу, тому що її бовзер видаляв referer і вона якимось незбагненним чином знайшла того ікстеншона та вкрай наполегливо у мене розпитувала як її referer повернути взад. Я чесно намагався їй допомогти, але ув кінці здався і порекомендував встановити Файрфокса, на що вона відповіла "Foxfire [sic] works, thank you!", а я перехрестився.

Чому колапсу Кроума? Я, звичайно, трохи перебільшую, але маю сумніви, що після стількох років з інтервебом без реклами, ореал ойті та їх сімей добровільно погодиться на, та буде сумлінно спостерігати, наприклад, рекламу ув ютубі. Скільки це додасть мульйонів користувачів ФФ це є цікаве питання, але я очікую невеличкого ренесансу.

Як справи ув ФФ на лайнаксі?

Для свого кроуму він використовує gtk3, який фундацьйоне Ґноума та контора Червоний Капелюх вважає депрікейтед. (Для тих хто живе під скелею та є не ув уйоб-дівелопмент дискурсі: кроум--специфічний крос-бовзерський термін, який означає будь-які елементи gui, які не стосуються DOM'у уйоб-сторінки. Наприклад, меню з букмарками або url-бар. Відповідно, кроумлес є вікно лише з уйоб-сторінкою. Фулскрін режим F11 є прикладом кроумлес.)

Gtk3 означає 0 покращень для кроуму, т.я. дівелопмент тулкіту багато років переїхав на gtk4 та майбутнього gtk5. Старий gtk3 бажають викинути геть, але наразі через аплікації типу ФФ це зробити не вдається, хоча люди намагаються.

Наприклад, одного дня ФФ перестав показувати pointer курсор (використовується при наведенні на лінка). Раніше мені було все одно--я пускав ФФ лише для перевірки рендеренґу. Виявляється це сталосі тому, що ув діфолтний gtk3 темі загубили той курсор для xorg. Хтось накричав на Ґноум, але їм було по-барабану, тому ФФ спеціяльно додав widget.gtk.legacy-cursors.enabled конфіґураційного параметра, який по-замовчуванню є false--доля лайнаксоїдів не ув wayland є страждати.

Але найгірша ситуація є зі шрифтами. Gtk3 підтримує fontconfig і ФФ'шний кроум рендерить заміни згідно користувацьких ~/.config/fontconfig/fonts.conf та налаштувань ув ~/.config/gtk-3.0/, як того юзер очікує. Механізма рендеренґу шрифтів ув бовзерному двигуні ФФ технічно питає fontconfig також, але за своїми правилами, тому на практиці результати відрізняються від Гоогл Кроуму та Майкрософтського Edge.

За часів w2k/winxp на fbsd/лайнакс копіювали віндюкові шрифти Arial, Times New Roman, Courier New, &c (така колекція називалася core fonts), і МС деякий проміжок часу дозволяла їх завантажувати легально. Копіювали всі: вільними лайнаксними шрифтами можна було катувати.

Деб'ян має core fonts ув своїх пекеджах (Федора--ні), але ті шрифти застигли ув версіях чи то w98 чи то w2k і відповідних версіях юнікоду. За цей час з'явилося вдосталь metric-compatible families і технічно навіть оновлена колекція core fonts стала непотрібна.

З /usr/share/fontconfig/conf.avail/30-metric-aliases.conf:

Але я звик до core fonts. Не оригінальних, а свіжих, які я регулярно оновлював коли оновлювався віндюк. Ув fonts.conf достатньо було мати на кшталт

<alias>
  <family>sans-serif</family>
  <prefer><family>Arial</family></prefer>
</alias>

і гоогловський Кроум рендерував sans-serif Arial'ом замість лайнаксового Liberation Sans, Nimbus Sans чи DejaVu Sans.

Звісно з ФФ це не працює (навіщо). Той наполегливо ставить 1й ліпший sans-serif шрифта, який fontconfig знаходить ув /etc/fonts/conf.d/. Якщо того шрифта дісейблнути ув fonts.conf, ФФ бере наступного. На їхній баґзилі відкритий баґ висить 10й рік.

Подолати це можна тільки створивши ув /etc/fonts/conf.d/ хфайла з ім'ям, яке буде сортуватися (in numeric order) до хфайлів з "family substitution", наприклад, 12-msfonts.conf:

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE fontconfig SYSTEM "../fonts.dtd">
<fontconfig>

  <alias>
    <family>sans-serif</family>
    <prefer><family>Arial</family></prefer>
  </alias>

  <alias>
    <family>Arial</family>
    <default><family>sans-serif</family></default>
  </alias>

…
</fontconfig>

Це було 1не з 1ших речей, що було, з 1го погляду, безнадійно зломано на ФФ у порівнянні зі Кроумом. Як то буде далі, прогнозувати не хочу, можливо є крихітний шанс що гоогл передумає з моніфестом 3.0 і переїжджати на ФФ не доведеться (шансів немає).

Якщо набрати link checker ув гооглі, то виявиться що перевірка посилань є серйозний бізнес. Запускання скрипта, який пишуть на 1му курсі, коштує від $13 до $159 на місяць. За $13 дозволяється це робити кожні 2 тижні, а за $159 с барскоґо плєча до 1 разу на день.

Для тих хто готовий нарешті "стати професіоналом", контора зовсім іншого гатунку пропонує вдосконалені та ентерпрайзні рішення за $449 та $1249 на місяць відповідно. Тоді відкриваються потужні можливості відправляння csv-звіту до "колеги чи фрілансера".

Є статичний уйоб-сайта з 375ма сторінками, який має 241 ікстернальний лінка. Зазвичай подібні сайти перевіряють локально на рівні .md хфайлів, з яких він генерується, і ютіліти, які це роблять, працюють доволі швидко, т.я. їм не треба повзати по http зі сторінки до сторінки, створюючи графа. Про них ми говорити не будемо.

Щоб перевірити задіплойеного сайта, а не директорію з .md-хфайлами, додається прублема рекурсивного знаходження посилань та питання коли зупинятися. Спочатку, я вирішив пошукати щось готове ув пекеджах Федори: якийсь пáйфонівський скрипта linkchecker, який за майже 4 хв на локалхості і рівнем рекурсії 20, знайшов 60 лінків загалом, замість 241.

Потім я подивився на W3C'шний link-checker (категорія програм, що є сповнена різноманітністю імен). Окрім уйоб інтерхфейсу він має CLI компонента--перл-скрипта, який витратив 13 хв для народження лоґу з 27859 рядками, де посеред машино-нечитабельного мотлоху пропонується шукати зламані посилання. Можливо, як за таке чарджити клаентів по $1249, то це має сенс; найняти когось буде нескладно.

Ґітхаб є повний "fast" та "async" чекерів, найпопулярнійший з яких (1.9K зірочок) не підтримує рекурсії, але друкує затишні 🔍, ✅, 🚫, 💤 емоджі ув консолі та рожеву progress bar. Рисою професіоналізму посеред сучасних лікн-чекерів є порада використовувати їх з докер-контейнеру, тому що для відправляння http ріквестів наш час вимагає >= 2¹⁶ бібліотек на будь-якій мові пограмування.

Чи складно написати свій, наприклад, на bash? Хоча він буде мати міцний вайб нульових, коли завантажена сторінка якимось wget майже відповідала сторінці яку рендерив бовзер, для перевірки сторінок, наприклад, документації, такий чекер все одно буде залишатися корисним. Назвемо його badlinks:

$ wc -l lib.bash url* badlinks
  21 lib.bash
  28 urlcheck
  14 urlextract.rb
  54 urlextract-recursive
  24 badlinks
 141 total

На чистому bash це зробити майже неможливо: переписування nokogiri на шелі я залишаю комусь іншому, а ліпшого парсера кострубатого html, аніж nokogiri, не існує ув природі.

badlinks складається з 3 компонентів:

1. парсера html, що друкує всі посилання з нього (не рекурсивно);
2. рекурсивного crawler'а, який знаходить посилання з конь тент тайпом text/html, та занурюється до них; на кожному етапі він друкує знайдені leafs;
3. скрипта, який читає список посилань від п.2 та перевіряє їх валідність.

Парсінґ html

$ curl -sL google.com | ./urlextract.rb q:
https://www.google.com/imghp?hl=uk&tab=wi
http://maps.google.com.ua/maps?hl=uk&tab=wl
…
q:/intl/uk/about.html

q: тут означає будь-яку base, відносно якої друкуються релатівні посилання.

$ cat urlextract.rb
#!/usr/bin/env -S ruby -rnokogiri -raddressable/uri

include Addressable

def eh = abort "Usage: #{$0} base_url < html"
base = URI.parse $*[0] rescue eh
eh unless base&.scheme

Nokogiri::HTML(STDIN.read).css('links,a,img,iframe,script,video,audio').each {|n|
  u = URI.parse(n['src'] || n['href']) rescue next
  next if !u || (!u.scheme && u.path.strip == '')
  u.fragment = nil
  puts u.scheme ? u : base.join(u)
}

Щоб воно працювало, треба сказати gem install nokogiri addressable. Вбудований ув stdlib парсер url є не такий гнучкий як addressable.

Фрагмент (частина рядка після #) видаляється для простоти, хоча, звичайно, можна було би намагатися шукати його (фрагмент) потім ув html.

Філософське питання, яке може виникнути: чи має ютіліта друкувати унікальні лінки лише (тому що уйоб-сторінка може містити кілька геть однакових), чи залишати процес фільтрування downstream, так би мовити, процесам.

Crawler

… є найбільш неприємним компонентом. Шелóві мовні конструкції допомагають погано, і найпримітивніший пошук ув глибину з пародією на детектора циклів, це є все що вдалося втиснути ув 54 рядка коду.

./urlextract-recursive http://127.0.0.1/
0 Scanning http://127.0.0.1/ .
1 Scanning http://127.0.0.1/foo.html http://127.0.0.1/
2 Scanning http://127.0.0.1/bar.png http://127.0.0.1/foo.html
2 External http://example.com http://127.0.0.1/foo.html
1 Leaf http://127.0.0.1/baz.jpg http://127.0.0.1/
…

Алгоритма є вкрай простий:

1. З отриманого стартового url автоматично дізнаємося про origin. Це можна зробити башом як це було продемонстровано ув пості HTTP get на баші за допомогою страхітливого regexp'у. Origin потрібен для розрізняння посилань на наш уйоб-сайт від посилань на ікстернальні ресурси.

2. Для кожного лінка зі стартового url робимо HTTP HEAD ріквест. Якщо останній є text/html, занурюємося в, якщо ні--друкуємо його як leaf.

   Формат друку:

    level type url parent

   Щоб не сканувати лінка декілька разів, записуємо його ув хфайл history (1 лінк на рядок для макс швидкості grep'у). Рівень занурення регулюється користувачем і по замовчуванню == 20.

   parent потрібен лише для ютіліти ув наступному розділі.

$ cat urlextract-recursive
#!/usr/bin/env bash

set -e -o pipefail
__dir__=$(dirname "$(readlink -f "$0")")
. "$__dir__/lib.bash"

jn() { jobs -l | wc -l; }

scan() {
    local url="$1" level="$2" parent="$3"

    [ "$level" -ge "$LEVEL" ] && return 0
    echo "$level Scanning $url $parent"

    level=$((level+1))
    for u in `fetch "$url" | "$__dir__/urlextract.rb" "$url" | sort -u`; do
        search "$u" "$history" && continue
        echo "$u" >> "$history"

        if echo "$u" | grep -F -- "${URL[host]}" >/dev/null 2>&1; then
            if is_html "$u"; then
                local async=
                [ 1 == $level ] && [ "$JOBS" -gt 1 ] \
                    && [ `jn` -lt "$JOBS" ] && async=1
                if [ $async ] ; then
                    scan "$u" $level "$url" &
                else
                    scan "$u" $level "$url"
                fi
            else
                echo "$level Leaf $u $url"
            fi
        else
            echo "$level External $u" "$url"
        fi
    done
}

type curl > /dev/null
: "${LEVEL:=20}"
: "${JOBS:=`nproc`}"
url=${1:?Usage [LEVEL=$LEVEL] $0 url}

url_parse "$url"
history=${HISTORY:-`mktemp /tmp/urlextract-recursive.XXXXXX`}
trap 'rm -f $history; exit 130' 1 2 15
trap 'rm -f $history' 0

if is_html "$url"; then
    scan "$url" 0 .
    wait
else
    echo "0 Leaf $url ."
fi

(Вибачте за простирадло.)

Скрипта намагається робити конкурентні ріквести. Найнеприємніше тут є неможливість знати заздалегідь скільки посилань буде далі і складність створення фіксованої кількості worker'ів, перевірка яких була би можлива ув child процесах. Тому "паралелізм" використовується лише на рівні 1. Це означає якщо стартовий url мав рівно 1 text/html посилання, поралелізму не буде.

Якщо не робити ліміта на конкурентні ріквести, вбити мошину можна дуже легко. Я так тестував безлімітний варіянт з 6K gnu libstdc++ doxygen сторінками на локалхості: стався еквівалента форк бімби, лайнакс грохнув ікси та почав люто плюватися сторінками вбитих процесів.

Енівей, отримані рядки від urlextract-recursive легко фільтруються. Наприклад, щоб дізнатися який був макс рівень рекурсії і чи не треба його збільшити:

$ ./urllextract-recursive http://127.0.0.1/ | tee 1
$ awk '{print $1}' 1 | sort -un | tail -1
11

або показати лише ікстернальні посилання:

$ awk '$2 == "External"' 1

Нецікаві шматки з lib.bash:

fetch() { curl -sfL --connect-timeout 3 -m 3 -A 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36' -H 'accept-language: en-US,en;q=0.9' -H 'upgrade-insecure-requests: 1' "$@"; }

is_html() { fetch -I "$1" | grep -Ei '^content-type:\s+text/html' > /dev/null; }

search() { grep -Fx -- "$1" "$2" > /dev/null; }

Перевірка посилань

На відміну від попередньої ютіліти, ця чудово і елементарно паралелізується. Сам скрипта про це гадки не має, тому що оперує лише з 1 url, але конкурентна перевірка робиться ув фінальному врапері наступного розділу через xargs.

$ cat urlcheck
#!/usr/bin/env bash

set -e -o pipefail
__dir__=$(dirname "$(readlink -f "$0")")
. "$__dir__/lib.bash"

check_link() {
    local ec=0
    fetch "$1" | head -c1 > /dev/null || {
        ec=$?
        [ $ec == 23 ] && return 0 # pipe was closed by 'head'
        [ $ec -lt 100 ] && echo "Bad $1 in $2"
        return 101
    }
}

type curl > /dev/null
url=${1:?Usage: IGNORE=domains.txt $0 url parent}
parent=${2:-.}

url_parse "$url" || { echo "Invalid $url in $parent"; exit 100; }

if [ "$IGNORE" ] && search "${URL[host]}" "$IGNORE" ; then
    echo "Ignoring $url in $parent"
else
    [ 2 == $? ] && exit 100
    check_link "$url" "$parent"
fi

Єдина оптимізація гідна уваги це є check_link(), який читає лише 1 байт успішного ріспонзу і перевіряє статусного кода curl.

Деякі уйоб-сайти ітервебу (наприклад wsj, або припизджена квора) вважають curl ботом, ув незалежності від user agent, тому якщо вказати ув IGNORE env var шлях до хфайлу зі списком доменів, посилання з ними перевірятися не будуть.

Врапер

Фінальна обгортка:

$ cat badlinks
#!/usr/bin/env bash

set -e -o pipefail
__dir__=$(dirname "$(readlink -f "$0")")

usage="Usage: $0 [-l max level] [-j max jobs] [-e] [-i domains.txt] url"
link_type=Leaf
while getopts i:l:j:e opt; do
    case $opt in
        i) opt_i=$OPTARG ;;
        l) opt_l=$OPTARG ;;
        j) opt_j=$OPTARG ;;
        e) link_type="$link_type|External" ;;
        *) echo "$usage" 1>&2; exit 1
    esac
done
shift $((OPTIND-1))

: "${1:?$usage}"
export LEVEL=${opt_l:-20} JOBS=${opt_j:-`nproc`} IGNORE=${opt_i}

"$__dir__/urlextract-recursive" "$1" | \
    awk '$2 ~ /'"$link_type"'/ {print $3, $4}' | \
    xargs -r -n2 -P "$JOBS" "$__dir__/urlcheck"

Зі статичним уйоб-сайтом, на який попередньо знайдені готові пекеджи витрачали від 4 до 13 хв, набір скриптів шелóвих впорався за 16 секунд, відсканувавши 769 лінка.

Як хутко довести дівопсу або хмарному провайдеру що завантаження з серверу є повільне? Можна заміряти час загальний, чи копіювати все що curl написав на stderr, або вислати кєно зроблене на телефоні (вертикальне, тремтячою рукою, під кутом > 10°, на відстані > 1м від монітора).

Не пам'ятаю ув якій версії віндюка його іксплорер почав малювати графіка під час копіювання хфайлів (Vista?), але він (віндюк) так і не почав цього робити ані ув класичних своїх бовзерах минулого, ані ув своєму поточному безглуздому різновиді кроума для блінка.

Найнахабнішим повідомленням дівопсу був би svg:

та/чи рядки

00:00:01 1000k
00:00:02 2000k
00:00:03 2500k

ув якості доказу.

2й варяінт є найпростіший; curl, наприклад, друкує

fprintf(tool_stderr,
        "\r"
        "%-3s " /* percent downloaded */
        "%-3s " /* percent uploaded */
        "%s " /* Dled */
        "%s " /* Uled */
        "%5" CURL_FORMAT_CURL_OFF_T " " /* Xfers */
        "%5" CURL_FORMAT_CURL_OFF_T " " /* Live */
        " %s "  /* Total time */
        "%s "  /* Current time */
        "%s "  /* Time left */
        "%s "  /* Speed */
        "%5s" /* final newline */,
        …

кожну секунду, тому лише замінивши \r на \n можна відправляти повного логу:

$ curl http://example.com/1.zip -o 1.zip 2>&1 | tr \\r \\n

та вимагати сатисфакції.

Щоб намалювати графіка з gnuplot, нам потрібні Current time та Speed. Останнє доведеться конвертувати з 1234k чи 4567M ув байти. Спочатку я думав малоелегантно замінювати суфікси:

awk 'function expr(s) {
  h["k"]=2**10; h["M"]=2**20; h["G"]=2**30; h["T"]=2**40; h["P"]=2**50
  for (k in h) sub(k, "*"h[k], s); return s
}
/[0-9.][kMGTP]?$/ { print expr($NF) | "bc"; close("bc") }'

але, виявляється, саме для цього coreutils має ютіліту numfmt(1), про яку я ніколи не чув (додали недавно, лише 12 років тому, не встигаєш слідкувати за всіма ціма новими штуками):

$ echo lol 10M | numfmt --from iec --field 2
lol 10485760

Так, звичайно, зараз не роблять, а кожного разу ретельно пишуть нудні, багатослівні простирадла на пáйфоні. Те що має фітнутися ув 5 рядків шелових макс + 6 рядків скрипта gnuplot'у, потрібно ретельно розмазувати на 70+, ніби працюєш на ойбіем ув році 1984 і тобі платять за кількість рядків коду.

Повна версія іграшкового візуалайзатора пускається як

$ ./curlbench http://example.com/1.zip | gnuplot --persist

де gnuplot дозволяє зберегти графіка ув потрібному форматі.

$ cat curlbench
#!/usr/bin/env -S stdbuf -o0 bash

set -e -o pipefail
numfmt=`type -p gnumfmt numfmt;:`; test "${numfmt:?}"

cat <<E
set xdata time
set timefmt "%H:%M:%S"
set xlabel "Time"
set format y "%.0s%cB"
set grid
plot "-" using 1:2 with lines title ""
E

curl "$@" -fL -o /dev/null 2>&1 | tr \\r \\n | awk '
/[0-9.][kMGTP]?$/ {
  time = index($10, ":") == 0 ? $11 : $10
  if (time != "--:--:--") print time, $NF
}' | tr k K | $numfmt --from iec --field 2

Має працювати також на fbsd та маку (як були встановлені coreutils), але мені є лінь перевіряти.