Изоляция тестов: почему тесты «моргали» и как это исправлено
Фаза 0 «Порядок», дорожка Q (план plan/report-20261010/,
раздел 11). Срез — HEAD 30553e49, Mac arm64, Rust
1.97.1.
Что было
Полный прогон cargo test --workspace на Mac дал
5 741 PASS и 3 FAIL; с --test-threads=1
падения исчезали. Стресс-прогоны (один и тот же тестовый бинарник
десятки раз подряд) показали, что нестабильных тестов больше трёх, а
причин — шесть (пятая и шестая проявились в Linux-контейнере).
| Причина | Где проявлялась | Падений до исправления |
|---|---|---|
1. Имя временной папки pid + наносекунды |
filter_history (Sheets),
subtotal_visibility (ядро), parent_lease
(Hub) |
filter_history: 31 из 60 прогонов |
2. flock + порождение процессов в соседних тестах |
dictionary_durable, dictionary_journal
(Hub), spelling_async, spelling_worker,
dictionary_receipt (Sheets) |
dictionary_durable 14/40,
dictionary_journal 14/80, spelling_worker
13/80, spelling_async 16/100 |
| 3. Маркер PID читается раньше, чем записан | dictionary_durable (actual_sigkill_*),
parent_lease |
входит в 14/40 выше |
| 4. Слишком короткий срок ожидания | dictionary_failure
(actual_failure_context_…) |
4 из 40 на исходном коде |
| 5. ETXTBSY на Linux: запуск только что записанного файла | app::direct_launch_tests (Hub, модульные тесты) |
1–3 из 6 тестов в Linux-контейнере |
| 6. Порог времени кадра при параллельных дочерних окнах | *_responsiveness (Hub, Sheets) |
dictionary_responsiveness на Linux: 2 из 10 |
Причина 1. Неуникальные имена временных папок
Фикстуры строили имя как
<pid>-<наносекунды>. Часы macOS отдают время с
шагом в микросекунду, поэтому два параллельных теста
одного процесса, стартовавшие в одном тике, получают одно имя, и второй
create_dir(..).unwrap() падает с AlreadyExists
(строка 29 filter_history.rs — именно это место).
Исправление. Общий крейт
kernel/crates/meridian-testkit (только std, только
[dev-dependencies]):
unique_token()— pid + счётчик процесса + время; внутри процесса значения не повторяются никогда;unique_path(label)— путь<temp>/<метка>-<токен>, прямая замена выражениюformat!("…{pid}-{nanos}");TempDir::new(label)— атомарно создаёт папку0700, при столкновении берёт новый токен, удаляет приDrop(при панике оставляет для разбора).
Переведено 16 мест без счётчика: filter_history.rs,
subtotal_visibility.rs, sheet_drawing.rs,
meridian-file-platform (lib.rs,
windows_tests.rs — проверено
cargo check --target x86_64-pc-windows-gnu и
x86_64-unknown-linux-gnu), corpus-tool,
parent_lease.rs, Hub (app.rs,
direct_launch_tests.rs, dictionary_failure.rs,
dictionary_responsiveness.rs,
folder_responsiveness.rs, profile.rs,
recovery_responsiveness.rs,
settings_responsiveness.rs,
startup_responsiveness.rs). Места, где в имени уже был
счётчик (NEXT.fetch_add), не трогались. Не переведены
services/common и packaging/windows-launcher:
это отдельные рабочие пространства со своими Cargo.lock, и
в каждом по одному такому тесту без параллельных соседей.
Причина 2.
flock и порождение процессов в соседних тестах
Журнал словаря Hub и Sheets берёт
flock(LOCK_EX | LOCK_NB) — по замыслу без ожидания. Тесты
одного бинарника идут в одном процессе и делят таблицу
дескрипторов. Пока тест A держит блокировку, тест B порождает
процесс: ребёнок между fork и exec получает
копию дескриптора A (флаг CLOEXEC закрывает её только в
момент exec). A закрывает файл, но блокировка жива, пока
жива копия у ребёнка, и следующий LOCK_NB получает
EAGAIN («Resource temporarily unavailable»). В Sheets та же
ошибка внутри воркера превращается в сообщение «Предыдущая операция
орфографии ещё выполняется».
Доказательство. Отдельная программа: один поток 4
секунды подряд открывает файл, берёт flock(LOCK_NB) и
закрывает его; параллельно N потоков непрерывно запускают
/usr/bin/true.
| Потоков, запускающих процессы | Циклов «взять — отпустить» | Ложных EAGAIN |
|---|---|---|
| 0 | 300 694 | 0 |
| 1 | 287 234 | 1 109 |
| 4 | 227 931 | 5 658 |
| 8 | 189 199 | 7 785 |
Без соседних запусков процессов ложных отказов нет вовсе — причина именно в наследовании дескрипторов.
Исправление. meridian_testkit::serial()
— замок на весь тестовый бинарник: каждый тест, который держит
блокировку словаря или порождает процессы, первой строкой берёт
let _serial = meridian_testkit::serial(); и идёт один.
Паника одного теста замок не «отравляет». Всего охрана стоит в
259 тестах 51 файла:
- Hub, интеграционные —
dictionary_journal.rs,dictionary_worker.rs,dictionary_failure.rs,qa/hub-content/journal_restart.rs,receipt_restart.rs,temporary_restart.rs,parent_lease.rs; - Sheets —
spelling_worker.rs,spelling_async.rs,spelling_recovery.rs,qa/sheets-spelling/root_binding.rs,consumer_pruning.rs,receipt_restart.rs; - все модульные тесты библиотеки Hub (61 тест в
ui/meridian-hub/src): половина порождает воркеры, половина берётflock, и на Linuxdictionaries::pairs_custom_words_and_namesпадал с «Resource temporarily unavailable (os error 11)» в 4 из 40 прогонов; - все тесты отзывчивости
*_responsiveness.rs(Hub и Sheets) — см. причину 6.
Области // BASELINE_START … // BASELINE_END (их тело
переносится на старые сборки для сравнения) не тронуты.
Продуктовый код не менялся. Сначала пробовался точечный повтор
вызовов при EAGAIN (233 места); он оказался неполным —
блокировку берут и методы записей журнала, и воркер в отдельном
процессе, — поэтому от него отказались в пользу одного понятного
механизма.
Цена. Внутри этих бинарников тесты идут по одному.
По журналам полных прогонов (сумма «finished in») 26 наборов с охраной
занимали 23,7 с, теперь 133,1 с. В том же прогоне не тронутые наборы
выросли на 46 % из-за нагрузки машины, так что чистая цена — около 100 с
суммарного времени тестов. Больше всего выросли
dictionary_receipt (Hub и Sheets вместе),
dictionary_temporary и spelling_async — в них
настоящие аварии воркеров с ожиданием. Разные бинарники cargo и так
запускает по очереди. Вернуть параллельность можно будет после
исправления порождения воркеров в продукте (см. последний раздел).
Причина 3. Маркер PID
QA-библиотека qa/hub-content/journal_cut.c останавливает
воркер в выбранной точке и сообщает его PID файлом:
open(O_CREAT | O_EXCL), затем write. Тест ждал
«файл существует» и сразу читал — иногда пустую строку, и
kill -KILL "" падал.
meridian_testkit::read_pid_marker(path, patience) ждёт
законченную строку <число>\n. Исправлено в
journal_restart.rs и parent_lease.rs.
Причина 4. Срок 350 мс там, где таймаут не ожидается
actual_failure_context_distinguishes_exchange_reply_and_operation
проверяет, что Hub различает стадии сбоя воркера. Для всех режимов,
кроме operation, срок был 350 мс, хотя таймаут ожидается
только в режиме slow. В режиме exit скрипт
воркера (sh, cat, exit 42) под
нагрузкой не успевал за 350 мс, и вместо
(WorkerFailed, Exchange) тест получал
(Timeout, Exchange). Теперь короткий срок — только у
slow, остальным — 3 с (как у operation). Смысл
проверки не изменился.
Причина 5. «Text file busy» на Linux
direct_launch_tests копирует свой тестовый бинарник в
папку фикстуры и тут же запускает копию. Если в этот момент соседний
тест порождает процесс, ребёнок между fork и
exec уносит копию дескриптора записи
только что скопированного файла, и Linux отказывает в запуске с
ETXTBSY («Text file busy»). Это та же гонка наследования
дескрипторов, что и в причине 2; на macOS такой ошибки нет. Лечение —
короткий повтор запуска:
meridian_testkit::spawn_retrying_busy(&mut command, patience)
повторяет только при ExecutableFileBusy, остальные ошибки
возвращает сразу (так же поступает сам cargo).
Причина 6. Порог времени кадра при параллельных дочерних окнах
Тесты отзывчивости поднимают настоящее дочернее окно Hub или Sheets с
подставленной медленной библиотекой (LD_PRELOAD /
DYLD_INSERT_LIBRARIES) и проверяют, что кадр интерфейса не
дольше 300 мс. Пять таких тестов одного файла шли одновременно, и в
Linux-контейнере (aarch64, отладочная сборка) кадр выходил 306–332 мс: 2
падения из 10 прогонов, а с --test-threads=1 — 0 из 10.
Порог проверяет продукт, а не соседей по процессору, поэтому тесты
отзывчивости тоже идут по одному (serial()); порог не
менялся.
Результат
Стресс-прогоны после исправления (Mac arm64, параллельно с другими нагрузками):
| Набор | До | После |
|---|---|---|
filter_history |
31 падение из 60 | 0 из 100 |
subtotal_visibility |
падал в полном прогоне | 0 из 100 |
dictionary_durable |
14 из 40 | 0 из 40 |
dictionary_journal |
14 из 80 | 0 из 40 |
spelling_worker |
13 из 80 | 0 из 40 |
spelling_async |
16 из 100 (на исходном коде — 11 из 60) | 0 из 40 |
dictionary_failure |
4 из 40 | 0 из 80 |
Финальная проверка в окончательном виде кода: все затронутые тестовые
бинарники по 40 прогонов — 0 падений; полный
cargo test --workspace --locked: 331 набор, 5 758
прошли, 0 упали, 22 пропущены, 0 предупреждений (до работы — 5
741 и 3 падения; +14 — тесты meridian-testkit). Квитанция:
evidence-test-isolation-status-center-2026-10-10.json.
Проверка на Linux
Docker на Mac, образ rust:1.97-slim (Linux aarch64, Rust
1.97.1) с пакетами procps (команда kill) и
python3 (управляемый воркер spelling_async),
запуск от root, как у контейнеров CI по умолчанию: затронутые крейты
meridian-testkit, meridian-hub,
meridian-sheets, meridian-ffi,
meridian-file-platform, corpus-tool — 80
наборов, 1 245 тестов прошли, 0 упали. Тест
diagnostics::read_only_destination_and_symlink_refuse_without_changing_user_files
раньше падал под root (root игнорирует права 0500); теперь под root
неписуемое место задаётся файлом вместо папки (ENOTDIR и у root),
проверяется то же самое. Стресс на Linux: исправленные наборы — 0
падений из 30, модульные тесты Hub и Sheets — 0 из 40, все
*_responsiveness — 0 из 15. Сервер sagr (x86_64) для
Rust-сборки не использовался: на момент проверки он был загружен
заданиями других сессий (load average 72 на 16 ядрах); Python-тесты на
нём проверены (см. status-center.md).
Правила для новых тестов
- Временная папка — только
meridian_testkit::TempDir::new("метка")илиunique_path("метка"); не собирайте имя из pid и времени. - Тест держит блокирующий
flockбез guard сLOCK_UN(настройки, недавние), порождает процессы или меряет время кадра — первой строкойlet _serial = meridian_testkit::serial();. Один тест — одна охрана: не берите её дважды (замок не реентерабельный), а фикстуры не должны брать её сами — в одном тесте бывает несколько фикстур. - Данные от другого процесса (маркер PID, файл готовности) читайте,
когда они дописаны:
read_pid_markerили собственный признак конца записи, а не «файл существует». - Файл, который тест только что записал или скопировал, запускайте
через
spawn_retrying_busy(на Linux иначе возможенETXTBSY). - Проверка нестабильности: соберите бинарник
(
cargo test -p <крейт> --test <набор> --no-run) и запустите его 30–100 раз подряд; один зелёный прогон ничего не доказывает.
Тесты с порогами времени на общем раннере: очередь с повтором
В Hub и Sheets десятки тестов сравнивают время по настенным часам с
абсолютным порогом (кадр ≤ 300 мс, первый кадр, ответ воркера за 1,2–1,5
с). На раннере sagr (load average 60+) отладочная сборка выходит за
пороги сама по себе: 482 мс в задании 533
(dictionary_responsiveness), 422 мс в задании 534
(startup). Пороги и BASELINE-области не менялись. В
just ci общий cargo test идёт без
meridian-hub и meridian-sheets, а их 64
тестовых бинарника запускает scripts/run_timing_tests.py —
по одному, до трёх попыток; три провала подряд — провал CI. Повтор не
скрывается: отчёт перечисляет каждую попытку и показывает вывод
провалившейся.
Наблюдения при проверке очереди (Mac, вместе с нагрузкой других
сессий): повтор понадобился broker_recents
(rpc_deadline_kills_worker_and_reconnects_on_explicit_retry:
воркер не успел подняться за 1,5 с, 1 из 20), interaction
(Sheets: тесты орфографии при сильной нагрузке процессора не дожидаются
воркера — воспроизведено с 22 занятыми ядрами, без нагрузки 0 из 5) и
dictionary_receipt (Hub, один раз). Это следующие кандидаты
на исправление: заменить абсолютные пороги на сравнение с подставленной
задержкой или на счётчики событий.
Связь с исправлением в продукте
Проверено по коду: в собранных приложениях блокировку словаря берут
только процессы-воркеры (--dictionary-worker,
--spelling-worker), а они сами процессов не порождают;
процесс окна Hub или Sheets порождает воркеры, но блокировку не держит
(Hub — только константы dictionary_io, Sheets — только
journal::new_id()). Поэтому ложный «занято» возникал в
тестах и QA-обвязке, которые вызывают журнал внутри процесса,
порождающего процессы.
Исправление в самом продукте влито 15.10.2026 (дорожка S5, из рабочей
копии gracious-clarke-0fc141; разбор —
dictionary-lock-release.md): guard
dictionary_io::Lock снимает flock явно
(LOCK_UN) до закрытия файла, и копия дескриптора у ребёнка
больше ничего не держит. Вместе с ним:
- охрана
serial()снята с тестов словаря и журнала (Hub:dictionary_journal,dictionary_worker,dictionary_failure, модульные тестыdictionaries,dictionary_io,dictionary_worker; Sheets:spelling_recovery; QA:qa/hub-content,qa/sheets-spelling) — ложногоEAGAINнет и при параллельном запуске; spelling_async,spelling_workerи модульные тесты окна (app.rs,lib.rs) охрану сохраняют: там пороги времени кадра или срок ответа воркера (spelling_workerбез охраны — Timeout 7 из 40 под нагрузкой, ложных «занято» 0);- охрана в тестах отзывчивости (
*_responsiveness) остаётся: там причина — соперничество за процессор, а не блокировка; spawn_retrying_busyостаётся:ETXTBSYкасается записи исполняемого файла, а неflock.
Ещё одна сессия («Fix flaky temp-dir name collisions», рабочая копия
elastic-dirac-636f30) правит те же тестовые файлы, что и
эта работа; при слиянии второй из веток нужно разрешить конфликты,
оставив meridian-testkit единственным помощником временных
папок.