Захват (Capture)
Читает из источника: Postgres WAL, Kafka consumer group, Redis stream или binlog. Каждый батч получает логическую версию и векторные часы для последующей детерминации.
sources: wal · kafka · stream · binlog
Инфраструктура синхронизации · v3.4
Контроль над хаосом данных
Синхронизируйте источники, потоки и кэши в реальном времени. Одна плоская архитектура вместо десятков скриптов, тикетов и «вот почему оно рассинхронилось».
Ключевые метрики
Прод — это про надёжность
Мы измеряем всё, что влияет на рассинхрон: отставание, возраст контрольных точек, пиковую нагрузку и долю потерянных событий. Цифры ниже — из реального продакшена за последние 12 месяцев.
99.98%
Уптайм за 12 мес
2.4M
Сообщений / сек
<15ms
P99 латентность
0
Потерянных событий
Как это работает
Схема архитектуры: от источника до цели
Каждый пайплайн — это декларативный контракт. Данные проходят четыре стадии, и на каждой из них система знает, где она, что уже подтверждено и что делать, если что-то отстало.
Журнал (Journal)
WAL-подобный журнал с checkpoint’ами. Журнал переживает перезапуск нод и смену зоны доступности, поэтому отставание можно «догонять» без повторного сканирования источника.
durability: fsync · replicated x3
Трансформация
Идемпотентные маппинги: переименование полей, обогащение справочниками, агрегация. Трансформации не читают «свежесть» — они чистые функции, что упрощает повторное применение.
idempotent · pure · testable
Применение (Apply)
Идемпотентное применение на цели: upsert по ключу, batch-вставка или merge. Конфликты разрешаются по стратегии пайплайна, а результат фиксируется в контрольной точке.
apply: upsert · batch · merge
Наблюдаемость
Lag, throughput, checkpoint-age и backlog — в OpenMetrics. Трейс каждого сообщения позволяет отследить путь от источника до цели и найти узкое место за секунды.
export: prometheus · otel · grafana
Восстановление
При отставании система автоматически включает догоняющий режим: расширяет батчи, повышает параллелизм и алертит, если не укладывается в recovery window.
auto: catch-up · rescale · alert
Интеграции
Подключается к стекам, которые вы уже используете
SyncOps не требует менять инфраструктуру — он встраивается в ваши источники и цели. Ниже — коннекторы, которые покрывают большинство высоконагруженных систем.
Реляционные БД
PostgreSQL, MySQL, ClickHouse, Snowflake, BigQuery. Захват через WAL и binlog, применение через идемпотентные upsert’ы и batch-вставки.
conns: 5 · exactly-once
Потоки и брокеры
Kafka, Pulsar, RabbitMQ, Redis Stream. Поддержка consumer groups, offset-менеджмента и переработки сообщений при сбоях.
conns: 4 · offset-aware
Кэши и NoSQL
Redis, MongoDB, Cassandra, DynamoDB. Глобальная репликация кэшей между зонами с контролем TTL и версионированием записей.
conns: 4 · geo-replica
Хранилище объектов
S3, GCS, MinIO, Azure Blob. Синхронизация метаданных и объектов с проверкой контрольных сумм и дедупликацией.
conns: 4 · checksum-verified
Внешние системы
REST и gRPC коннекторы для push/pull-интеграций с CRM, биллингом и внутренними сервисами. Ретраи по экспоненциальной задержке.
conns: rest · grpc
Свои коннекторы
SDK на Go и Python для написания собственных источников и целей. Подключаете свой мерджер конфликтов и регистрируете его в пайплайне.
lang: go · python
От инженеров-лидеров
Что говорят команды, которые переехали на SyncOps
«Рассинхрон исчез из ночных дежурств»
Раньше три инженера на смене вручную гоняли скрипты сверки. После SyncOps дежурные просто смотрят на метрики lag — и спят спокойно. Среднее время восстановления упало с часов до минут.
Марина К., Staff SRE · финтех-платформа
«2.4M msg/s без единого дубля»
Мы гоняем телеметрию с 40 тысяч устройств. exactly-once и идемпотентное применение — это то, чего не хватало нашим старым репликаторам. Данные теперь детерминированы и воспроизводимы.
Дмитрий А., Lead Data Engineer · IoT-сервис
«Глобальная репликация кэшей за неделю»
Подняли гео-репликацию Redis между тремя зонами. Конфликты логируются и видны в дашборде, а не «тихо затираются». Это спасло нас от целого класса инцидентов.
Ольга В., Principal Engineer · маркетплейс
Готовы к старту
Переведите данные под контроль за один вечер
Подключите первый пайплайн за 30 минут. Начните с тарифа, который закрывает вашу нагрузку — без кредитки и без «звоните нам».
FAQ
Частые вопросы
At-least-once, at-most-once и exactly-once. Для exactly-once используется checkpoint-механизм с идемпотентным применением на стороне цели, что исключает дубли при повторных доставках.
Да. SyncOps работает в Kubernetes, как отдельные бинарники или в гибридном режиме, когда часть узлов в облаке, часть — в вашем дата-центре. Лёгенция и SLA одинаковы для обоих вариантов.
По умолчанию применяется vector clocks + last-writer по логической версии. Стратегии настраиваются на уровне пайплайна: можно подключить собственный мерджер через SDK и логировать каждый конфликт.
Да, для тарифов Enterprise и выше — 99.95% с финансовой компенсацией. Метрики доступности публикуются на публичной странице статуса в реальном времени.