ConnectX-5 для связки двух ПК: обзор Avito, Ozon, WB, DNS
Зачем это нужно
Два компьютера соединены Thunderbolt: «den» (RTX 4090 48GB) и «mypc» (RTX 6000 Pro 96GB, на нём кружится LLM-сервер). На mypc контроллер Thunderbolt ASM4242 вышел из строя на уровне firmware — линк не поднимается ни в Linux, ни через тестовый Windows-ноутбук (ноут с заведомо живым TB4 подключается к den за секунду: 20 Gbps, 0% потерь, 1.92 GB/s на скачивании). Единственный живой путь между машинами — гигабитная LAN-сеть, этого мало для распределённого инференса.
Рабочая замена мёртвому TB — RDMA по InfiniBand/RoCE: сетевая карта Mellanox ConnectX-5 на обеих машинах, прямой DAC-кабель между ними. Задержка 1–2 микросекунды вместо милисекунд, kernel bypass, и главное — NCCL уsglang/vLLM работает поверх RoCE нативно: тензорный параллелизм между двумя GPU-станциями. Пропускная способность: 25GbE ≈ 2.9 GB/s (в 1.5 раза быстрее Thunderbolt 4 в реальных замерах), 100GbE ≈ 9–11 GB/s (в 4–5 раз).
Важно: брать именно ConnectX-5 (MCX5xxA). ConnectX-3/4 — другая архитектура, crippled-прошивки, RoCE работает криво. Осторожно с OEM-вариантами Dell/HPE — прошивка вендора, для RoCE нужен stock-Mellanox.
🥇 Avito — живая вторичка (искать здесь)
| Цена | Лот | Что это |
|---|---|---|
| 12 500 ₽ | MCX512A-ACAT ConnectX-5 | лучший лот — 2×25GbE SFP28, PCIe x8 |
| 14 500 ₽ | Nvidia Mellanox CX5 SFP28 (СПб) | 25GbE, тот же чип |
| 23 000 ₽ | MCX512A-ACAT 2×25G | тот же лот у «жирного» перекупа (у него 23–30к) |
| 24 000 ₽ | MCX555A-ECAT VPI | 100G IB/Ethernet, 2 порта QSFP28 |
| 30 000 ₽ | MCX515A-CCAT-SM 100GbE | дешёвый вход в 100G, 1 порт |
| 40 000 ₽ | MCX516A-CCAT 100G | 2 порта QSFP28 |
| 2 500–10 400 ₽ | разная мелочь в той же выдаче | не брать — это ConnectX-2/3/4 |
🥈 Ozon — розница с гарантией
| Цена | Лот | Комментарий |
|---|---|---|
| 15 344 ₽ | MCX512A-ACUT 2×25GbE | разумный вариант — официальная розница, доставка |
| 14 744 ₽ | MCX55A-ECAT 100G VPI | подозрительно дёшево — сверять парт-номер на фото |
| 14 498 ₽ | Dell MCX512F (OEM) | Dell-прошивка — придётся перепрошивать под stock |
| 3 341 ₽ | «CX5 MCX542B, DIY модификация» | не брать — такого SKU у CX5 не существует |
❌ Wildberries и DNS-шоп — пусто
Wildberries: Mellanox/ConnectX отсутствует полностью. Проверено через поисковый API с валидной гео-примеркой (dest Перми; контроль — запрос «сетевая карта» честно отдаёт товары). По «mellanox» WB выдаёт детские книжки про межполушарное взаимодействие.
DNS-шоп: поиск по сайту через живую сессию с антибот-куками не знает ни Mellanox, ни ConnectX — ни новых, ни б/у. Это розница для домашних сборок, серверные NIC туда не завозят.
Что в итоге покупать
Рабочий вариант (рекомендую): 2× MCX512A-ACAT/ACUT (25GbE, SFP28, PCIe x8, RoCEv2) + 2× SFP28 25G DAC-кабель ≈ 25–35 тыс. ₽ на пару машин. Этого хватает, чтобы 4090 и 6000 Pro работали как один узел для sglang/vLLM.
С запасом на рост: пара MCX515A/516A-CCAT + QSFP28 100G DAC ≈ 65–90 тыс. ₽ — 100GbE, ≈ 9–11 GB/s между машинами.
Чек-лист перед покупкой вторички:
- Парт-номер на стикере:
MCX512A-ACAT / -ACUT / MCX515A / MCX516A / MCX555A / MCX556A— всё остальное мимо. - Попросить фото платы целиком: без «DIY-модификаций», родные стикеры, без следов пайки.
- Спросить: не OEM ли (Dell/HPE/Lenovo-партномера на плате = доп. морока с прошивкой).
- После покупки проверить
lspci -nn | grep Mellиmst status— карта должна видеться без «unknown».
Thunderbolt на mypc так и не ожил: ASM4242 мёртв ниже уровня ОС (тесты на BIOS 4.43, cold-boot, Windows-ноутбук с заведомо живым TB — ноль событий на втыкании кабеля). ConnectX — единственный путь к быстрой межмашинной связи, и он стоит дешевле, чем ремонт мёртвого TB-тракта.