Адаптер hca infiniband что это
Infiniband: матрица для данных
Шина Infiniband является последовательной, так же как, скажем, PCIe или SATA, но в отличие от последних, может использовать как волоконную, так и медную среду передачи, что позволяет ей обслуживать и внутренние, и сильно внешние соединения. Кодирование передаваемых данных производится по схеме 8B/10B для скоростей до QDR включительно и по схеме 64B/66B для FDR и EDR. Линии Infiband обычно оконцовывают коннекторами СХ4 (на фотографии слева) и QSFP, для высокоскоростных линков сейчас все больше применяется оптика.
Продвижением и стандартизацией Infiniband занимается InfiniBand Trade Association – консорциум заинтересованных производителей, включающий в себя IBM, Hewlett-Packard, Intel, Oracle и другие компании. Что же касается непосредственно оборудования, то есть адаптеров и коммутаторов Infiniband, то лидирующие позиции на рынке занимают Mellanox и QLogic (приобретена Intel в начале 2012 года).
Рассмотрим более подробно архитектуру сетей Infiniband на примере небольшой SAN. 
Адаптеры Infiniband делятся на две категории: Host Channel Adapters (HCA) и Target Channel Adapters (TCA). НСА устанавливаются в сервера и рабочие станции, ТСА – в устройства хранения; соответственно, на долю первых приходится управление и передача данных, вторые исполняют команды и также передают данные. Каждый адаптер имеет один или несколько портов. Как уже говорилось, одной из особенностей Infiniband является высокоточная маршрутизация трафика. Например, перемещение данных с одного стораджа на другой должно быть инициировано НСА, но после передачи управляющих директив сервер выходит из игры – весь трафик движется напрямую из одного хранилища в другое.
На фото слева показан адаптер HCA QLogic QLE7340 (QDR, 40 Гбит/с).
Как можно заметить, количество соединений между абонентами Infiniband избыточно. Это сделано для увеличения скорости передачи и обеспечения резервирования. Совокупность конечных пользователей, подключенных к одному или нескольким коммутаторам, называется подсетью; карта подсети, то есть набор доступных маршрутов между пользователями, находится в памяти менеджера подсети – таковой обязательно должен быть, хотя бы один. Несколько подсетей может объединяться в одну сеть с помощью маршрутизаторов Infiniband.
Infiniband разрабатывался не только как средство оптимальной передачи данных, но и как стандарт прямого обмена содержимым памяти серверов; так, на его основе работает протокол RDMA (Remote Direct Memory Access), позволяющий удаленно получать и передавать области памяти без участия операционной системы. В свою очередь, на RDMA базируется серия более специализированных протоколов, расширяющих его функциональность.
Существуют также протоколы водружения поверх Infiniband стандартного стека протоколов TCP/IP, они включены, думается, во все наборы ПО для Infiniband, как фирменные, различных производителей сетевых устройств, так и открытые.
График роста скоростей Infiband
В принципе, можно сказать, что Infiniband находит свое применение везде, где передаются большие объемы данных с высокими скоростями, идет ли речь о суперкомпьютерах, высокопроизводительных кластерах, распределенных базах данных и т.д. Скажем, такой активный участник ассоциации ITA, как Oracle, уже достаточно давно использует Infiniband как, можно сказать, единственное средство для внутренних соединений в своей фирменной кластеризации и даже разработала собственный протокол передачи данных поверх Infiband – Reliable Datagram Sockets (RDS). Инфраструктура Infiniband — достаточно дорогое удовольствие, поэтому широко распространенной ее назвать трудно. Но шансы встретиться с ней лично определенно есть, если вы в своей карьере идете навстречу большим гигабитам в секунду и терабайтам. Тогда и закопаетесь в тему глубоко, ну а пока можно ограничиться просто ликбезом – вы его как раз и прочитали.
Быстрая сеть в домашней лаборатории или как я связался с InfiniBand
Пусть надо мной посмеются сетевые инженеры в больших интеграторах, у которых есть доступ к топовому оборудованию за кучу килобаксов. Я хочу рассказать о том, как можно получить свою домашнюю сетку, которая будет быстрой, и не разориться.
tl;dr Если кому интересно, то сейчас такая ситуация, что пару десктопов можно связать 56Gb сеткой за 
Дальше пошли всякие эксперименты, скорость передачи файлов по сети 600-700MB/s была получена. На RAM диске конечно, мои SSD в то время больше 250-300MB/s не умели.
Оптический век
SIDENOTE: как я понимаю, это из-за перехода с 10/40GbE на 25/50/100+GbE. И у них есть вопросы совместимости, поэтому старое просто утилизировали.
Что тут можно рассказать, сначала были куплены карточки и кабели. Причем они уже были настолько распространены, что искать не обязательно Mellanox’ы, есть тоже самое под именами HP/Dell/IBM, и они дешевле. Драйвера встроенные есть и в Win, и в Linux, работает всё почти само. Это всё железо умеет QDR/FDR10/FDR14, то есть по сути 40/56Gbps. Реальную скорость при правильной настройке можно 4700+MB/sec увидеть. Хоть диски и стали NVMe (PCI 3 все-таки), но сеть всё равно оказалась быстрее.
Вообще не шумит, если вентилятор Noctua, дует холодным воздухом, но совершенно не продакшен решение, конечно. Зато по ГОСТ 26074-84 и ГОСТ 8486-86.
К сожалению, пока на eBay нет дешевых 40/56GbE Ethernet свитчей (можете поискать SX1012, если интересно), с которыми можно было-бы поэкспериментировать. Придётся ещё несколько лет подождать. А там, глядишь, и до 25/100GbE можно будет в домашней лабе подобраться.
PS: С IB есть ещё всякие нюансы типа необходимости OpenSM где-то, если switch non-managed, но это всё-же не про настройку IB статья.
Про InfiniBand: как мы уменьшали пинг с 7 мкс до 2,4 мкс (и результаты тестов)
InfiniBand-свитч SX6005. 12 FDR 56Gb/s портов на одном юните, коммутация 1.3Тб/с.
Многие считают, что InfiniBand — это «космос». То есть считается, что дорого и нужно только для «суперкомпьютеров» (HPC) производительностью в 1-2 Петафлопа и с гиганскими объмами обрабатываемых данных. Тем не менее, с помощью этой технологии можно организовывать не только самые скоростные межсистемные соединения в кластерах, но и радикально снижать задержки в работе критичных приложений. Конкретно – делать то, что может решаться и с помощью Ethernet, но экономичнее и быстрее. Вот пример.
Задача
У одного нашего крупного заказчика из финансовой сферы была проблема в скорости работы двух приложений. Специфика приложений заключалась в том, что необходимо было обрабатывать большое количество транзакций с минимальной задержкой. 6-7 мкс latency – это лучшие результаты, которые они достигли путем апгрейда серверов и максимальной софтверной доработкой. Дальнейшие возможные оптимизации сулили улучшения на уровне 0,3-0,5 мкс. Мы же пришли и сообщили, что сможем уменьшить задержки в два раза.
Решение
Мы предложили сделать коммуникации между сереверами с помощью InfiniBand. Разумеется, специалисты заказчика слышали об этой технологии, но им нужны были конкретные тесты на площадке, чтобы проверить всё лично. Для этого мы приготовили комплекс демо-аппаратуры, а они выделили несколько серверов под неё. «Боевые» сервера трогать не хотелось по понятным причинам. Итак, мы построили фрагмент живой сети, используя IB-соединения на площадке заказчика.
Для решения данной задачи мы взяли оборудование производства Mellanox. Главными критериями выбора именно этого производителя стало то, что коммутаторы Mellanox имеют «универсальные порты», которые программно определяются либо как порт InfiniBand либо как обычный Ethernet – что позволит потом беспроблемно интегрироваться в существующую Ethernet-сеть заказчика. Кроме того Mellanox производит весь спектр оборудования (включая свитчи, сетевые карты для любых серверов, интерфейсные кабели и так далее), что в последующем позволит собрать решение целиком вне зависимости от типа и производителя имеющихся в наличии серверов у заказчика.
Заказчики установили свои приложения на сервера и прокатали тесты (кажется, используя реальные задачи чуть ли не предыдущего финансового дня) и началось тестирование.
Результаты тестов
Архитектура первого теста: 
Оборудование IB: ConnectX-3 HCA, SX6025 FDR switch, сервера HP Proliant DL380 G7, ОС RHEL 6.4 MRG 2.2.
ib_read_lat —
#bytes #iterations t_min[usec] t_max[usec] t_typical[usec]
2 1000 2.34 9.90 2.36
4 1000 2.34 95.75 2.37
8 1000 2.34 14.15 2.37
16 1000 2.35 14.27 2.37
32 1000 2.37 12.02 2.40
64 1000 2.38 15.85 2.42
128 1000 2.49 14.03 2.52
256 1000 2.67 11.69 2.69
512 1000 2.98 15.09 3.02
1024 1000 3.62 14.01 3.66
2048 1000 4.90 94.37 4.95
4096 1000 6.09 16.45 6.13
8192 1000 8.42 14.42 8.47
16384 1000 13.10 20.04 13.15
32768 1000 22.44 26.07 22.98
65536 1000 41.66 53.00 41.72
131072 1000 79.52 82.96 79.65
262144 1000 155.42 160.17 155.51
524288 1000 307.13 372.69 307.26
1048576 1000 610.54 619.63 610.89
2097152 1000 1217.37 1305.74 1217.84
4194304 1000 2431.34 2466.40 2431.94
8388608 1000 4859.15 4928.79 4860.07
ib_write_lat —
#bytes #iterations t_min[usec] t_max[usec] t_typical[usec]
2 1000 1.26 6.29 1.28
4 1000 1.26 7.44 1.28
8 1000 1.27 5.87 1.28
16 1000 1.27 47.73 1.29
32 1000 1.34 5.79 1.35
64 1000 1.34 5.25 1.36
128 1000 1.48 5.36 1.50
256 1000 2.22 7.44 2.26
512 1000 2.94 47.86 2.98
1024 1000 3.58 7.95 3.63
2048 1000 4.88 8.22 4.91
4096 1000 6.06 9.99 6.09
8192 1000 8.39 11.21 8.43
16384 1000 13.07 15.25 13.48
32768 1000 22.82 27.43 22.89
65536 1000 41.95 45.60 42.04
131072 1000 79.88 85.01 79.93
262144 1000 155.75 160.06 155.84
524288 1000 307.50 332.07 307.65
1048576 1000 610.99 628.83 611.27
2097152 1000 1218.10 1227.02 1218.48
4194304 1000 2432.72 2475.44 2433.46
8388608 1000 4989.11 5025.70 4991.06
ib_send_lat –
#bytes #iterations t_min[usec] t_max[usec] t_typical[usec]
2 1000 1.32 5.74 1.34
4 1000 1.32 5.18 1.34
8 1000 1.32 5.33 1.34
16 1000 1.33 5.40 1.35
32 1000 1.35 5.79 1.37
64 1000 1.40 5.43 1.42
128 1000 1.53 5.52 1.55
256 1000 2.28 5.60 2.31
512 1000 2.92 7.45 2.95
1024 1000 3.56 7.79 3.59
2048 1000 4.85 8.94 4.88
4096 1000 6.03 13.98 6.07
8192 1000 8.36 16.11 8.40
16384 1000 13.02 20.84 13.09
32768 1000 22.39 30.22 23.21
65536 1000 41.93 66.03 42.02
131072 1000 79.84 92.94 79.92
262144 1000 155.72 164.96 155.81
524288 1000 307.49 321.99 307.68
1048576 1000 610.97 626.82 611.27
2097152 1000 1218.05 1241.91 1218.48
4194304 1000 2432.68 2473.29 2433.54
8388608 1000 4968.03 4994.76 4991.17
Следующий тест (производительность протокола IPoIB):
Тест Sockperf UDP:
Для пакета 16 байтов: avg-lat= 9.133 (std-dev=1.226)
Для пакета 64 байта: avg-lat= 9.298 (std-dev=1.268)
Для пакета 256 байтов: avg-lat= 9.605 (std-dev=1.031)
Для пакета 1024 байта: avg-lat= 10.791 (std-dev=1.066)
Для пакета 4096 байтов: avg-lat= 17.107 (std-dev=1.548)
Для пакета 16384 байта: avg-lat= 34.512 (std-dev=2.098)
Для пакета 65506 байтов: avg-lat= 96.502 (std-dev=3.181)
Для пакета 16 байтов: avg-lat= 10.509 (std-dev=1.185)
Для пакета 64 байта: avg-lat= 10.506 (std-dev=1.154)
Для пакета 256 байтов: avg-lat= 11.552 (std-dev=1.128)
Для пакета 1024 байта: avg-lat= 12.409 (std-dev=1.168)
Для пакета 4096 байтов: avg-lat= 18.991 (std-dev=1.506)
Для пакета 16384 байта: avg-lat= 32.937 (std-dev=1.952)
Для пакета 65506 байтов: avg-lat= 76.926 (std-dev=3.066)
А ещё после тестов я увидел то самое чувство глубокого морального удовлетворения, которое испытывают люди, знающие, что сейчас их система будет работать эффективнее. Без замены серверов.
Ethernet и InfiniBand
Ну и главное отличие – это скорость.
Ethernet как и FibreChannel – это «ограниченные» технологии. Конечно можно обеспечить на Ethernet пропускную способность 100Gb путем агрегации энного количества 10Gb-линков. Но! Во-первых – это предел. Во-вторых – какова будет стоимость этого решения? А если ещё добавить стоимость эксплуатации? Надо ещё понимать сколько места, электроэнергии и затрат на отвод тепла в ЦОДе потребует 100 Gb коммутатор уровня ядра — а их нужно далеко не один. На IB – 100 Гб/сек – это не предел, и затраты на это решение (как CAPEX, так и OPEX) будут в разы меньше, так как меньше места, меньше потерь, меньше кабелей, меньше электричества и затрат на кондиционирование, меньше человекочасов на эксплуатацию и так далее. В общем, IB болучается просто быстрее и дешевле для задач такого класса.
Нужен практический пример?
Пожалуйста. Наш облачный ЦОД в какой-то момент потребовал больших скоростей. Архитектура при этом должна быть очень гибкая, быстро и безболезненно модернизируемая, перенастраиваемая под конкретные индивидуальные требования клиента (это один из козырей «облака» КРОК). Рассчитав скорость изменений, мы, безусловно, выбрали IB.
Производители
Перспективы
Среди «космических» высокоскоростных решений InfiniBand получается весьма экономичным как в стоимости внедрения, так и по обслуживанию. Всего лишь 2-3 года на назад такие решения были нужны только для очень серьёзных задач с отраслевым значением, но сейчас всё больше и больше проектов enterprise класса. Всё очень просто: увеличивается количество данных, растут нагрузки от приложений, растет производительность серверов и как результат, требуются другие скорости обмена данными между серверами и скорости работы приложений.
Заказчики говорят так: «Мы ничего не теряем, мы не меняем технологию, не выкидываем Ethernet, но мы хотим дополнить наше инфраструктуру InfiniBand».
Почему с такими вопросами приходят к нам?
Многих заказчиков очень радует, что во-первых, можно посмотреть на оборудование вживую (мы с ним постоянно работаем на своих проектах и у себя в ЦОДах), сделать тесты на своих площадках (как я приводил пример выше), ввести пилотную систему и потом всё внедрить. Ещё у нас есть люди, которые умеют оптимизировать ПО под конкретные масштабные задачи с учётом всех особенностей сетей – это следующий виток работы с highload. И мы стараемся максимально подробно и профессионально рассказать о всех возможных технологических вариантах решения поставленной задачи, никому ничего не навязывая.
UPD. Судя по комментариям, не совсем ясно, почему было выбрано именно такое решение. Резюмируя: заказчику нужно было решить задачу снижения задержек с 7 мкс до 3 мкс на конкретных приложениях. Можно было решить это путём установки low-latency Ethernet-оборудования, что заказчик смог посчитать сам. При этом технические специалисты заказчика решили сравнить IB со своим вариантом.
Отказываемся от 10GBe в пользу Infiniband: инструкция по покупке на вторичном рынке
Я был первым из моих знакомых, кто установил 1 GbE сеть, и многие из них задавались вопросом: кому вообще нужен 1 GbE? Двадцать лет спустя я остаюсь первым из них, у кого дома проложена 10-Гигабатная сеть, и хотя я уже не надеюсь, что кто-то из моего окружения меня поймёт, наконец-то появилась возможность недорого выйти за рамки 10Gbe и получить по-настоящему быстрое сетевое подключение как дома, так и в офисе или в тестлабе.
Вообще, давайте чуть отвлечёмся и зададимся вопросом: в каких скоростях мы сегодня живём? Ещё 5-6 лет назад хороший SSD накопитель выдавал 400-500 Мб/с при копировании бэкапов или больших файлов с виртуалками, и казалось, что лимит 10-гигабитной сетки будет выработан ещё очень нескоро. Сегодня же самый средненький NVME SSD показывает линейные скорости до 3 Гб/с, и уже есть решения со скоростями 4-5 Гб/с. При установке таких накопителей в качестве SSD кэша в RAID массив даже из медленных HDD, вы вполне себе можете рассчитывать на скорость массива в 3-4 Гб/с при работе с закэшированными данными. Как говорится, 10Gbe уже нервно курит в сторонке со своим пиком 1.25 Гб/c, достижимых при использовании MTU выше 9К.
Да, конечно, мы говорим о каких-то пограничных случаях, когда оборудование работает на максимальной скорости и не зажато возможностями софта. Например, VMware ESXi искусственно ограничивает скорость миграции виртуальных машин, чтобы не нарушать стабильность вашей инфраструктуры, и порой между двумя NVME SSD одна VM может перемещаться на скорости 20 МБ/с. Более того, при многопоточном доступе к данным на сетевых папках, будь то iSCSI или SMB/NFS, скорость обычно составляет 200-300 Мб/с для SSD и 10-15 Мб/с для HDD. И по сути, максимальная производительность сетей задействуется либо при бэкапах, либо при работе с большими видеофайлами, либо в HPC-сетапах, что скорее всего, не для нас.
Тем не менее, в ЦОД-ах все эти годы на данные ограничения никто не смотрел, и рынок летел стрелой вверх. Такие компании, как Melanox (Nvidia), Qlogic, Chelsio и Intel предлагают решения со скоростями 40, 100 либо 200 Гбит/с. При использовании многожильного оптоволокна уже можно достигать скорости 400 и 600 Гбит/с, а вообще для интерконнектов в серверах для AI и ML, несколько портов могут обеспечивать «наружу» до 2.4 Тбит/c. То, что сегмент малого бизнеса и домашних пользователей безнадёжно отстал от высоких технологий сетевых карт, стало следствием бурного развития Wi-Fi, но мы отошли от темы. Вообще, такое технологическое отставание нам на руку: то, что в дата-центрах признано негодным, устаревшим и ненужным, мы можем дёшево купить на eBay или Avito, ведь для нас эти остатки более высокоразвитой цивилизации – не просто предел мечтаний, а «космос», который вот уже здесь.
В 1999 году израильский Mellanox сделал альтернативу стандарту Ethernet: стандарт Infiniband (IB), который позже обзавёлся технологией удалённого прямого доступа к памяти, RDMA. Опишу кратко преимущества этой технологии. Обычно, когда ваш компьютер обменивается данными через сеть Ethernet с использованием протокола TCP/IP, отправляемые данные копируются несколько раз через буферы стека IP на вашем локальном компьютере, затем пакеты проходят в виде кадров по сети, затем эти пакеты повторно собираются на целевом компьютере, где снова данные копируются несколько раз через буферы стека IP, чтобы в конечном итоге оказаться в целевом приложении. Обратите внимание, что все эти манипуляции и копирование данных выполняются процессором на каждом компьютере. Сетевые карты в той или иной мере берут на себя процессы разгрузки обработки пакетов, но на практике это выглядит так, что с очередным обновлением драйверов та или иная функция сетевых карт отключается и потом годами дорабатывается, и не факт, что будет работать.
RDMA работает совершенно по-другому: “клиентский” компьютер запускает приложение, которое инициирует запрос, с “серверным” компьютером, который запускает целевое/целевое приложение. Отправляемые данные уже присутствуют в пространстве памяти клиентского приложения, поэтому RDMA копирует их непосредственно по сети (InfiniBand) в пространство памяти серверного приложения. Готово! Процессор не задействован, связь полностью обрабатывается сетевым адаптером InfiniBand. Очевидно, я несколько упрощаю, но в этом и есть вся суть RDMA, которая отбрасывает множество ненужных вычислений, перемещая данные «из памяти в память» между клиентом и сервером.
Сеть Infiniband оказалась настолько удачной, что заказчики попросили Mellanox реализовать IP поверх этого протокола, в результате чего появился IP over IB (ipoib), а затем эта функция переросла в RoCE (RDMA over Converged Ethernet), позволяя использовать RDMA в существующих соединениях Ethernet без перепрокладки кабелей.
Итого, спустя 20 лет прогресса, мы получили высокоскоростную шину, общающуюся по принципу «память-память», использующую для этого самое обычное, самое дешёвое оптоволокно. Кроме того, на вторичном рынке присутствует огромный запас 40-гигабатных контроллеров, стартующих от 20$ за плату и 18-портовых свитчей ценой от 100$ за штуку.
При этом, даже подержанное 10Gbe оборудование стоит в 3-4 раза дороже, чем аналогичное IB. Зачем переплачивать, ведь можно разобраться в вопросе и дёшево получить фантастическую скорость, как в самых мощных суперкомпьютерах вчерашнего дня?
Словарь терминологии InfiniBand:
Скорости соединения в зависимости от типа порта:
Сегодня на вторичном рынке QDR или FDR оборудование продаётся по разумным ценам, а EDR стоит дороже, и кроме того надо отличать FDR от FDR10, первая обеспечивает скорость 54.3 Гбит/с, а вторая – 44.8 Гбит/с. Поэтому перед покупкой карты FDR, коммутатора или кабеля обязательно ознакомьтесь с номером модели и ее документацией. Обычно, если продавец указывает просто скорость «56 Гбит/с», этого может быть недостаточно. У Mellanox есть коммутаторы, которые имеют один и тот же номер модели, где только подномер говорит вам об использовании стандарта FDR10 или FDR. Не стесняйтесь лишний раз задать вопрос продавцу, и не удивляйтесь, если он не ответит. Реальная пропускная способность стандарта QDR составляет где-то 32 Гбит/с, поэтому сегодня этот стандарт уже не так интересен, как FDR.
Какие карты стоит покупать?
Покупая сетевые карты Mellanox на eBay, убедитесь, что вы покупаете то, что вам нужно: карты VPI поддерживают как InfiniBand, так и Ethernet, а карты EN поддерживают только Ethernet. Двухпортовые карты обычно являются лучшим решением, потому чтовы можете подключить 3 ПК без необходимости коммутатора по последовательным цепочкам. Двухпортовые карты также позволяют ПК находиться в подсети InfiniBand через первый порт и (обычно 10 GbE) подсети Ethernet через второй порт.
Среди 56-гигабитных адаптеров лучшим решением будет Mellanox Connect-X3 с обозначением MCX354A-FCBT или MCX354A-FCCT.
Какой мне нужен свитч?
Почему лучше использовать указанные выше адаптеры для сети Infiniband, а не Ethernet? Да потому что вы легко купите подержанный 18-36 портовый QDR, FDR10 или FDR InfiniBand свитч по цене от 125 до 250 долларов, а такой же коммутатор для 10Gbe Ethernet уже будет стоить в 10 раз дороже. Вот посмотрите сами на примеры: 40-гигабитный 18-портовый Mellanox IS5023 или Mellanox SX6015. То есть, дешевле использовать IP over IB с коммутатором IB QDR, FDR10 или FDR, чем тратить деньги на 10Gbe.
Коммутаторы Mellanox имеют очень крепкие корпуса из толстой стали с шумными 40-мм вентиляторами, работающими на 15K RPM. Устанавливать их дома или в офисе даже в закрытом серверном шкафу – это гарантированно получить головную боль от жуткого шума.
А нужен ли мне свитч вообще?
Вся прелесть InfiniBand заключается в возможностях построения сетей по принципу Daisy Chain, где каждый 2-портовый адаптер является приёмником и передатчиком. Это было сделано для связи узлов в суперкомпьютерах, что позволило обходиться без свитчей даже на очень больших парках серверов.
Конечно, пропускная способность несколько страдает, но не настолько, чтобы это серьёзно было заметно в приложениях.
Какие кабели использовать?
Для связи рядомстоящего оборудования вы не найдёте ничего лучше, чем старые-добрые DAC-кабели. Их хватит для расстояний от 1 до 5 метров, а для большей дистанции используйте активные оптические кабели (AOC).
Имейте ввиду, что AOC более хрупкие, чем обычные оптические кабели, и если на пути прокладки есть острые углы, вы можете запросто переломить и испортить активный оптический кабель.
Какие трансиверы использовать?
Если у вас уже проложен оптический кабель, или вы только собираетесь это сделать, пожалуй, это самый лучший способ подключения хостов по Infiniband.
Трансиверы QSFP+ LC для одномодового волокна поддерживают скорость до 40 Гбит/с: это решение имеет свои плюсы, как например более дешёвый кабель, сравнительная распространённость и возможность расщеплять сигнал с одного входа QSFP+ на 4 SFP+, если нужно подключить 4 клиента по 10 Гбит/c к одному 40-гигабитному порту.
Для 56-гигабитных подключений на расстояниях до 100 метров ищите трансиверы QSFP+ MTP/MPO, использующие многомодовое волокно. Например, трансиверы Finisar FTL414QL2C-E5 стоимостью по 20$ позволят подключить оборудование по волокну OM3 на расстояние до 30 метров со скоростью 56 Гбит/с.
Заключение
Проще и дешевле не гнаться за 56 Гбит/с, а остановиться на скорости 40 Гбит/с и использовать более дешёвые свитчи, трансиверы и одномодовые кабели.