Проект разработки высокоскоростной коммуникационной сети «Ангара» в АО «НИЦЭВТ»

Содержание

Что такое высокоскоростная коммуникационная сеть, где она используется?
Какие есть ВКС в России и в мире?
Что представляет собой сеть «Ангара»?
Где и кем будет применяться сеть «Ангара»?
Каковы основные цели при разработке сети «Ангара»?
В чём новизна и актуальность?
Основные этапы проекта
Текущий статус проекта
Контактная информация

Что такое высокоскоростная коммуникационная сеть, где она используется?

Высокоскоростная коммуникационная сеть (ВКС) связывает между собой вычислительные узлы суперкомпьютера. Отличительной особенностью таких сетей является аппаратная поддержка моделей параллельного программирования, используемых при решении задач, требующих сверхбольших вычислительных мощностей и объёмов коммуникаций (моделирование сложных систем в области медицины, химии, прогнозирования/изучения климатических явлений, биологии, анализ и обработка больших массивов данных).

Важность разработки ВКС обусловлена следующими причинами:

Дополнительная информация про высокоскоростные сети, краткий обзор существующих сетей и более подробное описание сети «Ангара» могут быть найдены здесь: html-версия/pdf-версия
Какие есть ВКС в России и в мире?

Все ВКС можно разделить на два класса: коммерческие (доступные отдельно и используемые для построения кластерных систем) и заказные (разрабатываемые в составе вычислительных систем и доступные только совместно с ними).

Среди коммерческих наиболее распространены InfiniBand и 40/100 Gigabit Ethernet.

Заказные ВКС используются в суперкомпьютерах таких фирм, как Cray (Cray Gemini), IBM (IBM Blue Gene/Q), Fujitsu (K Computer), SGI и др.

Разработкой ВКС в России помимо АО «НИЦЭВТ» занимаются РФЯЦ ВНИИЭФ, Институт программных систем РАН и РСК «СКИФ», ИПМ РАН и НИИ «Квант» (сеть «МВС-Экспресс»).

Подробная информация о наиболее мощных суперкомпьютерах доступна на Top500.org.

Что представляет собой сеть «Ангара»?

Предполагается как минимум два способа использования сети «Ангара»:

Как отдельный продукт сетевые адаптеры «Ангара» могут быть использованы для построения персональных суперкомпьютеров и кластеров среднего диапазона производительности (от 10 до 500 Tflop/s) на базе коммерческих вычислительных узлов и инфраструктуры (например, Supermicro или Tyan). При этом сеть «Ангара» может быть использована совместно с другими сетями, например Ethernet или InfiniBand.

Сетевой адаптер «Ангара» представляет собой плату расширения PCI Express (аналогично сетевым картам Ethernet), к которой подключаются от 2 до 8 кабелей для соединения с соседними узлами (передача данных между узлами может осуществляться через промежуточные узлы). Поддерживаются топологии сети от 1D до 4D-тор. Основной режим программирования для сети «Ангара» — совместное использование MPI, OpenMP и Shmem; также поддерживаются GASNet и UPC. Для поддержки Shmem и PGAS-языков на каждом узле выделяется регион памяти, доступный для прямых удалённых обращений (чтения, записи, атомарных операций) от других сетевых узлов (RDMA операции).

В составе суперкомпьютера «Ангара» ВКС является основной коммуникационной сетью, по которой передаются данные, генерируемые выполняющимися задачами (обмен данных внутри задачи), и трафик файловой системы (обмен данных вычислительных узлов с узлами ввода-вывода). Сеть «Ангара», интегрированная в состав вычислительной платформы, будет использована для построения систем среднего и высшего диапазона производительности.

Где и кем будет применяться сеть «Ангара»?

Суперкомпьютеры с серийными образцами адаптеров «Ангара» предполагается использовать при решении широкого диапазона задач для нужд науки и промышленности, региональных вычислительных центров.

Каковы основные цели при разработке сети «Ангара»?

Главная цель — разработать отечественную сеть, способную конкурировать при использовании в рамках указанного выше набора задач с лучшими коммерчески доступными сетями (InfiniBand), при этом близкую по идеям к лучшим заказным сетям (Cray Gemini, IBM Blue Gene Torus) и эффективно поддерживающую современные модели программирования (односторонние коммуникации, PGAS).
Цели при разработке сети «Ангара»:

В чём новизна и актуальность?

Сеть задумана как отечественный аналог зарубежных заказных сетей.

Получение лучшей производительности, чем у InfiniBand, достигается за счёт меньшей универсальности (что позволяет снизить накладные расходы на передачу и обработку сетевых пакетов).

Ориентирование на односторонние коммуникации и эффективную реализацию PGAS-языков позволяет естественным образом поддержать наиболее современные модели параллельного программирования.

Сеть «Ангара» — единственная на данный момент отечественная сеть на базе СБИС (использование в коммуникационных сетях ПЛИС обычно негативно отражается на получаемых скоростях и задержках, масштабируемости, стоимости).

Основные этапы проекта
  1. Формирование концепции, имитационное моделирование (2006—2008 гг.)
  2. Прототипирование на базе ПЛИС (2008—2013 гг.)
  3. Прототипирование на базе СБИС (2013—2014 гг.)
  4. Выпуск серийной версии адаптеров на базе СБИС (2014—2015 гг.)
  5. Прототипирование второй версии на базе ПЛИС (2015—2017 гг.)
  6. Прототипирование второй версии на базе СБИС (2017—2018 гг.)
  7. Выпуск серийной версии адаптеров на базе второй версии СБИС (2018—2019 гг.)
Текущий статус проекта

На данный момент для отладки программного обеспечения и основных технологических решений используется прототипный кластер из 36 узлов (тор 3×3×4) с адаптерами на базе СБИС и двухсокетными узлами с процессорами Intel Xeon E5-2660 и E5-2630.

Адаптеры работают с интерфейсом PCI Express gen2 х16, имеют линки с пропускной способностью 75 Гбит/с (в каждую сторону).

В настоящее время в проекте занято несколько десятков человек — специалистов в области моделирования, разработки интегральных микросхем и программного обеспечения. Большинство является выпускниками МГУ, МИФИ, МИЭТ.

Angara Router (ASIC)
SAMTEC HDLSP Cables
Кластер из 36 узлов с адаптерами сети «Ангара» на базе СБИС
Кластер из 36 узлов с адаптерами сети «Ангара» на базе СБИС (вид сзади)
Angara Platform
Вычислительная платформа с интегрированной сетью «Ангара» (на базе СБИС), установленный в 16-узловую корзину
Angara ASIC
Prototype Router (FPGA)
Prototype Cluster
Prototype Cluster
Angara Platform
Angara Platform
Прототип сетевого адаптера «Ангара» на базе ПЛИС в исполнении для использования в составе вычислительной платформы
Макетные платы для тестирования разъёмов SAMTEC HDI6 и кабелей SAMTEC HDLSP
Прототип сетевого адаптера «Ангара» на базе ПЛИС (второе поколение)
Floorplan СБИС адаптера сети «Ангара»
4D-torus Topology
4D-torus Topology
Контактная информация

E-mail: hpc@nicevt.ru

Адрес: АО «НИЦЭВТ», Варшавское шоссе, 125

Схема прохода от ст. м. Южная к главной проходной АО «НИЦЭВТ»: