Итоги суперкомпьютерной программы "СКИФ"Союзного государства и перспективы ее развития

Абрамов С. М. (ИПС РАН, Россия)

Данная работа посвящена обзору основных результатов суперкомпьютерной программы "СКИФ" Союзного государства. Также рассматриваются перспективы использования ее результатов и развития данного научного направления.

Введение. Общие сведения о Программе "СКИФ"

Полное официальное наименование Программы "СКИФ" - Разработка и освоение в серийном производстве семейства моделей высокопроизводительных вычислительных систем с параллельной архитектурой (суперкомпьютеров) и создание прикладных программно-аппаратных комплексов на их основе, - очень хорошо показывает специфику данного проекта:

  1. Речь идет не о "чисто академическом исследовании", а о доведении дела до серийного производства. Значит, помимо исследовательских, необходимо выполнение и конструкторских работ. Необходимы: разработка в соответствии со стандартами программной и конструкторской документации (КД и ПД), прохождение в установленном порядке нормоконтроля, подготовка производства, выпуск опытных образцов, проведение предварительных и приемочных (государственных) испытаний, выпуск литерной документации (с литерами "О" и "О1") и т.п. Серийное производство означает учет требований (потенциального рынка). Значит, предстояло кроме обеспечения высоких технических показателей учитывать реальную покупательную способность отечественных предприятий и учреждений, бороться за приемлемые значения цены и отношения "производительность к цене".
  2. Целью программы являлся не одиночный уникальный образец. Цель - семейство моделей (Ряд 1 и Ряд 2) высокопроизводительных вычислительных систем (суперкомпьютеров), совместимых по программному обеспечению, имеющих широкий выбор возможных конфигураций, широкий спектр производительности: от единиц и десятков миллиардов операций в секунду (1-10-100 GFlops), до триллионов операций в секунду (до 15 TFlops).
  3. Недостаточно разработать только семейство машин и базовое программное обеспечение (ПО) для них. Для того чтобы обеспечить широкое внедрение суперкомпьютеров семейства "СКИФ", предстояло разработать прикладные системы и даже законченные прикладные комплексы. Например, кардиологический комплекс нового поколения, в котором медицинское оборудование (сенсоры) были интегрированы с небольшим вычислительным кластером, реализующим обработку первичной ди-агностической медицинской информации.

Программа "СКИФ" выполнялась пять лет, с 2000 по 2005 годы. В программе были определены государственными заказчиками-координаторами:

Институт программных систем Российской академии наук (ИПС РАН) являлся головным исполнителем программы "СКИФ" от Российской Федерации, головным исполнителем от Республики Беларусь являлся Объединенный институт проблем информатики Национальной академии наук Республики Беларусь (ОИПИ НАН Беларуси). Всего в Программе участвовали около двух десятков учреждений и предприятий, примерно поровну - по десятку предприятий от каждой страны.

В последующих разделах будет кратко изложено описание основных результатов суперкомпьютерной программы "СКИФ" Союзного государства, рассмотрены перспективы использования этих результатов и перспективы развития данного научного направления.

1. Выпуск опытных образцов суперкомпьютеров семейства "СКИФ"

(1)- Подробнее см. сайт http://skif.pereslavl.ru/   раздел в меню "Образцы СКИФ/Кластерные системы СКИФ".

(2) - Максимальная реальная производительность, которую удалось развить на вычислительной установке на задаче решения сис-темы линейных уравнений с 64-разрядными числами с плавающей точкой - так называемый тест Linpack. Именно данный пока-затель используется для ранжирования суперкомпьютеров в мировом рейтинге пятисот самых мощных ЭВМ мира[1].

За пять лет исполнения программы "СКИФ" было выпущено шестнадцать опытных образцов (1) суперкомпьютеров семейства "СКИФ", шесть из них было размещено в Беларуси, десять - в России. На рисунке 1 в виде графика с логарифмической шкалой показана Linpack-производительность(2) этих опытных образцов. Видно, что каждый год создавались установки в широком спектре производительности. В каждый год была установка с наибольшей (на текущий год) для семейства "СКИФ" Linpack-производительностью - так называемое "подсемейство" Top-СКИФ (Таблица 1).

 

pic1.jpg (45940 bytes)

Рис. 1. Linpack-производительность шестнадцати опытных образцов высокопроизводительных установок семейства "СКИФ".
Цветом отмечено: красный круг - установка расположена в России;
зеленый круг -установка расположена в Беларуси;
сиреневый цвет - образец выполнен с привлечением дополнительных средств;
желтый цвет - экспериментальный образец для отработки технических решений.

 

Таблица 1. Основные показатели "подсемейства" вычислительных установок Top-СКИФ (установки с наибольшей для семейства "СКИФ" Linpack-производительностью на текущий год)

Год Наименования Количество и вид процессоров Производительность, GFlops
     

Пиковая

Linpack

2000 Первенец 2 экз.: Россия и Беларусь 32 x Intel Pentium III (600MHz)

20

11

2001 ВМ-5100 Беларусь 32 x Intel Pentium III (1400 MHz) 45 31
2002 Первенец-М Россия 32 x AMD AthlonMP 1800+ (1533 MHz) 90 57
2003 СКИФ К-500 Беларусь 128 x Intel Pentium Xeon (2.8 GHz) 717 474
2004 СКИФ К-1000 Беларусь 576 x AMD Opteron 248 (2.2 GHz) 2534 2032

На графике видно (Рисунок 1), что Linpack-производительность моделей Top-СКИФ (Таблица 2) росла из года в год почти по экспоненциальному закону и за пять лет выросла в 185 раз (с 11 GFlops до 2032 GFlops). Вообще говоря, экспоненциальный рост характерен для суперкомпьютерной отрасли. Однако в годы исполнения программы "СКИФ" удалось обеспечить более высокие темпы в отечественном секторе, чем по отрасли в целом (см. Рисунок 2).

(3)- Еще только одна ЭВМ отечественной разработки и производства была включена в мировой рейтинг Top500 ранее - июнь 2002 года, 64 место, MВС-1000M, совместная разработка ФГУП НИИ "Квант", ИПМ им. М. В. Келдыша РАН и Межведомствен-ного суперкомпьютерного центра (МСЦ).

Из всех моделей семейства "СКИФ" особо отметим "СКИФ К-500" и "СКИФ К-1000" - эти су-перкомпьютеры вошли в список 500 самых мощных компьютеров мира (3):

Существенный вклад внесли суперкомпьютеры семейства "СКИФ" в парк высокопроизводительных установок, размещенных на территории СНГ. В ноябре 2004 года семь суперкомпьютеров "СКИФ" вошли в список пятидесяти самых мощных суперкомпьютеров СНГ под номерами 1, 6, 8, 20, 22, 32, 34.

(4)- Рейтинг Top50 www.supercomputers.ru, организован Межведомственным суперкомпьютерным центром РАН и Научно-исследовательским вычислительным центром МГУ им. М. В. Ломоносова при поддержке российской компании "Т-Платформы".

Суперкомпьютер "СКИФ К-1000" занимал тогда первое место в данном рейтинге (4). Также отметим, что суперкомпьютерные установки семейства "СКИФ" занимали в ноябре 2004 года в суперкомпьютерном рейтинге СНГ только 14% мест, а обеспечивали в данном рейтинге четверть суммарной пиковой и одну треть суммарной Linpack-производительности. То есть, объективно эффективность (КПД) у семейства "СКИФ" была в полтора раза выше, чем в среднем по другим отечественным и зарубежным суперком-пьютерам, установленным в СНГ в ноябре 2004 года. Высокие места, занятые в мировых рейтингах и рейтинге стран СНГ, свидетельствуют о важной роли высокопроизводительных вычислительных систем семейства "СКИФ" в отечественной суперкомпьютерной отрасли.

pic2.jpg (26693 bytes)

Рис. 2. Сравнение темпов роста Linpack-производительности самых производительных ЭВМ семейства "СКИФ" (TopSKIF) и самых производительных ЭВМ в мире (Top10 - 10-е место,
Top100 - 100-е место,... Top500 - 500-е место во всемирном рейтинге)

Необходимо подчеркнуть: шестнадцать опытных образцов создавались в рамках разработки и освоения в производство семейства подобных вычислительных установок. Эти образцы, по сути, являются "верхушкой айсберга", в основании которого лежат исследовательские и конструкторские работы, разработка в соответствии со стандартами КД и ПД, прохождение в установленном порядке нормоконтроля, подготовка производства, проведение предварительных и приемочных (государственных) испытаний, выпуск литерной документации (с литерами "О" и "О1"). И в этой части, конечно, главный результат не эти 16 установок, а способность и готовность промышленности Беларуси и России выполнить любые заказы отечественных предприятий и организаций на вычислительные системы семейства "СКИФ".

2. Спецвычислители (ускорители) в установках семейства "СКИФ"

Помимо разработки универсальных кластерных вычислительных систем программа "СКИФ" предусматривала и разработку спецвычислителя для потоковых вычислений - однородной вычислительной среды (ОВС). Как и другие задания (мероприятия) Программы "СКИФ", эта разработка была выполнена и осенью 2004 года успешно прошли приемочные испытания опытного образца базового вычислительно-го модуля ОВС (Рисунок 3). Данный модуль содержал 1000 однобитовых процессоров (с возможностью расширения до 4000 процессоров): 2 платы (расширяется до 8) на каждой по 20 СБИС, в каждой из кото-рых по 25 процессоров. Испытаниям были подвергнуты и системное ПО уровня ОВС (диспетчер мета-процессов) и средства программирования ОВС: графовый язык, система подготовки и отладки программ. Отметим, что данная разработка является полностью отечественной: российские и белорусские исполнители исполнители программы "СКИФ" разрабатывали принципы работы ОВС, разрабатывали и изготавливали микросхемы, печатные платы, конструктивные элементы, систему электропитания и охлаждения, все аппаратные узлы и систему в целом, все программное обеспечение для нее.

Рис. 3. Базовый вычислительный модуль ОВС, подключенный к кластеру "Первенец-М"
(Переславль-Залесский, ИПС РАН, осень 2004 года)

Рис. 4. Слева опытный образец суперкомпьютерной системы ЕС1710.03 (пиковая 403 GFlops, Linpack-производительность 253 GFlops, Москва, НИЦЭВТ, осень 2003 года); справа опытный образец модульно наращиваемой многопроцессорной системы (МНМС, НИИ МВС, Таганрог, осень 2003 года)

Высокая эффективность использования спецвычислителей для некоторых видов алгоритмов под-вела к решению расширить спектр спецвычислителей, используемых в семействе суперкомпьютеров "СКИФ". Был изготовлен опытный образец модульно наращиваемой многопроцессорной системы (МНМС), созданный группой (под руководством чл.-корр. Каляева И. А.) разработчиков из НИИ МВС, Таганрог. Осенью 2004 года была выполнена стыковка МНМС с опытным образцом суперкомпьютер-ной системы ЕС1710.03 (Рисунок 4) и проведены приемочные испытания комплекса, в которых проверя-лись:

Рис. 5. СКИФ-ServNet ver. 2 с уменьшенными габаритами (66?33 мм)

3. Собственное программное обеспечение для семейства суперкомпьютеров "СКИФ"

Огромные усилия, большая доля времени, сил и средств были потрачены в Программе "СКИФ" на разработку программного обеспечения (ПО) и литерной программной документации (ПД). Отметим, что все ПД было разработано в соответствии с требованиями ЕСПД, проведено через нормоконтроль, успешно прошло приемочные (государственные) испытания с присвоением литеры "О1". Общий объем комплекта ПО для семейства суперкомпьютеров "СКИФ" составляет 10 дисков CD-ROM. В силу огра-ниченности места в данной работе мы только перечислим основные компоненты данного комплекта:

4. Сервисная сеть СКИФ-ServNet

(5)- Подробнее см. сайт http://skif.pereslavl.ru/, раздел меню "Результаты/2003 год", материал "Управляющая сеть кластеров СКИФ".

Сервисная сеть СКИФ-ServNet(5)  разработана специалистами ИПС РАН. Сервисная сеть (Рисунок 5) предназначена для удаленного управления вычислительными узлами суперкомпьютерных систем. СКИФ-ServNet обеспечивает селективные (для узла или группы узлов) операции:

За счет интеграции с системой FLAME-SKIF мониторинга и управления установками семейства "СКИФ" сервисная сеть СКИФ-ServNet становится мощным средством автоматизированного управления (в том числе и удаленного) аппаратными и программными компонентами суперкомпьютеров семейства "СКИФ".

Отметим, что система FLAME-SKIF и сервисная сеть СКИФ-ServNet нашла свое применение не только в установках семейства "СКИФ", но и в кластерах других изготовителей.

5. Совместимость суперкомпьютеров семейства "СКИФ" с коммерческим программным обеспечением. Примеры реального использования суперкомпьютеров "СКИФ"

Очень важным свойством суперкомпьютеров семейства "СКИФ" является их совместимость с коммерческими инженерными пакетами, такими как LS-DYNE, STAR-CD и др.

Это позволило, наряду с наличием отечественного ПО "СКИФ", в короткие сроки обеспечить су-щественное реальное использование суперкомпьютеров семейства "СКИФ" в России и Беларуси. При-ведем лишь краткий список примеров использования суперкомпьютеров "СКИФ":

6. Подготовка к серийному выпуску суперкомпьютеров семейства "СКИФ"

Очень важным результатом Программы "СКИФ" является подготовленная производственная база. Возможности участников программы "СКИФ" (ИПС РАН, ОАО "НИЦЭВТ", ООО "Т-Платформы") позволяют серийно выпускать:

А самым важным результатом Программы "СКИФ" можно назвать восстановление и создание кооперационных связей, организация такой команды исполнителей, которой по плечу самые сложные задачи в области суперкомпьютерных технологий. Это особенно ярко проиллюстрировал опыт создания "СКИФ К-1000". В ноябре 2004 года суперкомпьютер "СКИФ К-1000" занял 98 место в рейтинге Top500. При этом суперкомпьютеры из "первой сотни", кроме участников Программы "СКИФ", выпускали в это время только США, Япония и Китай. Многие иные страны (Западной Европы и Азии) обладают развитой суперкомпьютерной отраслью и создавали в это время суперкомпьютеры, входящие в Top500:, но не в "первую сотню". Этот факт доказывает тезис, что на этот момент команда исполнителей Программы "СКИФ" действительно достигла мирового уровня в освоении суперкомпьютерных технологий. И не использовать такой ресурс в интересах России и Беларуси - было бы ошибкой.

7. Перспективы развития направления работ программы "СКИФ"

(6)- Результативность усилий по внедрению суперкомпьютеров семейства "СКИФ" напрямую зависят от результативности формирования в России суперкомпьютерного рынка - в более общем смысле: рынка информационно-коммуникационных технологий. Как заявил в своем выступлении на Президиуме РАН 22.03.2005 Министр информационных технологий и связи Рейман Л. Д.,ответственность за формирование ИКТ-рынка в России лежит на Правительстве Российской Федерации.

Дальнейшее развитие направления работ программы "СКИФ" связано с усилиями по внедрению изделий семейства "СКИФ" (6) и по развитию изделий семейства "СКИФ".

Заметим, что в системе программ Союзного государства научное направление "СКИФ" играет системообразующую роль - использование результатов Программы "СКИФ" и взаимодополнение с Программой "СКИФ" явно предусмотрены в новых Союзных программах "Космос-БР" (2004-2007) и "Триада" (2005-2008). Среди прочего, в этих программах планируется использование суперкомпьютеров семейства "СКИФ". Однако, разработка суперкомпьютеров семейства "СКИФ" завершилась вместе с завершением программы - в 2004 году. И к 2006 году существующие технические решения, существующая конструкторская документация морально устареет. А это значит, что в новых Союзных программах "Космос-БР" и "Триада" не будет альтернативы закупке зарубежных суперкомпьютерных решений. Если вовремя не продолжить разработку новых моделей (Ряд 3 и Ряд 4) отечественного семейства суперкомпьютеров "СКИФ".

Тем самым, со всей очевидностью есть необходимость скорейшей разработки и начала исполнения новой программы, которая стала бы продолжением Программы "СКИФ". Эту необходимость понимают и в Правительствах России и Беларуси - в Постановлении Совета Министров Союзного Государства от 21 апреля 2005 г. ? 17 "Об итогах выполнения программы Союзного государства "Разработка и освоение в серийном производстве семейства высокопроизводительных вычислительных систем с параллельной архитектурой (суперкомпьютеров) и создание прикладных программно-аппаратных комплексов на их основе"" сказано:

Совет Министров Союзного государства постановляет:

  1. Считать завершенной программу Союзного государства "Разработка и освоение в се-рийном производстве семейства высокопроизводительных вычислительных систем с параллель-ной архитектурой (суперкомпьютеров) и создание прикладных программно-аппаратных комплек-сов на их основе" и одобрить представленный Национальной академией наук Беларуси и Федеральным агентством по науке и инновациям (Министерство образования и науки Российской Фе-дерации) отчет об итогах ее реализации в 2000-2004 годах (прилагается).
  2. Федеральному агентству по науке и инновациям и Национальной академии наук Беларуси подготовить и внести установленным порядком в Совет Министров Союзного государства предложение о дальнейшем развитии работ в области создания и разработки высокопроизво-дительных вычислительных систем в рамках Союзного государства.
  3. Настоящее постановление вступает в силу со дня его подписания.

В середине 2004 года в сотрудничестве ИПС РАН с белорусскими и российскими организациями были подготовлены такие предложения по формированию новой суперкомпьютерной программы Союзного государства: "Разработка и использование программно-аппаратных средств ГРИД-технологий и перспективных высокопроизводительных (суперкомпьютерных) вычислительных систем семейства "СКИФ" (шифр "СКИФ-ГРИД")", включающие четыре направления работ:

К сожалению, предложения по формированию новой суперкомпьютерной программы Союзного государства "СКИФ-ГРИД" до сих пор не согласованы российскими ведомствами (белорусские министерства и комитеты все согласования завершили еще весной). А без государственной поддержки продолжения научного направления Программы "СКИФ" тот самый научный задел, тот самый потенциал команды исполнителей Программы "СКИФ", о котором сказано в конце раздела 6, безнадежно теряется: мировые суперкомпьютерные технологии (Рисунок 2) развиваются "вдвое за год" по всем основным показателям.

Последнее обстоятельство означает, что 1 год простоя оставляют 1/2 часть от нашего задела и от нашего потенциала; 2-года простоя - 1/4 часть и т.д. К сожалению, сегодня уже с уверенностью известно, что работы по Программе "СКИФ-ГРИД" в 2006 году начаты не будут. А это значит, что (как минимум) два года простоя уже имеется.

Благодарности

Работы, положенные в основу данной статьи, были выполнены в рамках:

Хочется особенно отметить поддержку нашим усилиям в рассмотренных здесь исследованиях и разработках со стороны академика-секретаря ОИВТС РАН, академика Е.П. Велихова. Автор также благодарен всем участникам суперкомпьютерной программы "СКИФ", своим коллегам из России и Беларуси: С.В. Абламейко, А.И. Адамовичу, В.В. Анищенко, Л.А. Гайдар, В.Ф. Заднепровскому М. Р. Коваленко, А. А. Московскому, В. А. Роганову, Н. Н. Парамонову, О. П. Чижу и многим, многим другим.

Список литературы

  1. TOP500 Supercomputer Sites - мировой рейтинг пятисот самых мощных компьютеров мира // Информационный ресурс в сети Интернет, http://www.top500.org/
  2. Абрамов С.М., Адамович А.И., Инюхин А.В., Московский А.А., Роганов В.А., Шевчук Е.В., Шевчук Ю.В. Т-система с открытой архитектурой // Труды Международной научной конференции "Суперкомпьютерные системы и их применение. SSA'2004", 26-28 октября 2004 г. Минск, ОИПИ НАН Беларуси, с. 18-22
  3. Абрамов С.М., Адамович А.И., Коваленко М.Р. Т-система - среда программирования с поддержкой автоматического динамического распараллеливания программ. Пример реализации алгоритма построения изображений методом трассировки лучей // Программирование, 1999, том 25 (2), стр. 100-107, 1999 No 25(2).