Копия текста публикации со страницы http://www.computerra.ru/interactive/439467/

 

Сергей Абрамов: "Мы обязаны стремиться победить в вычислениях"

Автор: Сергей Вильянов
Опубликовано 06 июля 2009 года

Добрый день, всем!

Я благодарен "Компьютерре" за организацию беседы и благодарен всем участникам, задавшим мне вопросы. Ниже я постараюсь ответить на все ваши вопросы – с учетом моей компетенции, которая, конечно, имеет свои границы и не может охватывать даже всех аспектов такой обширной области, как суперкомпьютерные технологии.

Для того чтобы наша беседа (вопросы и ответы) приобрела вид связанного единой линией изложения текста, я немного изменил порядок вопросов, расположив рядом близкие или связанные вопросы. В цитате каждого вопроса сохранено имя автора и порядковый номер вопроса.

Что же, давайте поговорим про суперкомпьютеры и суперкомпьютерные вычисления...

И естественно начать нам с ключевых вопросов.

Сергей Глита #2: Может, хватит уже играть в "догнат-перегнат", и заняться чем-нибудь полезным, и пускай уже другие нас догоняют, если им будет угодно? Блин, целое государство разводят на "слабО", и уже не первый раз – помните, как мы уже соревновались с северо-американскими соединенными штатами у кого ракеты длиннее? Какие задачи, кроме "оборонки" можно (нужно) будет решать этими мегамозгами и как всё это скажется на экологии, демографии и жизни простого человека? Станет ли наш народ счастливее, добрее и лучше, если мы победим в этой новой гонке?

Действительно, это ключевые вопросы: Что такое суперкомпьютерные технологии? Какая их роль и какое у них место? Нужны ли они – в смысле, для чего и кому они нужны? Кому они не нужны? Нужны ли они России? Наконец, если суперкомпьютерные технологии нужны России, то нужно ли разрабатывать свои? Или можно (и выгоднее) закупать чужие?

Попробуем во всем этом разобраться.

Этот вопрос (о природе и месте суперкомпьютерных технологий) сложный. И построение серьёзного ответа – это предмет серьёзного и дорогого исследования. К счастью, эти исследования (в большом количестве) уже были оплачены, выполнены и (некоторые) отчеты по ним доступны в сети Интернет. Наиболее известны исследование и слушания, проведённые правительством США после серьёзного скандала – когда Японская суперЭВМ "Earth Simulator" в течение длительного срока (11.03.2002–29.09.2004) была самой мощной машиной мира, значительно потеснив американцев. Это было шоком для многих политиков и специалистов в США. Даже появился термин "компьютник", как воспоминание о шоке, пережитом Штатами после появления первого советского спутника. И власть в США всерьёз разбиралась: потеря лидерства в суперкомпьютерах это беда или небольшая досада? И вообще, для чего эти дорогие изделия нужны?

Вот тезисное изложение результатов исследований:

Таким образом, государство, твердо принявшее решение двигаться в сторону экономики, основанной на знаниях, экономики, основанной на высоких технологиях и инновациях, обязано:

Вот краткое изложение этих же мыслей устами не программиста, не электронщика, а экономиста – руководителя Комитета по конкурентоспособности США: "With technology, talent and capital now available globally, the U.S. is facing unprecedented economic competition from abroad. Тhe country that wants to out compete must out-compute." Deborah Wince-Smith, President of the Council on Competitiveness “US Competitive Council Meets; HPC TOPS Agenda” HPC Wire, 16.07.2004.

Здесь в трех фразах высказаны три мысли:

Есть ещё аспект в вопросе Сергея Глита: "Блин, целое государство разводят на "слабО", и уже не первый раз". То есть, не являются ли заявления и научные отчеты, процитированные выше, тонкой дезинформацией, цель которой – вовлечение России в недешёвую суперкомпьютерную гонку?" Ответ: нет, не являются, вот почему:

Наконец, я готов к ответу на вопрос Сергея:

Сергей Глита #2: Может хватит уже играть в "догнат-перегнат", и заняться чем-нибудь полезным

Сергей, я не спорю – может быть и хватит! Только ответ зависит от "национальной идеи", от стратегического пути, выбранного Россией. Допустим, наш народ выберет такой путь: "Новая Россия, это страна, развивающая как основную отрасль экономики экстремальный туризм для гостей". Тогда можно не догонять, и не перегонять. Кстати, возможно, при таком выборе народ станет богаче, добрее, счастливее и лучше, и мы решим все проблемы со здоровьем, демографией и экологией.

Так что, проблема с суперкомпьютерами – проблема инфраструктурная,— это проблема выбора пути развития России. Один путь развития – нужна одна инфраструктура. Другой путь развития – другая.

А вопрос выбора пути – это вопрос к народу России (не ко мне, точнее – не только ко мне). В частности, к избранной народом власти. Кстати, Сергей, Ваши сомнения разделяют серьёзные люди в правительстве (на уровне зам. министров Минобрнауки) – совсем недавно (к Первомаю) ими был сформулирован проект исключения всех информационных технологий (ну и суперкомпьютерных, в частности) из приоритетов России, что значительно взбудоражило научную общественность.

Однако, если Россия сказала "А", то придётся (помните? – must!) говорить и "Б". Если мы на всех углах твердим:

Ну, тогда мы обязаны стремиться победить в вычислениях. Именно победить – нам нужен номер 1 в Top500.

К слову, в отличие от упомянутых руководителей министерств, в этом вопросе своё мнение Президент Д. А. Медведев высказал недвусмысленно на первом заседании комиссии по модернизации и технологическому развитию экономики России – среди пяти приоритетных направлений он отметил и "...стратегические информационные технологии, включая вопросы создания суперкомпьютеров...".

Ещё два смежных вопроса и ответы на них:

Сергей Глита, извините за такой длинный ответ. Но уж больно важный вопрос Вы задали. Вопрос о пути новой России...

Гена Лебедев №6: С железками более-менее понятно, куда двигаться...

Ой! Как я Вам завидую. У меня (думаю и у других специалистов) в этом деле ещё много непонятного.

Гена Лебедев №6: А как быть с ПО? Какие направления вы считаете наиболее перспективными и востребованными в ближайшее десятилетие? (Возможно – что-то близкое вашей тематике, т.е. работы с суперкомпьютерами, кластерными системами и т.п.)

Успехи в суперкомпьютерных технологиях могут быть обеспечены только суммой (наверное, даже произведением) успехов в области аппаратного и программного обеспечения (ПО). Наиболее перспективные направления в ПО, сформулированные как проблемы (вопросы):

Это примеры (далеко не полные) тех проблем, которыми занимаются в суперкомпьютерной области не меньше, чем "железом", а пожалуй – больше. И у нас занимаются, и у коллег за рубежом. Об этом мало говорят – пишут всё больше о железе. Но железо - это тело, мышцы. Не вдохнешь в него душу – программное обеспечение, — железо останется мертвой грудой железа.

Кстати, все перечисленные выше проблемы вполне свежие, толком ещё не решённые и "не истоптанные". Россия имеет возможность сказать свое первое и веское слово.

Гена Лебедев №6: Ещё вопрос, немного прогнозно-историко-философский: возможно ли создание в России проектов, аналогичных японским "компьютерам пятого поколения", т.е. ориентированных на массовое взаимопроникновение нового "железа" и "софта" с целью принципиального скачка в IT?

То, что ПО создается "поверх железа", все привыкли. Но, действительно, интересная тема: влияние ПО на "железо". И создание "железа" под язык и/или модель организации вычисления. Давайте вспомним совсем немного зарубежные и отечественные примеры из (вовсе недалекого) прошлого:

Из недавних работ упомянем разработки академика Бурцева Всеволода Сергеевича – к сожалению, умершего в 2005 году. Его проект не повторяет, но в чем-то схож с теми самыми компьютерами пятого поколения. По крайней мере, просматриваются аналогии с архитектурами "data-flow". И ответом на Ваш вопрос – возможны ли такие разработки в России сейчас,— является тот факт, что проект, ранее возглавляемый академиком В. С. Бурцевым, инициативно продолжается в России и сегодня. И в нём разработка модели вычисления, языка и архитектуры "железа" – тесно переплетенные процессы.

Ещё один пример поддержки одной и той же идеи в "железе" и в ПО. В разработке ИПС имени А. К. Айламазяна РАН (начатой ещё в 90-х годах) системы параллельного программирования Т-Система единственным средством взаимодействия параллельных процессов являются так называемые "Т-переменные", которые могут быть в двух состояниях: "неготовое значение" (процесс-поставщик не вычислил и ещё не прописал значение в данную переменную) и обычное "готовое" значение. И реализовывали мы эту модель параллельного программирования поверх SMP и обычной кластерной архитектурой – без особой аппаратной поддержки. Понятно, что идея такой синхронизации параллельных процессов "витает в воздухе". И сегодня мы находим аппаратную реализацию механизма "full/empty bit" у компании Cray, которая адекватно в "железе" реализует ту же самую идею.

И немного забавного: с Вашим вопросом у меня связана такая история. Впервые серьёзный анализ японского проекта я встретил в 80-х на всесоюзной школе по программированию недалеко от Абрау-Дюрсо. Эта школа собиралась в данном месте ежегодно ещё в 70-х, и на протяжении более сорока лет традиция проведения серии научных мероприятий в этом месте – сохранена. В тот год тематика школы была "ЭВМ 5-го поколения". Но вот незадача: тогда все объявления на школе готовились на печатной машинке, у которой не пропечатывалась буква "п". Ну и тематика была изложена в соответствующей "редакции". Что немало потешало участников школы.

scrp №7: Кто финансирует программу "СКИФ-ГРИД", каковы объёмы и как они соотносятся с объёмами финансирования подобных программ в США и Европе?

Суперкомпьютерные программы "СКИФ" (2000–2004 гг.) и "СКИФ-ГРИД" (2007–2010 гг.) являются научно-техническими программами Союзного государства. Финансируются они из бюджета Союзного государства, который наполняется за счёт взносов России и Беларуси из их национальных бюджетов.

Увы, для простоты сравнения придется перевести бюджеты суперкомпьютерных союзных программ в американскую валюту. По курсу на соответствующие периоды времени, конечно.

На программу СКИФ было затрачено около 10 млн. долларов – на две страны (почти равные доли) и на 5 лет. То есть, около 2 млн. долларов в год на Союзное государство (давайте по странам не делить). В это время (2000–2004 гг.) США тратило около 2 млрд. долларов из бюджета страны на построение киберинфраструктуры державы.

На программу СКИФ-ГРИД запланировано на 4 года около 16 млн. долларов – на две страны (доли в отношении 1:2) и на 4 года. То есть, около 4 млн. долларов из бюджета в год на Союзное государство. В это время (2007–2010 гг.) США тратит около 4 млрд. долларов из бюджета страны на построение киберинфраструктуры державы.

Разрыв между объёмами бюджетных вложений "мы—США" около 1000 раз.

Разрыв между объёмами бюджетных вложений "Евросоюз—США" имеется, но не на порядки. Тем самым, разрыв бюджетных вложений "мы—Евросоюз" – несколько порядков.

Alf Urby №12: ... просьба сравнить не только в "долларовом" исчислении, но и в "мифических человеко-месяцах"... т.е. не в количестве/качестве закупаемых (импортных) систем/комплектующих, а в кол-ве часов "собственно ручной или интеллектуальной деятельности" трудящихся... так как считается, что именно человек создаёт "добавочную стоимость", даже, и особенно, в наукоёмких областях (спасибо).

Попробую пояснить, почему принципиально отношение никак не изменится.

Без детализации смета любого (у них, и у нас) суперкомпьютерного проекта выглядит так:

Отношение $X к $Y у разных проектов принципиально не меняется, если речь не идет о тупой отверточной сборке по сравнению с разработкой (СКИФы – это всегда разработка).

И стоимость $s одного часа (это зарплата, оснастка рабочего времени, электроэнергия, разъезды) сравнимы у них и у нас – отличаются, может быть даже и в разы, но не на порядок.

Поэтому отношение людских ресурсов (человеко-часов) близки к отношениям бюджетов проектов.

palig №9: Недавно наша страна потратила около 44 млн. долларов на проведение Евровидения 2009. Если бы такую же сумму получила программа СКИФ-ГРИД на постройку нового российского суперкомпьютера, пусть даже и не на российских процессорах, какова бы была его пиковая производительность?

С 2000 по 2008 год на направление "СКИФ" Союзным государством было потрачено из бюджета 18 млн. долларов. За эти деньги было создано три ряда суперЭВМ, конструкторская документация, программное обеспечение и 18 опытных образцов. Пять из них входили в Top500 – обеспечили двенадцатикратное вхождение наших машин в разные редакции этого рейтинга. За всю историю страны только шесть собственных машин входили в Top500. Пять из них – СКИФы. Это отдача бюджетных 18 млн. рублей.

Если бы весной 2009 года нам бы дали 44 млн. долларов, к осени 2009 года была бы запущена СКИФ-Аврора примерно на 350 Tflops, а на Linpack-тесте мы получили бы около 300–310 Tflops, что обеспечило бы (по моей оценке) вхождение в осенний рейтинг 2009 года на позиции #10–#15, заведомо выше систем из Китая, Индии и Саудовской Аравии.

За полтора–два бюджета Евровидения "спели бы" заведомо на 3–5 место в осеннем рейтинге 2009 года.

palig №9: В одной из статей "СуперЭВМ Ряда 4 семейства СКИФ: штурм вершины суперкомпьютерных технологий" была дана перспектива развития суперЭВМ Ряда 4 семейства "СКИФ": планируемая достижимая максимальная пиковая производительность 0.5 Pflops к осени 2009 года, 1 Pflops к осени 2010 года, более 5 Pflops к весне 2012 года.

Всё верно, но немного неточно. В той статье (есть и расширенная статья) сказано о разработке к указанным срокам модулей, аппаратных и программных решений, технологий, позволяющих создавать указанные по мощности установки, в условиях разумных ограничений.

Но не было сказано, что уже выделены деньги и имеется заказ от государства (а это может быть только государство) на подобные машины.

Стоимость подобных установок (речь идет о суммах в десятки и даже 100–200 миллионов долларов, если ставить перед собою цель стать первыми в мире) не заложена в бюджете программы "СКИФ-ГРИД".

Но мы планируем в срок быть готовыми к исполнению такого заказа Родины (да и других заказчиков). Что и сказано в указанной статье и в планах программы "СКИФ-ГРИД" на 2009–2010 годы.

Еще надо пояснить фразу "в условиях разумных ограничений" – указанные выше установки должны быть способными создаваться:

palig №9: Как Вы считаете, к осени 2009 успеете?...

Мы уже успели – мы готовы.

На международной суперкомпьютерной выставке в Гамбурге (23–25 июня) нами демонстрировалось работающее решение СКИФ-Аврора, полностью удовлетворяющее выше перечисленным требованиям: 24 Tflops/шкаф, 0.25 Gflops/Ватт и т.д.

Тем самым, как и заявлялось, мы весной были готовы – были способны начать контракт (и к осени успешно его выполнить) на создание суперЭВМ в 500 Tflops (0.5 Pflops).

Пока подобного заказа не последовало. Но это не значит, что мы нарушили свои собственные планы разработки – мы идем строго по своему расписанию.

Наверное, надо немного рассказать подробнее о СКИФ-Авроре. В точности с данным ранее в статье описанием, базовым модулем установки является шасси размером 6U, в котором находятся:

Такая высокая плотность упаковки дает массу преимуществ: низкие задержки, повышенная надежность и т.п. Но и делает необходимым применять революционные (для установок на стандартных процессорах) подходы к охлаждению суперЭВМ: в СКИФ-Авроре все платы охлаждаются не воздухом, а водой!

Сегодня это единственное подобное решение (на базе стандартных процессоров) в отрасли, хотя многие компании работают в этом направлении.

Вот результат использования водяного охлаждения в СКИФ-Авроре: до 1,5 раз снижается расход электропитания на вычислитель и его систему охлаждения, из установки удаляются все механически подвижные части (вентиляторы и механические диски – элементы ненадежности!), установка становится абсолютно беззвучной, шасси не требуется продувать – его можно закрыть крышками с двух сторон. И в качестве таких крышек в СКИФ-Авроре используются сенсорные LCD-экраны: на них отображаются все технические параметры шасси и исполняемых в нем задач, а управление может быть выполнено кончиками пальцев оператора!

Так вот, ровно такое готовое шасси и демонстрировалось на выставке в Гамбурге. Оно все дни работы выставки надежно работало, охлаждалось водой. На нём считались реальные задачи. Это важно. На выставках такого уровня считаю допустимой демонстрацию только готовых работающих изделий. Презентацию массогабаритных неработающих образцов считаю "незачетом".

Рассказывая о СКИФ-Авроре, обязан подчеркнуть: достичь всех целей проекта (разработка решения с технологией N) в разумные сроки и с разумными ресурсами (люди, деньги) удалось за счет точного и удачного нахождения технологического партнера – европейской компании "Евротех". Удалось на базе паритетного кросс-лицензирования заключить соглашение, взаимовыгодное всем сторонам:

Тем самым, проведя инициативные работы, найдя серьёзного партнера и справедливо договорившись с ним на условиях кросс-лицензирования, удалось подготовить задел к началу второго этапа Союзной программы "СКИФ-ГРИД": реализовать платформу СКИФ-Аврора на самом современном уровне суперкомпьютерных технологий.

Отмечу, в наших договоренностях есть обязательство сторон во всех своих маркетинговых, рекламных и публичных материалах указывать на два факта:

Вот я и выполнил это обязательство ;-)

palig №9: А если успеете, можно ли это считать заметным достижением - на фоне конкурентов (опустил перечень из JUGENE, Roadrunner, Jaguar)

Так точно. В планы суперЭВМ ряда 4 семейства СКИФ (СКИФ-Аврора) входит разработка отечественных (отметил это выше) машин уровня №1..№10 в рейтинге Top500.

Как это выглядит на фоне конкурентов, показано в статье на Рисунке 3. Мне кажется, всё очень достойно выглядит.

Рустам Ханбеков №14: Почему разработанные серверные решения используют водяное охлаждение?

Для низкой задержки (короткие линии – маленькие задержки передачи сигналов) и из соображений надёжности (надо выкинуть кабели и разъёмы – побольше разместить на компактной печатной плате) все стараются повысить плотность упаковки электроники. Из-за этого растет плотность выделяемой тепловой энергии в скромном объёме. Ведь микросхемы механической работы не совершают. Поэтому, сколько электроэнергии они потребляют, столько тепла и выделяют.

Так вот, в небольшом объёме СКИФ-Авроры мы смогли поместить электроники в два раза больше, чем все другие разработчики. Здорово, задержки меньше, надежность выше.

Но это значит, что это туго набитый электроникой шкаф и потребляет в два раза больше и выделяет тепла в два раза больше, чем у других. Представьте себе шкаф (если не имели дела с монтажными шкафами, представьте обычный двухстворчатый мебельный шкаф). Вот в этом объёме выделяется около 100 КВатт тепла. Чем это можно охладить? Только водой!

Бояться этого не надо. Все разработчики к этому идут. Ничего страшного. Дело времени, и все будут охлаждаться жидкостью.

Наглядный пример: сколько Ваших знакомых недавно купили автомобиль? И сколько из них выбрали автомобиль с воздушным охлаждением мотора? А ведь такой выбор у них был – такие машины ещё есть в продаже. Ну, возможно, немножко подержанные...

Fyr №3: Эх... А возможны ли такие процессоры, которые могут до ~120 градусов C сохранять работоспособность? Так с охлаждением трудов не будет – залил водички в испаритель/радиатор и используешь компьютер по своим нуждам... Предел с 3.5 GHz на воздушном охлаждении можно преодолеть?

Водяное охлаждение уже реализовано. И оно эффективно охлаждает самые горячие "камни", позволяет держать их температуру далеко-далеко от 120 градусов. С таким охлаждением перегретые процессоры не нужны.

И второй вопрос: предел использования воздушного охлаждения связан не с частотой процессора, а с плотностью тепловыделения на единицу объёма.

palig №9: Ведущие суперкомпьютерные державы уже анонсировали свои планы по отрыву от основного конкурента - Китая ...опустил планы компания NEC ... IBM ... Sequoia ... 10–20 Pflops к 2010 году... Как вы считаете, если полностью китайский процессор Godson 3 появится не позднее 2010 г. сможет ли Китай на равных войти в клуб суперкомпьютерных держав, и не проиграть в технологической гонке, как проиграли мы, фактически отказавшись от разработки своего современного процессора?

Считаю:

Подчеркнем маленькую, но принципиальную деталь в постановке Вами вопроса – "...Ведущие суперкомпьютерные державы уже анонсировали свои планы...". Верно! Упомянутые Вами планы построения транспетафлопсных систем, это вовсе не планы компаний (NEC, IBM) и, тем более, не планы научных и образовательных заведений. Компании не настолько безумны, чтобы самостоятельно тратить деньги на рискованные R&D-игры в суперкомпьютерной отрасли, а институты и университеты (даже японские), возможно, и достаточно "безумны", но не настолько богаты.

Все планы из зоны Top10, и большинство планов из области Top100 – это планы государств, государственных структур (NASA, DoE, DoD) и межгосударственных объединений.

Вторая часть ответов Сергея Абрамова на ваши вопросы будет опубликована в среду, 8 июля.