"УТВЕРЖДАЮ" Директор Института программных систем РАН, научный руководитель Программы "СКИФ" от РФ ____________________ А.К. Айламазян "_____" _________ 2002 г.

СПРАВКА-ОТЧЕТ
о выполнении работ за 4 квартал 2001 года
по договору ? 2001-42/1 от 17 июля 2001 года
по программе Союзного государства

"Разработка и освоение в серийном производстве семейства
высокопроизводительных вычислительных систем с параллельной
архитектурой (суперкомпьютеров) и создание прикладных программно-
аппаратных комплексов на их основе"  (шифр "СКИФ")


Переславль-Залесский, 2002 г.



ОГЛАВЛЕНИЕ

1 ОСНОВАНИЕ ДЛЯ ВЫПОЛНЕНИЯ РАБОТ
2 РЕЗУЛЬТАТЫ РАБОТ ЗА IV КВАРТАЛ 2001 ГОДА ПО ЗАДАНИЯМ 1, 2, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 17, 18, 19, 20, 21 ПРОГРАММЫ
"СКИФ"
2.1 Задание 1
2.2 Задание 2
2.3 Задание 4.
2.4 Задание 5
2.5 Задание 6
2.6 Задание 7
2.7 Задание 8
2.8 Задание 9.
2.9 Задание 10.
2.10 Задание 11
2.11 Задание 12.
2.12 Задание 13
2.13 Задание 17.
2.14 Задание 18
2.15 Задание 19
2.16 Задание 20
2.17 Задание 21
3 ЗАКЛЮЧЕНИЕ

1 ОСНОВАНИЕ ДЛЯ ВЫПОЛНЕНИЯ РАБОТ

1.1. В соответствии с календарным планом проведения работ по договору ? 2001-42/1 от 17 июля 2001 года Институт программных систем РАН выполнял в 4 квартале 2001 года работы по следующим заданиям Программы "СКИФ":
· задание 1 "Разработать и освоить в серийном производстве СБИС процессорных элементов для моделей первого ряда семейства суперкомпьютеров". Соисполнитель - Предприятие "Суперкомпьютерные системы" (Предприятие "СКС");
· задание 2 "Разработать и освоить в производстве базовые конструктивные модули первого ряда семейства суперкомпьютеров". Соисполнитель - Предприятие "СКС";
· задание 4 "Разработать и освоить в производстве отечественные программно-аппаратные средства гигабитного комплексирования кластерного уровня семейства гибридных суперкомпьютеров" Соисполнители - ОАО "Научно-исследовательский центр электронно-вычислительной техники" (ОАО "НИЦЭВТ"), Центр телекоммуникаций и технологий Интернет Московского государственного университета им. М.В. Ломоносова (ЦТТИ МГУ);
· задание 5 "Разработать и освоить в производстве программно-аппаратные средства комплексирования кластерного уровня иОВС семейства гибридных суперкомпьютеров". Соисполнители - Предприятие "СКС", ЦТТИ МГУ;
· задание 6 "Разработать системное программное обеспечение кластерного уровня гибридного суперкомпьютера". Соисполнители - ЦТТИ МГУ, ОАО "НИЦЭВТ";
· задание 7 "Разработать системное программное обеспечение уровня ОВС гибридного суперкомпьютера". Соисполнитель - Предприятие "СКС";
· задание 8 "Разработать языковые средства для кластерного уровня гибридного суперкомпьютера". Соисполнитель - ЦТТИ МГУ;
· задание 9 "Разработать языковые средства для уровня ОВС гибридного суперкомпьютера". Соисполнитель - Предприятие "СКС";
· задание 10 "Разработать программные средства комплексирования кластерного уровня и ОВС гибридного суперкомпьютера".Соисполнители - Предприятие "СКС", ЦТТИ МГУ;
· задание 11 "Разработать и освоить в производстве перспективные модели семейства суперкомпьютеров на новой элементной базе". Соисполнители - ОАО "НИЦЭВТ", Предприятие "СКС", ЦТТИ МГУ;
· задание 12 "Организовать и осуществить подготовку и переподготовку кадров и обеспечить оперативное сопровождение использования новых информационных технологий на базе суперкомпьютеров". Соисполнители -Предприятие "СКС", ЦТТИ МГУ, Институт высокопроизводительных вычислений и баз данных С.-Петербургского государственного технического университета Минобразования России (ИВВиБД СПбГТУ);
· задание 13 "Разработать и подготовить к внедрению систему для обработки радиолокационных и оптических сигналов с использованием вычислительных модулей ОВС". Соисполнитель - Предприятие "СКС";
· задание 17 "Разработать и реализовать программно-технические решения с использованием суперкомпьютеров и создать на их основе телекоммуникационную сеть, объединяющую участников совместной Программы Беларуси и России, с выделенным высокоскоростным каналом связи". Соисполнитель - Российский научно-исследовательский институт региональных проблем Министерства образования Российской Федерации (РосНИИ РП);
· задание 18 "Разработать и внедрить систему для моделирования широкополосных пространственно-временных радиолокационных сигналов с использованием вычислительных модулей ОВС". Соисполнители - Предприятие "СКС";
· задание 19 "Разработать и внедрить программно-аппаратный комплекс для расчета элементарных процессов газодинамики и получения коэффициентов, замыкающих соотношений для уравнений газодинамики". Соисполнитель - ИВВиБД СПбГТУ;
· задание 20 "Создать инструментальные средства проектирования интеллектуальных систем на базе суперкомпьютера и разработать на их основе универсальную моделирующую среду";
· задание 21 "Обеспечить научно-техническое и организационное сопровождение выполнения совместной программы".

1.2. Со всеми соисполнителями Институт программных систем РАН заключил договора:
· с ОАО "НИЦЭВТ" - договор ? СКИФ-7 от 13 августа 2001 года;
· с ЦТТИ МГУ - договор ? СКИФ-8 от 13 августа 2001 года;
· с Предприятием "СКС" - договор ? СКИФ-5 от 20 августа 2001 года;
· с ИВВиБД СПбГТУ - договор ? СКИФ-10 от 28 августа 2001 года;
· с РосНИИ РП - договор ? СКИФ-9 от 13 августа 2001 года.

1.3. Все соисполнители представили в Институт программных систем РАН Справки-отчеты о выполнении работ за 4 квартал 2001 года с отчетными материалами в соответствии с календарными планами работ по своим договорам с исполнителем Программы "СКИФ" от Российской Федерации. Справки-отчеты утверждены руководителями предприятий-соисполнителей.

2 РЕЗУЛЬТАТЫ РАБОТ IV КВАРТАЛ 2001 ГОДА ПО ЗАДАНИЯМ 1, 2,
4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 17, 18, 19, 20, 21 ПРОГРАММЫ "СКИФ"

Результаты работ приведены с учетом отчетных материалов предприятий-соисполнителей.

2.1 Задание 1
этап 1.1. "Адаптация тестов, разработанных для VHDL-модели СБИС, для проверки СБИС"
Соисполнитель - Предприятие "СКС".
Календарным планом проведения работ по договору ? 2001-42/1 от 17 июля 2001 года по заданию 1 в 4 квартале 2001 года предусмотрено проведение следующей работы:
· отладка тестов, разработанных для VHDL-модели СБИС;
· сопровождение изготовления опытных образцов СБИС, участие в проведении испытаний.

Отчетные материалы по этой работе - отчет, комплект программной документации (ПД), включая исходные тексты программ, листы согласования комплекта конструкторской документации (КД) на СБИС.

Для выполнения договорных обязательств в 4 квартале 2001 года по заданию 1 были выполнены следующие работы:

1. Разработаны методы тестирования СБИС однородной вычислительной среды (ОВС) в соответствии с особенностями аппаратуры тестирования. Особенности аппаратуры тестирования определяют формат и размер тестов. В Приложении 1 (документ:  Методика тестирования СБИС "МиниТера2М") рассматривается состав тестов, их содержание и методы генерации. Описаны и приведены исходные тексты разработанных средств автоматизации процесса генерации тестов, которые в общем случае могут быть применимы не только для тестируемой СБИС, но и для матрицы процессорных элементов любой конфигурации.

2. Проведена доработка и отладка тестов, разработанных для VHDL-модели СБИС. Разработаны средства автоматизации генерации тестов для СБИС, которые предназначены для создания тестов на основе разработанных ранее для VHDL-модели процессорного элемента. Это утилиты, входящие в состав интегрированной среды разработчика, и внешняя программа объединения отдельных тестов в один общий файл.

3. Проводилось моделирование работы СБИС ОВС с использованием FPGA Xilinx. VHDL-модель процессорного элемента ОВС, разработанная предприятием "Белмикросистемы", была оптимизирована под элементный базис FPGA Xilinx. В результате проведенной работы удалось увеличить число процессорных элементов, реализуемых на FPGA Xilinx Spartan-II XC2S-200, в 1,5 раза. Результаты приведены в отчете "Анализ и доработка VHDL-модели процессорного элемента ОВС для FPGA Xilinx" (Приложение 1). Были разработаны средства автоматизации генерации тестов для FPGA Xilinx, которые предназначены для создания пакетов тестов на основе ранее разработанной системы тестов для VHDL-модели процессорного элемента. Результаты описаны в рабочих материалах <Тесты СБИС "Минитера2М-Xilinx"> (Приложение 1). Разработана программа прошивки FPGA Xilinx Spartan-II XC2S-200 в соответствии со структурой СБИС ОВС и VHDL-моделью процессорного элемента ОВС для того, чтобы эмулировать матрицу ОВС, используя плату с матрицей FPGA Xilinx - Setmatrix S2-200-24.

Исходные тексты программ находятся у Исполнителя от Российской Федерации.

2.2 Задание 2
этап 2.1. "Разработка и изготовление устройства управления экспериментального БВМ ОВС с использованием FPGA";
этап 2.2. "Разработка и изготовление экспериментальной матрицы ОВС с использованием FPGA";
этап 2.3. "Разработка системного ПО для устройства управления модуля ОВС"
Соисполнитель - Предприятие "СКС".

Календарным планом проведения работ по договору ? 2001-42/1 от 17 июля 2001 года по заданию 2 в 4 квартале 2001 года предусмотрено проведение следующей работы:

· разработка и изготовление устройства управления экспериментального базового вычислительного модуля однородной вычислительной среды (БВМ ОВС) с использованием FPGA;
· разработка и изготовление экспериментальной матрицы ОВС с использованием FPGA;
· кодирование системного ПО для устройства управления модуля ОВС;
· отладка системного ПО для устройства управления модуля ОВС.

Отчетные материалы по этим работам:
- отчет, устройства управления ОВС, РКД, результаты функциональных испытаний устройства управления ОВС;
- матрица ОВС, РКД, результаты функциональных испытаний матрицы ОВС;
- комплект рабочей ПД, включая исходные тексты программ.

Для выполнения договорных обязательств в 4 квартале 2001 года по заданию 2 были выполнены следующие работы:
1. Принято решение разработать экспериментальные образцы БВМ ОВС на основе FPGA Xilinx. Это дало возможность отрабатывать основные аппаратные и программные решения по БВМ ОВС и по стыковке КУ и БВМ ОВС. Разработано функциональное описание устройства управления БВМ ОВС, которое приведено в документе "Описание модуля БВМ ОВС" (Приложение 1). Описано устройство модуля, основные компоненты которого включают управляющий процессор с шиной PCI, память, устройство управления, матрицу процессорных элементов. Приведены взаимосвязи между компонентами и режимы работы модуля, а также основные характеристики компонент. Для конфигурационных регистров приведена структура хранимой в них информации. Приведено описание контроллера шины PCI, реализованного в устройстве управления БВМ ОВС, и функций драйвера. В Приложении 1 более подробно описаны некоторые аспекты реализации экспериментального образца БВМ ОВС на FPGA Xilinx:
· Интегрированный контроллер PCI интерфейса на FPGA Xilinx. Ядро PCI Slave 33/32. Техническое описание.
· Комплект драйверов для инструментальных модулей семейства XDSP PCI Slave 33/32. ОС Linux. Руководство пользователя.
· Комплект драйверов для инструментальных модулей семейства XDSP PCI Slave 33/32. ОС Windows. Руководство пользователя.
· Описание микросхем памяти.

2. Разработана принципиальная схема платы управления БВМ ОВС и изготовлен экспериментальный образец платы. Разработана программа прошивки FPGA Xilinx Virtex E-400-7 (Приложение 1).

3. Разработана функциональная схема матрицы ОВС с использованием FPGA Xilinx, которая подробно описана в документе "Описание модуля БВМ ОВС" (Приложение 1). Также разработана принципиальная схема платы Setmatrix-S2-200-24, реализующей часть матрицы ОВС, и изготовлены четыре такие платы.

4. Разработан проект системного программного обеспечения для устройства управления БВМ ОВС. Системное программное обеспечение (ПО) устройства управления модулем ОВС состоит из ядра операционной системы, поддерживающего функционирование элементов системы, драйвера устройства управления модулем ОВС и менеджера ресурсов БВМ ОВС. Совместное функционирование программных компонентов обеспечивается выполнением протоколов взаимодействия компонент ядра операционной системы. Драйвер устройства управления реализует непосредственное управление контроллером модуля ОВС со стороны программного обеспечения. Драйвер поддерживает скоростную передачу данных в матрицу ОВС и обратно, работу с локальными банками памяти контроллера. Также возможна обработка аппаратных прерываний со стороны модуля ОВС. Менеджер ресурсов модуля ОВС обеспечивает процессы ядра кластерного уровня информацией о внутренних параметрах устройства управления и модуля ОВС. Он также проводит начальную инициализацию и тестирование оборудования модуля ОВС. 

Комплект рабочей ПД, включая исходные тексты программ, находится у Исполнителя от Российской Федерации.

2.3 Задание 4
этап 4.1. "Анализ существующих предложений по устройству современных средств гигабитного комплексирования и выработка рекомендаций для разработчиков аппаратуры";
этап 4.2. "Разработка рабочей конструкторской документации (РКД) для изготовления опытных образцов адаптеров интерфейса высокоскоростных сетей (АИ ВС) суперкомпьютерных систем кластерного уровня. Разработка и создание производственной базы для изготовления АИ ВС и разработка контрольно-измерительной базы для тестирования АИ ВС и суперкомпьютерных систем кластерного уровня в целом" 
Соисполнители - ЦТТИ МГУ, ОАО "НИЦЭВТ".

Календарным планом проведения работ по договору ? 2001-42/1 от 17 июля 2001 года по заданию 4 в 4 квартале 2001 года предусмотрено проведение следующей работы:
· проведение анализа существующих предложений по устройству современных средств гигабитного комплексирования;
· разработка рабочей КД для изготовления образцов АИ ВС. Разработка контрольно-измерительной базы. Создание, освоение и испытание производственной базы для изготовления АИ ВС.
Отчетные материалы по этим работам - справка-отчет о выполнении объема работ, комплекты РКД на АИ ВС.

Для выполнения договорных обязательств в 4 квартале 2001 года по заданию 4 были выполнены следующие работы:

1. Рассмотрены существующие предложения по устройству гигабитных сетей для кластеров. Несмотря на то, что сейчас известно достаточно большое количество различных стандартов для объединения машин в системную сеть, существующие на сегодняшний день решения, принятые для гигабитного комплексирования кластеров "СКИФ", продолжают эффективно развиваться силами фирм Dolphin и Scali. Результаты позволяют надеяться, что эти решения будут конкурентоспособны в ближайшие годы с такими разработками как Myrinet 2000 и другими аналогичными продуктами. В частности, на сайтах указанных фирм представлен продукт WulfKit3D, который позволяет связать достаточно большое количество компьютеров (несколько тысяч) в единую вычислительную сильно связанную структуру. В отличие от двумерных торов топология трехмерного тора позволяет существенно увеличить общую совокупную производительность систем. Кроме этого, этими же фирмами разрабатываются в настоящее время высокоскоростные коммутаторы, использование которых позволит объединять несколько торов между собой и таким образом также увеличивать совокупную производительность систем.

2. Разработана рабочая конструкторская документация (РКД) для изготовления опытных образцов адаптера интерфейса высокоскоростных сетей суперкомпьютерных систем кластерного уровня, удовлетворяющего следующим требованиям:
· совместимость с интерфейсом РСI 2.2, 64 бит/66 МГц;
· пиковая пропускная способность по интерфейсу РС1 - до 528 МБ/с;
· совместимость с масштабируемым связным интерфейсом SСI (АNSI/IЕЕЕ 1596);
· количество двунаправленных линков SСI - 2;
· пиковая пропускная способность по каждому двунаправленному линку SСI - до 1334 МБ/с;
· латентность между адаптерами интерфейса, от приложения к приложению - около 2 мкс;
· обмен информацией по экранированному кабелю из витых медных пар - до 5 метров;
· потребляемая мощность - около 8 Ватт;
· программирование и тестирование по цепям JTAG.

3. Разработана принципиальная электрическая схема и перечень элементов адаптера интерфейса:
· ПИРШ.469535.031 ЭЗ (основная плата);
· ПИРШ.469535.031 (спецификация на основную плату);
· ПИРШ.469535.032 ЭЗ (дочерняя плата);
· ПИРШ.469535.032 (спецификация на дочернюю плату).

4. Разработано техническое задание на конструирование адаптера интерфейса.

5. Разработано техническое задание на конструирование печатных плат основной и дочерней плат адаптера интерфейса.

6. Разработан комплект эскизной КД для изготовления печатных плат адаптера интерфейса:
· ПИРШ.687263.018;
· ПИРШ.687263.019.

7. Разработан комплект эскизной КД для изготовления адаптера интерфейса:
· ПИРШ.745346.022-01, ПИРШ.745346.022-02 (угольники);
· ПИРШ.469535.031 СБ.

8. Проведена технологическая обработка технических решений, реализованных в эскизных КД печатных плат и адаптера интерфейса в целом.

9. Разработан перечень контрольно-измерительных средств для тестирования адаптеров.

10. Подготовлена производственная база для изготовления адаптеров (перечень оборудования, необходимого для изготовления адаптера).

11. В дополнение к техническому заданию для проверки готовности производства изготовлена многослойная печатная плата ПИРШ.687263.018.

Более подробно результаты работ по мероприятию 4 изложены в отчете (Приложение 4). Комплект рабочей КД для изготовления образцов АИ ВС находится в ОАО "НИЦЭВТ" (копия акта передачи РКД в архив на хранение прилагается - Приложение 4).

2.4 Задание 5
этап 5.2. "Разработка и реализация экспериментального образца для отладки средства комплексирования кластерного уровня и ОВС семейства гибридных суперкомпьютеров";
этап 5.3. "Реализация программного интерфейса к драйверу интерфейсной аппаратной компоненты (PCI-платы) модуля ОВС в ядре Т-системы. Реализация программных примитивов (библиотеки нижнего уровня) для взаимодействия к модулю ОВС".
Соисполнители - ЦТТИ МГУ, Предприятие "СКС".

Календарным планом проведения работ по договору ? 2001-42/1 от 17 июля 2001 года по заданию 5 в 4 квартале 2001 года предусмотрено проведение следующей работы:
· сборка и отладка экспериментального образца для отладки средства комплексирования кластерного уровня и ОВС семейства гибридных суперкомпьютеров;
· реализация программного интерфейса к драйверу PCI-платы модуля ОВС;
· реализация библиотеки нижнего уровня для взаимодействия с модулем ОВС.
Отчетные материалы по этим работам - отчет, экспериментальный образец, комплект рабочей КД, комплект рабочей ПД на библиотеку поддержки взаимодействия кластерного уровня (КУ) и ОВС.

Для выполнения договорных обязательств в 4 квартале 2001 года по заданию 5 были выполнены следующие работы:
1. Разработана эскизная документация аппаратных средств комплексирования КУ и БВМ ОВС. Основной идеей комплексирования является то, что БВМ ОВС включают в свой состав управляющий процессор. В свою очередь управляющий процессор по составу аппаратуры является не чем иным, как обычным узлом кластерного уровня и может заниматься управляющими процессами с БВМ ОВС или с узлами кластерного уровня обычными средствами вспомогательной сети кластерного уровня или системной сети кластерного уровня. Для проведения опытных работ по совместной работе КУ и БВМ ОВС были разработаны эскизные схемы экспериментального модуля БВМ ОВС, состоящего из управляющего процессора, устройства управления, памяти и матрицы процессорных элементов   Устройство управления и память реализованы на плате X-DSP-3MPB1, а матрица процессорных элементов на четырех платах Setmatrix S2-200-24. Экспериментальный модуль размещен в корпусе сервера, который имеет дополнительную пассивную плату расширения шины PCI, что позволило поставить платы контроллеров Ethernet и SCI, одну плату X-DSP-3MPB1 и четыре платы Setmatrix S2-200-24. 2. Совместно с фирмой Scan Engineering были проведены работы по проектированию, закупке комплектующих и изготовлению для экспериментального образца плат на основе FPGA XILINX в составе:

· одна плата XDSP-3MPB1; контракт 2/1-08 от 01.08.2001;
· четыре платы Setmatrix S2-200-24; контракт 1/1-08 от 01.08.2001.
3. Кроме того, были закуплены комплектующие и собрана стойка, содержащая:
· кластерный узел, собранный в промышленном корпусе типа 4U

В состав кластерного узла входит двухпроцессорная материнская плата SUPER P3TDLE с процессорами PIII-866, сетевые карты Ethernet и SCI Dolphin-320/64.
· модуль БВМ ОВС, собранный в промышленном корпусе типа 6U

В состав модуля входит пассивная объединительная плата PX-20S с 20 PCI разъемами, материнская плата PEAK 632A с процессором PIII-850, сетевые карты Ethernet и SCI Dolphin-320/64.

4. Разработана схема соединения плат Setmatrix-S2-200-24 между собой для организации матрицы ОВС и с платой управления XDSP-3MPB1 для организации модуля БВМ ОВС.

5. Разработаны монтажные схемы и сборочные чертежи для сборки экспериментального образца БВМ ОВС.

6. Кластерный узел и модуль ОВС соединены между собой LAN Ethernet и кольцом SCI.

7. Разработана общая архитектура взаимодействия между программным обеспечением кластерного уровня (ядро Т-системы) и программным обеспечением однородной вычислительной среды.

После согласования архитектура имеет следующий вид: ключевым является понятие метапроцесса, который обозначает некую совокупность согласовано исполняющихся процессов на каждом участвующем в метапроцессе вычислительном узле. На каждом вычислительном узле, где исполняется метапроцесс, однородная вычислительная среда в соответствии со своей потоковой схемой обработки данных обрабатывает порции данных, которые при помощи высокоуровневых примитивов ядра Т-системы доставляются с того узла, где возник данный метапроцесс. Взаимодействие с драйвером ОВС производится из метапроцесса путем вызова соответствующих функций библиотеки взаимодействия с модулем ОВС, а Т-система вызывает соответствующие функции библиотеки взаимодействия с метапроцессом для того, чтобы выполнять свои высокоуровневые функции. Функциями Т-системы здесь являются: 
· информирование менеджеров ресурсов о свободных на данный момент ресурсах спецвычислителей (ОВС);
· динамический захват свободных узлов с ОВС для исполнения метапроцесса;
· инициализация исполнения метапроцесса и двухсторонний обмен данных с участвующими в метапроцессе процессами, которые собственно и обращаются к драйверу однородной вычислительной среды.

Отчетные материалы по заданию 5 приведены в Приложении 1, исходные тексты программ находятся у Исполнителя от Российской Федерации.

2.5 Задание 6
этап 6.1. "Разработка программной документации (ПД) системного программного обеспечения КУ гибридного суперкомпьютера в соответствии с "Перечнем программной документации (ПД) программного обеспечения кластерного уровня (от 10.11.2000)"  Соисполнители - ЦТТИ МГУ, ОАО "НИЦЭВТ".

Календарным планом проведения работ по договору ? 2001-42/1 от 17 июля 2001 года по заданию 6 в 4 квартале 2001 года предусмотрено проведение следующей работы:
· разработка дистрибутива ОС Linux, адаптированного для работы на кластере;
· адаптация свободно распространяемой параллельной файловой системы для работы через сеть SCI;
· разработка автоматизированных средств инсталляции дистрибутива программного обеспечения кластерного уровня (ПО КУ);
· разработка базовых средств администрирования для гибридного суперкомпьютера;
· разработка и отладка компонентов программного обеспечения системной сети кластерного уровня гибридного

суперкомпьютера: драйвер сети SCI; программный интерфейс нижнего уровня (SISCI); библиотека MPI; тесты для драйверов SCI, SISCI, MPI;
· разработка комплекта документации.
Отчетные материалы по этим работам - отчет, комплекты ПД, включая исходные тексты программ.

Для выполнения договорных обязательств в 4 квартале 2001 года по заданию 6 были выполнены следующие работы:
1. Базовый дистрибутив операционной системы Linux доработан с точки зрения безопасности. Подсистема аутентификации существенно усовершенствована по сравнению со стандартными используемыми в настоящий момент базовыми средствами обеспечения безопасности ОС Linux. Разработаны два дистрибутива:
· для инсталляции на управляющей станции кластера;
· для инсталляции на вычислительных узлах кластера.

Разработаны инсталляторы ПО как для управляющей станции, так и для узлов кластера. Инсталляторы позволяют легко и оперативно установить программное обеспечение на аппаратуру с различными характеристиками, ориентированную на семейство вычислительных суперкомпьютеров "СКИФ". Из существующего в свободном доступе программного обеспечения выбрана коллекция пакетов, предназначенных для различного рода высокопроизводительных параллельных вычислений.

Из работ по адаптации параллельных вычислительных библиотек следует отметить обширную коллекцию параллельных вычислительных библиотек для обработки и расчетов задач линейной алгебры. Имеется пять разных пакетов, которые позволяют статически распараллеливать работу по операциям с матрицами. Для организации параллельного ввода-вывода в кластере для работы на MPI адаптирована параллельная файловая система PVFS. Существенным результатом является то, что к существующему свободно распространяемому коду параллельной файловой системы добавлен разработанный MPI-proxy, который позволяет использовать высокоскоростные коммуникации SCI для организации обмена данными вместо низкоскоростного протокола TCP/IP.

Языковые средства, которые были отобраны из разряда свободно распространяемых, включают в себя реализации HP-Fortran. Некоторые из языков базируются на объектно-ориентированной технологии. Из средств отладки имеются свободные программные средства, которые работают на SCI-кластере и помогают отлаживать произвольные MPI-приложения. 

Из тестов на производительность были адаптированы тесты для масштабированных библиотек по линейной алгебре scalapack и параллельные тесты NPB. Реализован ряд демонстрационных примеров, в частности, динамическое сжатие в формат MPEG, параллельная трассировка лучей MPI POVRAY и другие.

2. Существенно доработан коммуникационный уровень, отвечающий за обмен данными, с целью получить значительное ускорение при использовании высокоскоростной сети SCI вместо низкоскоростной сети TCP/IP Еthernet. Основная идея доработки заключалась в следующем: на уровне использования сетевых соединений изменений не было, но создание сетевого соединения через сеть TCP/IP подменяется локальным соединением к MPI-процессу, который пересылает все данные через сеть SCI. Такое решение позволяет минимальными усилиями, сохраняя без изменений наиболее существенную часть кода PVFS, получить весьма существенное ускорение при массированных обменах данными.

Доработанный программный пакет поставляется в виде собственно параллельной файловой системы и дополнительного пакета,
именуемого MPI-PROXY, который и осуществляет высокоскоростной обмен в рамках сети SCI.

3. Произведена адаптация инсталлятора для ОС Linux с целью автоматизировать действия оператора при установке операционной системы на большое количество узлов кластера. Основной результат: инсталляция программного обеспечения на управляющую станцию выполняется с CD-ROM, на котором записан дистрибутив ПО, а затем производится установка программного обеспечения на узлы кластера путем их загрузки с дискеты. В момент загрузки с дискеты происходит автоматическое распознавание аппаратуры имеющейся на вычислительном узле, автоматическое разбиение винчестера на разделы, форматирование и быстрая установка базового программного обеспечения с управляющей станции. Этот процесс может происходить параллельно на нескольких узлах и позволяет проинсталлировать вычислительный узел в течение 2-3 минут.

4. Создан набор средств, позволяющих автоматизировать администрирование управляющей станции и узлов кластера. Подсистема управления доступом позволяет согласованно регистрировать новых пользователей и удалять тех или иных пользователей, как с узлов кластера, так и с управляющей станции. При этом не требуется ручного повтора одних и тех же операций для каждого узла кластера. Базовые средства для удаленного доступа к кластеру были существенно доработаны в плане повышения безопасности. Для пакетной обработки заданий была выбрана и адаптирована для работы на кластерах семейства "СКИФ" очередь обработки заданий OpenPBS.

5. Разработана документация по системам администрирования и мониторинга, а именно: для каждого программного средства, входящего в систему администрирования, имеется руководство по его использованию. Для системы мониторинга кластера Flame разработана документация, включающая руководство оператора, руководство программиста и руководство системного программиста. Имеется необходимая документация для инсталлятора дистрибутива образа управляющей станции кластера, а также образа узла кластера. Для пакетов, отобранных из свободно распространяемых программных средств для параллельного программирования, имеются русскоязычные описания для их запуска, а также оригинальная документация на английском языке для более детального ознакомления.

6. Проведены предварительные испытания разработанного программного обеспечения в УП "НИИЭВМ" (г. Минск). Протокол испытаний представлен в Приложении 3г.

7. Завершена комплексная отладка компонентов системного программного обеспечения кластерного уровня гибридного суперкомпьютера, включая драйвер сети SCI, программный интерфейс нижнего уровня (SISCI), библиотеку МРI, тесты для SISCI и МРI. Комплексная отладка проводилась на макете 16-узлового кластера с топологией сети SCI типа коммутируемые кольца, построенного на новом поколении технических средств SCI, реализующих скорость передачи в сети - 667 Мбайт/сек: адаптеры D330 для РСI-64, 66 Мгц и 8-портовый коммутатор D535. Разработанные компоненты прошли испытания в рамках испытаний СВК ЕС-1720 6-8 декабря 2001 года (председатель комиссии - академик Бурцев В.С.).

8. Разработаны следующие компоненты системного программного обеспечения:
· программные средства обеспечения сети SCI, включая:
- драйвер IRM (Interconnect Resource Manager);
- программный интерфейс SCI нижнего уровня (SISCI);
- средства управления конфигурацией;
- средства диагностики;
- тестовые средства нижнего уровня (SISCI);
· библиотека интерфейса передачи сообщений МРI, включая:
- SCI-МРIСН;
- МРI;
- пакет тестов МРI - ПТ-МРI.

9. Программная документация на разработанные компоненты системного программного обеспечения включает:
· функциональные спецификации программного интерфейса SCI нижнего уровня (SISCI);
· управление конфигурацией сети SCI - SCICONFIG;
· средство диагностики сети SCI - SCIDIAG;
· тесты программного интерфейса SCI нижнего уровня (SISCI);
· МРI. Стандарт интерфейса передачи сообщений;
· SCI-МРIСН. Библиотека интерфейса передачи сообщений МРI;
· программа визуализации МРI-программ Jumpshot;
· пакет тестов МРI (ПК-МРI).

Программные документы разработаны в формате НТМL и предназначены для использования в диалоговом режиме. Разработанные компоненты системного программного обеспечения и программная документация на компакт-диске в соответствии с документом "Состав компонентов системного программного обеспечения кластерного уровня гибридного суперкомпьютера" (Приложения 3б) находятся у Исполнителя от Российской Федерации.

Кроме того, отчетные материалы по заданию 6 приведены в Приложениях 3а-3г, исходные тексты программ находятся у Исполнителя от Российской Федерации.

2.6 Задание 7
этап 7.1. "Разработка программных средств управления задачами модуля ОВС";
этап 7.2. "Разработка программных средств взаимодействия модулей ОВС";
этап 7.3. "Разработка тестов устройства управления модуля ОВС";
этап 7.4. "Разработка тестов модуля ОВС"

Соисполнитель - Предприятие "СКС".
Календарным планом проведения работ по договору ? 2001-42/1 от 17 июля 2001 года по заданию 7 в 4 квартале 2001 года
предусмотрено проведение следующей работы:
· реализация и отладка программных средств управления задачами модуля ОВС;
· реализация и отладка программных средств взаимодействия модулей ОВС;
· реализация и отладка тестов устройства управления модуля ОВС;
· реализация и отладка тестов модуля ОВС.
Отчетные материалы по этим работам - отчет, комплект рабочей ПД.

Для выполнения договорных обязательств в 4 квартале 2001 года по заданию 7 были выполнены следующие работы:

1. Разработан проект программных средств управления задачами модуля ОВС. Программные средства управления задачами модуля БВМ ОВС включают в себя библиотеку API модуля БВМ ОВС. Функции API обеспечивают полное управление и контроль задач, решаемых на модуле БВМ ОВС. Библиотека включает в себя следующие группы функций:
· функции загрузки программ на модуль БВМ ОВС - программируют модуль БВМ ОВС для выполнения задачи;
· функции выгрузки программ с модуля БВМ ОВС - считывают программу из модуля БВМ ОВС;
· функции конфигурирования как модуля БВМ ОВС, так и платы управления модулем БВМ ОВС - устанавливают режимы работы аппаратного обеспечения, необходимые для выполнения конкретной задачи на модуле;
· функции обработки аппаратных прерываний от модуля БВМ ОВС;
· функции управления - запускают, приостанавливают или сбрасывают выполнение задачи на модуле БВМ ОВС, управляют логикой работы устройств контроллера модуля (банков памяти, процессора памяти);
· функции загрузки и выгрузки данных, обрабатываемых задачей на модуле БВМ ОВС.

Подробно результаты описаны в документах "Проект программного обеспечения БВМ ОВС", "Диспетчер процессов БВМ ОВС"
(Приложение 1).
2. Проведена разработка проекта программных средств взаимодействия модулей БВМ ОВС между собой и с кластерным уровнем. С целью увеличения производительности БВМ ОВС могут объединяться в кластер БВМ ОВС. Объединение происходит с помощью аппаратной реализации синхронных каналов. Эти каналы передают информацию от матрицы к матрице синхронно с тактовой частотой работы матриц процессорных элементов. Обслуживание БВМ ОВС в кластере БВМ ОВС происходит с помощью функций ядра кластерного уровня. Ядро Т-системы производит запуск вычислительных процессов на каждом узле кластера БВМ ОВС, в процессе запуска назначается головной процесс, синхронизирующий работу всех остальных. Головной процесс отвечает за синхронный запуск вычислительной задачи на всех БВМ ОВС, объединенных синхронными каналами, доставку данных каждому БВМ ОВС. По завершении вычислений головной процесс проводит сборку результатов счета и отправляет данные источнику запроса. В связи с отсутствием на данном этапе кластера БВМ ОВС и аппаратной реализации синхронных каналов, взаимодействие модулей ОВС происходит с помощью Т-системы. При возникновении в Т-системе задачи, требующей для своего выполнения ресурсов БВМ ОВС, Т-система запускает задачу на узле кластера, на котором установлен БВМ ОВС. Далее модуль БВМ ОВС может либо обработать весь поток входных данных один или, при наличии в кластере свободного ресурса БВМ ОВС, разбить задачу на части и выполнить их на различных БВМ ОВС. Для этого модуль средствами Т-системы запускает копию процесса на другом модуле, средствами Т-системы "разрезает" данные и передает их другому модулю, а по окончании счета производит сборку результата и возвращает данные запустившему счет процессу.  Подробно результаты описаны в документах: "Проект программного обеспечения БВМ ОВС", "Программные средства взаимодействия БВМ ОВС и КУ гибридной системы" (Приложение 1).

3. Разработана методика и основные подходы тестирования модуля реконфигурируемых вычислительных машин (РВМ). В ходе разработки получены тесты контроллера матрицы, собственно матрицы и их взаимодействия. Тесты направлены на выявление аппаратных неисправностей в системе с максимально возможной их локализацией. Тестирование контроллера матрицы позволяет определить наличие модуля в системе, проверить работу контроллера шины PCI, банков памяти и регистров конфигурации процессоров памяти. При тестировании взаимодействия контроллера с матрицей осуществляется проверка режимов программирования матрицы, механизмов чтения/записи из банков памяти и управление этими процессами. После выполнения предыдущих тестов проводится тестирование матрицы процессорных элементов с целью проверки наличия связей между соседними процессорными элементами, работоспособности регистровой памяти и операций АЛУ всех процессорных элементов.

Подробно результаты описаны в документах: <Тесты СБИС "Минитера2М-Xilinx">, "Методика тестирования модуля и устройства управления ОВС", "Тестирование модуля и устройства управления БВМ ОВС. РПД" (Приложение 1).

2.7 Задание 8
этап 8.1. "Разработка спецификации для синтаксиса и семантики языка ТC, разработка программной документации системы программирования для языка TC";
этап 8.3. "Разработка средств отладки, трассировки и профилировки программ, реализованных на языке TC";
этап 8.4. "Разработка ПД подсистемы управления памятью и процессами в Т-системе в целях поддержки отказоустойчивости и автоматического освобождения неиспользуемых программой участков памяти";
этап 8.5. "Разработка ПД поддержки в ядре Т-системы глобальной мемоизации, монотонных объектов, управления внешним планированием на уровне вызова отдельных функций";
этап 8.6. "Разработка ПД поддержки в ядре Т-системы возможности вызова функций корректно реализованных MPI-библиотек из программ, реализованных на языке ТC";
этап 8.7. "Разработка интегрированной среды для программирования и отладки программ на Т-языках на базе существующих свободно распространяемых сред интегрированной разработки ПО";
этап 8.8. "Разработка комплекта документации пользователя, системного программиста и оператора по реализованным языковым средствам кластерного уровня" 
Соисполнитель - ЦТТИ МГУ.
Календарным планом проведения работ по договору ? 2001-42/1 от 17 июля 2001 года по заданию 8 в 4 квартале 2001 года предусмотрено проведение следующей работы:
· усовершенствование существующей реализации языка TC;
· разработка средств отладки, трассировки и профилировки программ, реализованных на языке TC;
· усовершенствование подсистемы управления памятью и процессами в Т-системе;
· разработка и реализация схемы вызова MPI-функций из Т-приложений;
· разработка интегрированной среды для программирования и отладки программ на Т-языке;
· разработка комплекта документации по реализованным языковым средствам кластерного уровня.

Отчетные материалы по этим работам - справка-отчет, рабочая программная документация.

Для выполнения договорных обязательств в 4 квартале 2001 года по заданию 8 были выполнены следующие работы:
1. Выполнена новая реализация компилятора с языка ТС - компилятора TGCC. Опытный образец компилятора TGCC, реализован как новый front-end (входной язык) компилятора GCC. Проведена отладка базовых возможностей компилятора TGCC на тестовых примерах, входящих в дистрибутив Т-системы. Описание TGCC приведено в Приложении 3в.

2. Разработана экспериментальная версия Т-Фортран на базе существующего конвертера F2C. Конвертер F2C был доработан с целью генерации расширения языка С из расширения языка Фортран. В качестве основной идеи для введения расширений в язык Фортран была выбрана парадигма специальных комментариев. В виде специальных комментариев программист описывает дополнительные сведения, которые конвертером преобразуются в расширение языка TC и затем уже компилятором Т-системы переводятся в параллельный алгоритм. В качестве исходных вариантов спецификации прилагается описание расширений, веденных в язык Фортран (Приложение 3а).

3. Выполнена работа по созданию системы глобальной мемоизации. Глобальная мемоизация (табулирование) функций позволяет при многократном вычислении одной и той же функции от одних и тех же аргументов избежать повтора вычисления, заменив его на  обращение к таблице. Основной идеей для организации глобальной мемоизации является распределенная мемо-таблица, которая хранит в себе в качестве ключей функции и их аргументы, а в качестве значений - полученные в результате их работы данные. Основная идея алгоритма работы поддержки мемозиации заключается в том, что когда функция начинает выполняться, происходит обращение к этой распределенной мемо-таблице, и, в случае, если функция уже выполнялась и имеется результат ее счета, он немедленно выдается в качестве результата и счет функции не производится. Если же функция от данных аргументов еще не вычислялась, то производится ее регистрация в таблице, уведомление других узлов кластера, что данная функция от данных аргументов начала считаться, и производится вычисление этой функции. Такая схема позволяет прозрачно для программиста распространять информацию о том, какие функции уже вычислялись, и достигнуть эффекта, что каждая функция от конкретных аргументов вычисляется, как правило, только один раз.

4. В плане поддержки монотонных объектов: новая версия Т-системы позволяет легко ввести понятие монотонных объектов, или объектов, работа с которыми происходит физически с нарушением функциональной семантики, но логически она находится в рамках свойств Чорча Россара, необходимых для сохранения всех основных свойств функциональной парадигмы программирования. Монотонные объекты в новой версии Т-системы - это статические структуры, находящиеся в контексте системных процессов, работающих на узлах кластера. Монотонные объекты характеризуются номером узла кластера и их адресом в оперативной памяти. Обращение к объектам происходит с помощью специализированной макрокоманды TCALL, в которой указывается функция и объект, с которым необходимо произвести операцию. Указанная функция будет выполнена на указанном узле кластера и произведет необходимые действия с указанным объектом.

5. В управлении внешним планированием на уровне вызова отдельных функций было произведено добавление специальных флагов для макро команды TCALL, которые позволяют зафиксировать номер узла, на котором будет исполняться та или иная функция, а также процесс, в контексте которого будет вычисляться данная функция. Это свойство позволяет существенно упростить разработку приложений, в которых, кроме параллельного счета, одновременно происходить обращение к тем или иным системным библиотекам, например, библиотекам визуализации данных.

6. Для широко используемых в профессиональной среде программных средств разработки программ Emacs и XEmacs была реализована специализированная надстройка, которая позволяет распространить знание о языке программирования ТС Т-системы и конфигурации кластеров на возможности, существующих в этих средствах разработки программ. В частности, реализован режим синтаксической раскраски для программ на Т-языках. Реализованы в виде меню возможности запуска программы на языке ТС:
· в пределах одной машины без участия Т-системы;
· в пределах одной машины с участием Т-системы;
· реальный запуск на счет на кластере.

Все это позволяет погрузить весь жизненный цикл разработки Т-программ в единую среду для разработки программ. Кроме этого, для отладочных средств, которые разрабатываются в рамках Программы "СКИФ", предусмотрена и реализована специализированная надстройка, позволяющая интерактивно вести отладку программы и наблюдать код, который соответствует исполняемому в данный момент фрагменту программы. Режим отладки поддерживает специализированные команды, введенные в распределенный отладчик. Более подробно описание представлено в Приложении 3а.

7. Разработана программная система интерактивной отладки MPI-программ TDB, ориентированная на отладку приложений, реализуемых с использованием Т-системы. Основные компоненты TDB делятся на две базовые категории:
· компоненты, функционирующие на управляющей станции;
· компоненты, функционирующие на вычислительных узлах.
Подробное описание компонент программной системы TDB приведено в Приложении 3в.

8. Разработан комплект документации для Т-системы, компилятора TGCC и программного комплекса интерактивной отладки MPI-программ TDB. Документация включает в себя описания программных систем, руководства оператора, руководства программиста и руководства системного программиста (Приложение 3в).

9. Проведены предварительные испытания разработанного программного обеспечения в УП "НИИЭВМ" (г. Минск). Протокол испытаний представлен в Приложении 3г.

Исходные тексты программ находятся у Исполнителя от Российской Федерации.

2.8 Задание 9
этап 9.1. "Разработка графового языка и системы подготовки/отладки программ (IDE) на его основе (альфа-версия)";
этап 9.4. "Разработка библиотеки стандартных программ".

Соисполнитель - Предприятие "СКС".
Календарным планом проведения работ по договору ? 2001-42/1 от 17 июля 2001 года по заданию 9 в 4 квартале 2001 года предусмотрено проведение следующей работы:
· реализация и отладка графового языка и системы подготовки/отладки программ (IDE);
· разработка проекта библиотеки стандартных программ.

Отчетные материалы по этим работам - отчет, экспериментальная версия комплекта ПД, включая исходные тексты программ, описание проекта библиотеки стандартных программ.

Для выполнения договорных обязательств в 4 квартале 2001 года по заданию 9 были выполнены следующие работы:
1. Разработан проект графового языка и системы подготовки/отладки программ (IDE). В ходе работ по проектированию альфа-версии графового языка программирования были получены следующие результаты:
· сформулированы требования к IDE;
· сформирован набор компонент, входящих в состав IDE;
· для каждой из компонент сформулирован список основных функций, а также принципы взаимодействия компонент между собой и с IDE;
· для редактора графового языка программирования изложен подробный список функций и действий, предлагаемых пользователю;
· изложены базовые алгоритмы, обеспечивающие автоматизацию процесса компоновки графа на матрице ОВС;
· разработана и предложена структура базовых классов, которые будут обеспечивать работу редактора графового языка программирования;
· предложена технология отладки программы, написанной на графовом языке программирования.

2. Создана альфа-версия графового языка программирования для БВМ ОВС и система программного обеспечения со всем необходимым инструментарием (редакторы, отладчик и библиотекарь), реализующая разработку программ на основе потоковых алгоритмов и компиляцию их в микрокод ОВС. Инструменты графового языка и графического макроассемблера объединены в единую среду разработчика (IDE разработчика ПО БВМ ОВС "МиниТера"). Созданный продукт программного обеспечения БВМ ОВС входит в технологию компоновки процессов ОВС и метапроцессов в единый исполняемый файл, а также методику оформления метапроцессов, как разновидности Т-процессов и войдет в состав ПО гибридного кластера проекта "СКИФ".

3. Проектирование графового языка программирования проводилось совместно с проектированием системного программного обеспечения и аппаратуры БВМ ОВС. В результате получен проект программного обеспечения БВМ ОВС. В проекте описана технология разработки и отладки приложений для БВМ ОВС. Описывается концепция приложения, как системы параллельно функционирующих процессов различных архитектур. Определяются способы и инструменты разработки процессов различных архитектур, способы их раздельной отладки. Описываются средства интеграции процессов БВМ ОВС и метапроцессов в Т-систему. Раскрываются доступные программисту способы организации взаимодействия процессов различных архитектур и средства отладки этого взаимодействия.

4. Разработана бета-версия языка Макроассемблера и системы подготовки/отладки программ (IDE) на его основе для операционной системы Linux. Программа предназначена для создания, отладки программ и моделирования работы поля ОВС, на котором выполняется заданная программа, состоящего из набора процессорных элементов, организованных в двумерную решётку и взаимодействующих с соседними процессорными элементами. Модель процессорного элемента позволяет задавать конфигурацию процессорного элемента и входные воздействия на информационные входы. Для отображения конфигурационной информации используются графические примитивы (символы), близкие по логическому смыслу к физической структуре ПЭ. В процессе эмуляции осуществляется регистрация данных на выбранных информационных входах и выходах ПЭ, а также регистрация внутренних состояний выбранных функциональных блоков ПЭ. Эмуляция работы производится по тактам с учётом специфики аппаратуры процессорного элемента. Более подробно результаты представлены в документах: "Графическая оболочка", "Отладчик", "Библиотекарь" (Приложение 2).

5. В ходе работ по составлению списка библиотек и функций, входящих в их состав, были исследованы ряд алгоритмов. В частности, сеточные методы Эйлера и Гаусса-Зейделя, LU разложение, прямое и обратное распространение на трехслойной нейронной сети, методы RSA-криптографии. Также были рассмотрены алгоритмы, изложенные в книге У. Прэтта "Цифровая обработка изображений", ряд приложений и алгоритмов, приведенных в документах "The BDTImark2000TM: A Measure of DSP Execution Speed. Berkeley design Technology, Inc" и "J. Vuillemin, P. Bertin, D. Roncin, : "Programmable Active Memories: Reconfigurable Systems Come of Age". Изучены документы на ряде Интернет-сайтов, посвященных технологиям DSP и CCM. Были рассмотрены библиотеки BLAS. Получена положительная оценка возможности реализации BLAS второго и третьего уровней.

Исходные тексты программ находятся у Исполнителя от Российской Федерации.

2.9 Задание 10
этап 10.1. "Разработка средств тестирования системы в целом";
этап 10.2. "Разработка программного интерфейса между кластерным уровнем и ОВС";
этап 10.3. "Разработка системных средств отладки программ";
этап 10.4. "Разработка в составе Т-ядра системы динамического программирования и распределения работы для модулей ОВС";
этап 10.5. "Разработка тестов и демонстрационных примеров для динамического программирования и распределения работы для модулей ОВС".

Соисполнители - Предприятие "СКС", ЦТТИ МГУ.
Календарным планом проведения работ по договору ? 2001-42/1 от 17 июля 2001 года по заданию 10 в 4 квартале 2001 года предусмотрено проведение следующей работы:
· разработка проекта средств тестирования системы;
· реализация и отладка программного интерфейса между кластерным уровнем и ОВС;
· разработка проекта системных средств отладки программ;
· разработка в составе Т-ядра системы динамического программирования и распределения работы для модулей ОВС;
· разработка тестов и демонстрационных примеров.

Отчетные материалы по этим работам - отчет, комплекты рабочей ПД, включая исходные тексты программ, описание проекта.

Для выполнения договорных обязательств в 4 квартале 2001 года по заданию 10 были выполнены следующие работы:

1. Разработан проект средств тестирования комбинированной системы, состоящей из КУ и БВМ ОВС. Система состоит из набора узлов, объединенных в кластер с помощью высокоскоростного интерфейса SCI и 100 Мб LAN Ethernet. На некоторых узлах кластера установлены модули БВМ ОВС. Для осуществления управляющих функций в кластере используется LAN Ethernet. Таким образом, тестирование системы делится на следующие этапы:
· тестирование работоспособности узла кластера;
· тестирование взаимодействия каждого узла с кластером по управляющему интерфейсу;
· тестирование взаимодействия каждого узла с кластером по интерфейсу SCI;
· тестирование работоспособности модулей БВМ ОВС;
· тестирование Т-системы.
"Проект средств тестирования гибридной системы" представлен в Приложении 1.

2. Разработан проект программного интерфейса между КУ и БВМ ОВС. Сформулированы функции API метапроцесса, обеспечивающие интеграцию вычислений на БВМ ОВС в вычислительный процесс КУ. Интерфейс поддерживает функции ядра операционной системы распределения вычислительных ресурсов, запуска вычислительных процессов на кластерном уровне системы, ожидания освобождения ресурсов КУ для проведения вычислений. Определен алгоритм выполнения задачи для БВМ ОВС в составе кластера Т-системы, включающий в себя обслуживание при возникновении запроса на вычисления, исследование необходимых ресурсов кластерного уровня для выполнения запроса, включая исследование ресурсов БВМ ОВС, установленных в кластере. Определен метод работы с данными, необходимыми для вычислительной стадии процессов, использующих ресурсы БВМ ОВС, доставка данных к адресату, обработка данных, отсылка данных к источнику запроса. При работе с системой основной упор сделан на наиболее полное использование ресурсов, предоставляемых кластерным уровнем системы.
Подробно результаты описаны в документах: "Проект программного обеспечения БВМ ОВС", "Программные средства взаимодействия БВМ ОВС и КУ гибридного суперкомпьютера" (Приложение 1).

2.10 Задание 11
этап 11.1. "Разработка рабочей конструкторской документации (РКД) перспективных моделей семейства суперкомпьютеров кластерного уровня. Экспериментальная проверка на макетах новых современных технических средств. и исследование их характеристик";
этап 11.2. "Анализ существующих и перспективных решений для создания аппаратно-программных средств суперкомпьютеров";
этап 11.3. "Разработка рекомендаций по архитектуре аппаратного и программного уровней гибридных суперкомпьютеров ряда 2 (с учетом 11.2 и реального уровня технологии отечественной промышленности)";
этап 11.4. "Разработка рабочей конструкторской документации (РКД) перспективных моделей семейства суперкомпьютеров кластерного уровня. Экспериментальная проверка на макетах новых современных технических средств и исследование их характеристик".

Соисполнители - ОАО "НИЦЭВТ", Предприятие "СКС", ЦТТИ МГУ.
Календарным планом проведения работ по договору ? 2001-42/1 от 17 июля 2001 года по заданию 11 в 4 квартале 2001 года предусмотрено проведение следующей работы:
· анализ различных вариантов архитектуры БВМ;
· анализ существующих и перспективных решений для создания аппаратно-программных средств суперкомпьютеров;
· разработка рекомендаций по архитектуре аппаратного и программного уровней гибридных суперкомпьютеров ряда 2;
· разработка эскизной конструкторской документации перспективных моделей семейства суперкомпьютеров кластерного уровня.

Экспериментальная проверка на макетах новых современных технических средств.
Отчетные материалы по этим работам - отчет, комплект рабочей КД, отчет о экспериментальных проверках.

Для выполнения договорных обязательств в 4 квартале 2001 года по заданию 11 были выполнены следующие работы:
1. Проведено исследование тех решений, которые используются сейчас для создания реальных суперкомпьютерных систем. Наиболее перспективным было признано решение, продолжающее линию, присущую в данный момент семейству суперкомпьютеров "СКИФ", а именно базирующуюся на уникальной по своим характеристикам среде передачи данных SCI, а также на средствах динамического распараллеливания, которые обладают очень хорошими характеристиками на сетях с небольшими задержками, к которым можно отнести SCI.

2. Выработаны рекомендации для производителей аппаратуры второго ряда суперкомпьютеров семейства "СКИФ". Рекомендуется ориентироваться на перспективные технологические решения, применяемые в линии SCI кластеров, а именно: масштабируемое решение WulfKit3D, базирующееся на топологии трехмерного тора, позволяет ликвидировать недостатки сегодняшних адаптеров сети SCI, связанные с невозможностью объединить большое количество узлов. Используя решение WulfKit3D можно объединить между собой до тысячи и более вычислительных модулей, получив, тем самым, производительность в 1 Терафлоп и выше.

3. По части спецвычислителей ОВС рекомендуется рассмотреть в качестве базового уровня для реализации спецвычислителей программируемые логические матрицы (FPGA). В качестве примера успешного использования данной технологии следует упомянуть российские разработки, выполненные фирмой Роста. Эти разработки включают в себя интерфейсную плату, выполненную в стандарте компакт-PCI, на которую установлена программируемая логическая матрица фирмы XILINX, содержащая в некоторых конфигурациях до миллиона логических вентилей. Будучи запрограммированной определенным образом, эта матрица способна исполнять специальные функции, в десятки раз быстрее, чем самые современные микропроцессоры.

4. БВМ ОВС является одним из вариантов системы с реконфигурируемыми ресурсами. Реконфигурируемые вычислительные машины (РВМ) - это динамично развивающееся направление исследований в области создания вычислительных систем не фоннеймановского типа. Поэтому для проведения качественного анализа дальнейших перспектив в развитии архитектуры БВМ необходимо исследовать опыт, полученный зарубежными исследователями. В настоящее время проведен анализ архитектур, реализующих концепцию РВМ, рассмотрены наиболее характерные зарубежные разработки, реализующие концепцию реконфигурируемых систем, разработаны варианты возможных реализаций БВМ, а также определены направления дальнейших исследований.

5. Разработаны и изготовлены макеты перспективных моделей семейства суперкомпьютеров кластерного уровня на базе новых современных технических средств, обеспечивающих использование шины ввода/вывода PCI с шириной передачи 64 разряда и частотой 66 Мгц и соответствующих адаптеров высокоскоростной сети SCI нового поколения, обеспечивающих скорость передачи сети 667 Мбайт/сек. В этих макетах реализованы также новые перспективные топологии сети SCI:

· макет 16-узлового кластера с топологией сети SCI типа коммутируемые кольца:
- 32 процессора Pentium III 933 Мгц;
- оперативная память - 16 000 Мбайт;
- внешняя память - 144 Гбайт;
- средства SCI - адаптеры D330, 8-портовый коммутатор D535;
- пиковая производительность - 29.85 Гфлопс;

· макет 8-узлового кластера с топологией сети SCI типа 3-мерный тор:
- 16 процессоров Pentium III 933 Мгц;
- оперативная память - 4 000 Мбайт;
- внешняя память - 80 Гбайт;
- средства SCI - адаптеры D337;
- пиковая производительность - 14.93 Гфлопс.

6. Разработаны базовые конструкции моделей ТКС: корпусов вычислительных узлов и 19"-стоек, обеспечивающих модульный конструктивный принцип построения на базе 19-дюймовых конструкций:

Шкаф 22U (h = 1200мм)	- ПИРШ.301446.003
Шкаф 31U (h = 1600мм)	- ПИРШ.301446.003-01
Шкаф 40U (h = 2000мм)	- ПИРШ.301446.003-02
Корпус 1U	- ПИРШ.301172.014
Корпус 2U	- ПИРШ.301172.005
Корпус 3U	- ПИРШ.301172.012
Устройство охлаждения	- ПИРШ.651511.024

7. Разработана рабочая конструкторская документация на типовые кластерные системы с топологией типа кольцо, 2-мерный тор и коммутируемые кольца:
Система вычислительная кластерная (СВК) ЕС1720 - ПИРШ.466539.001

· Управляющая ЭВМ ЕС1855	ПИРШ.466215.002
- Технические условия ЕС1855	ПИРШ.466215.002 ТУ
- Формуляр ЕС1855	ПИРШ.466215.002
- Руководство по эксплуатации	ПИРШ.466215.002 РЭ
· Кластер ЕС1855	ПИРШ.466531.001
- Вычислительный узел ЕС1855	ПИРШ.466215.002
° Технические условия ЕС1855	ПИРШ.466215.002 ТУ
° Формуляр ЕС 185 5	ПИРШ.466215.002
- Схема электрическая соединений	ПИРШ.466531.001 Э6
- Схема электрическая расположения	ПИРШ.466531.001 Э7
- Комплект кабелей SC1	ПИРШ.466929.006
- Комплект кабелей Ethernet	ПИРШ.466929.007
- Комплект кабелей питания	ПИРШ.466929.008
· Технические условия СВК ЕС1720	ПИРШ.466539.001 ТУ
· Паспорт СВК ЕС1720	ПИРШ.466539.001 ПС
· Руководство по эксплуатации СВК ЕС1720	ПИРШ.466539.001 РЭ 3

8. Проведена экспериментальная проверка макетов новых современных технических средств и исследование их характеристик. Результаты изложены в документе "Отчет по экспериментальной проверке и исследованию характеристик новых современных технических средств на макетах с топологией типа коммутируемые кольца и 3-мерный тор" (Приложение 4).

2.11 Задание 12
этап 12.2. "Разработка системы дистанционного обучения с помощью Internet'а";
этап 12.3. "Заключение и ведение договоров на целевую подготовку групп специалистов в российских и белорусских вузах";
этап 12.4. "Разработка методического учебного пособия по программированию в среде динамического распараллеливания программ (Т-системе) для учащихся высших учебных заведений";
этап 12.7. "Разработка интерактивной системы контроля уровня знаний, и формирования умений и навыков в процессе обучения. Компоновка опытного образца онлайнового курса и опубликование в Internet"

Соисполнители - Предприятие "СКС", ЦТТИ МГУ, ИВВиБД СПбГТУ.
Календарным планом проведения работ по договору ? 2001-42/1 от 17 июля 2001 года по заданию 12 в 4 квартале 2001 года предусмотрено проведение следующей работы:
· разработка системы дистанционного обучения с помощью Internet'а;
· заключение и ведение договоров на целевую подготовку групп специалистов в российских и белорусских вузах;
· разработка методического учебного пособия по программированию в среде динамического распараллеливания программ (Т-системе);
· разработка онлайнового курса по параллельному программированию.

Отчетные материалы по этим работам - справка-отчет, учебные материалы, опытный образец онлайнового курса по параллельному программированию, опубликованный в Internet.

Для выполнения договорных обязательств в 4 квартале 2001 года по заданию 12 были выполнены следующие работы:

1. Разработаны вспомогательные материалы по программированию ОВС. В документе "Основы программирования БВМ ОВС" (Приложение 2) рассматриваются основные аспекты теории реализации алгоритмов на БВМ ОВС. В основу вычислительной модели, реализуемой на ОВС, положена модель синхронного графа потока данных. В документе описана модель синхронного графа потока данных и ее отличия от фундаментальной модели графа потока данных. Пользователю предлагается пройти полный цикл разработки простого алгоритма на БВМ ОВС. В процессе обучения пользователь знакомится с основными особенностями аппаратной реализации БВМ ОВС и программных средств разработки.

2. Разработан сайт, на котором содержатся основные сведения о назначении и применении БВМ ОВС (http://www.minitera.ru). На нем также содержится система дистанционного обучения, дающая основные сведения по реализации алгоритмов на БВМ ОВС на основе полного цикла разработки простого алгоритма. Кроме того, система содержит ряд контрольных вопросов и ответы на наиболее часто встречающиеся вопросы по БВМ ОВС.

3. Заключен договор ? 31.1-08 от 31.08.2001 с Московским энергетическим институтом на подготовку группы студентов по применению и программированию БВМ ОВС.

4. Разработана глава для книги, посвященной параллельному программированию. В этой главе дается краткое введение в базовые принципы работы системы автоматического динамического распараллеливания программ, используемой в качестве базового средства распараллеливая программ в Программе "СКИФ". Приведено общее введение, сравнение системы автоматического динамического распараллеливания программ и других подходов к распараллеливанию, детальное описание языковых средств Т-системы, а также описание базовых принципов функционирования ядра Т-системы. На основании данного учебного материала, учащиеся высших учебных заведений могут ознакомиться с основными принципами работы и программирования в среде Т-системы. Данный материал содержит ссылки на более подробную информацию, которая может удовлетворить всех, заинтересовавшихся материалом (http://skif.pereslavl.ru).

5. Выполнен аналитический обзор тенденций развития суперкомпьютеров (СК) и ведущих мировых суперкомпьютерных центров, обзор выпускаемых в мире высокопроизводительных вычислительных систем. В данном обзоре на основе списка Top500 проанализированы тенденции развития суперкомпьютеров, области их применения и тому подобные характеристики за период 1993-2001 годы. Приведены описания систем, выпускаемых компаниями Tera/Cray INC, Fujitsu, NEC, а также основные сведения по проекту ASCI. 

6. Разработаны статические материалы онлайнового лекционного курса по параллельному программированию и использованию прикладного ПО на параллельных СК. В частности, подготовлены материалы по следующим курсам.

· Реализация высокопроизводительных алгоритмов на Linux кластерах семейства "СКИФ".
В курсе даются общие представления о назначении и области применения высокопроизводительных алгоритмов, об архитектурах высокопроизводительных вычислительных систем и связанных с ними парадигм программирования.

· Программное обеспечение параллельных суперкомпьютеров. Назначение курса состоит в предоставлении пользователю минимальных наборов базовых знаний, которые могут быть востребованы при работе с параллельными многопроцессорными компьютерными системами. · Визуализация результатов вычислительных экспериментов и средства разработки графических интерфейсов пользователя (GUI) под управлением ОС Linux для кластеров семейства "СКИФ".

Курс основан на опыте использования соответствующих средств на Linux-кластерах и состоит из двух частей. Первая часть посвящена основам визуализации в вычислительном эксперименте. Вторая часть курса посвящена использованию пакета Java Foundation Classes (Swing) для разработки пользовательских приложений.

· Планирование научного эксперимента.
Разработан выборочный цикл лекций в рамках системы дистанционного образования в области применения суперкомпьютерных технологий при обеспечении функционирования сложных измерительных и интеллектуальных комплексов, а также методов моделирования существенно нелинейных динамических систем.

7. Разработана интерактивная система контроля уровня знаний и формирования умений и навыков в процессе обучения. Интерактивная система контроля представляет собой виртуальный лабораторный практикум. Задача виртуальных лабораторных практикумов - предоставлять пользователям инструментарий для оценки собственных знаний в области параллельного программирования, работы с многопроцессорными компьютерными системами и параллельным программным обеспечением. При создании виртуального лабораторного практикума был подготовлен набор инструментов, позволяющий оперативно создавать, наполнять и модифицировать онлайновые практикумы по различным тематикам. Разработаны веб-интерфейсы для администрирования (интерфейс администратора) и непосредственного тестирования (пользовательский интерфейс). Предметным наполнением системы является учебное пособие с курсом лекций, вопросами и ответами, размещаемое на сервере.

Разработанные учебные материалы скомпонованы в единую гипертекстовую систему и размещены на сайте http://www.csa.ru/skif/ .

2.12 Задание 13
этап 13.1. "Разработка специализированной библиотеки процедур для системы обработки радиолокационных и оптических сигналов"
Соисполнитель - Предприятие "СКС".
Календарным планом проведения работ по договору ? 2001-42/1 от 17 июля 2001 года по заданию 13 в 4 квартале 2001 года предусмотрено проведение следующей работы:

· анализ алгоритмов и определение состава библиотеки.
Отчетные материалы по этим работам - отчет, проект библиотеки.

Для выполнения договорных обязательств в 4 квартале 2001 года по заданию 13 были выполнены следующие работы:

1. Проведен анализ алгоритмов, изложенных в книге У. Прэтта "Цифровая обработка изображений", которая является общепризнанной энциклопедией в этой области, и определен состав библиотеки цифровой обработки сигналов. Результаты приведены в документах "Отчет по анализу алгоритмов" и "Проект состава библиотек стандартных программ" (Приложение 1).

2.13 Задание 17
этап 17.1. "Разработка, реализация и ввод в эксплуатацию технических средств в узлах маршрутизации на существующей ВОЛС "ИПС РАН-РУС Переславля, с целью обеспечения высокой скорости обмена (100 Мбит/с) и устойчивости канала к перебоям городского энергоснабжения"; этап 17.2. "Разработка, реализация и ввод в эксплуатацию высокоскоростного выделенного канала связи между ИПС РАН (машинный зал суперкомпьютера "СКИФ") и центром маршрутизации ЦТТИ МГУ на М9".
Соисполнитель - РосНИИ РП.
Календарным планом проведения работ по договору ? 2001-42/1 от 17 июля 2001 года по заданию 17 в 4 квартале 2001 года предусмотрено проведение следующей работы:
· разработка, реализация и ввод в эксплуатацию технических средств в узлах маршрутизации на существующей ВОЛС "ИПС РАН-РУС Переславля;
· разработка и реализация высокоскоростного выделенного канала связи между ИПС РАН и центром маршрутизации ЦТТИ МГУ. Отчетные материалы по этим работам - отчет, рабочая документация.

Для выполнения договорных обязательств в 4 квартале 2001 года по заданию 17 были выполнены следующие работы:
1. Проведена модернизация оптоволоконной магистрали научно-образовательной системы телекоммуникаций (СТ "Ботик") г. Переславля-Залеского, которая обеспечивает доступ участникам Программы "СКИФ" и заинтересованным организациям к суперкомпьютерной установке "СКИФ", расположенной в ИПС РАН (на расстоянии 4 км от г. Переславля-Залесского).

Магистральная сеть (backbone) требовала серьезной переделки в силу следующих недостатков:
· магистраль содержала только три высокоскоростные оптоволоконные линии (100 Mbps, 100Base-FX), остальные восемь оптоволоконных линий работали со скоростью 10 Mbps (10Base-FL);

· в качестве узлов маршрутизации на магистрали использовались ПК-роутеры, что (при всех прочих достоинствах) делало невозможным обеспечение устойчивости магистрали к перебоям городского энергоснабжения на длительные периоды.В связи с этим была выполнена модернизация оборудования магистрали, а именно: роутеры на оптоволоконной магистрали заменены специально разработанными коммутаторными модулями, состоящими из:
· обычного скоростного коммутатора (Full Duplex Fast Ethernet Switch 100Base-TX), к которому подключается от 1 до 6 трансиверов 100Base-TX-100Base-FX (по числу оптических каналов, сходящихся в данной точке оптоволоконной магистрали);
· аккумулятора на 12 В, который способен обеспечить автономную работу коммутатора и трансиверов в течении достаточно длительного срока (по техническому заданию-8 часов, удалось обеспечить от 12 до 47 часов, в зависимости от числа трансиверов в узле);
· специально разработанного блока питания, состоящего из зарядного устройства для данного аккумулятора и коммутатора нагрузки. Коммутаторные модули были изготовлены в необходимом количестве и установлены, налажены и запущены в эксплуатацию. Выполненные измерения качества связи между узлами магистрали, сравнение показателей до и после модернизации показали высокое качество принятых технических решений.

2. Проведены работы по созданию высокоскоростного выделенного канала связи между ИПС РАН (машинный зал суперкомпьютера "СКИФ") и центром маршрутизации ЦТТИ МГУ на М9. Высокоскоростной цифровой канал Переславль-Залесский-Москва представляет собой междугородный канал связи, построение которого должно выполняться организацией, имеющей лицензию на проектирование и строительство объектов связи, а также технические возможности для построения таких каналов. Было выполнено исследование возможностей нескольких операторов междугородной связи предоставить в аренду канал необходимой емкости (2 Мбит/сек и выше), при как можно более низком уровне эксплуатационных расходов. Переговоры велись соследующими провайдерами:
· ОАО "МобильныеТелеСистемы".
· Компания "Глобал Один".
· ОАО "Ростелеком".
· ООО "Макком".
· ЗАО "Север ТрансТелеКом".
· ООО "ТрансТелеКом".

По результатам исследования был выбран вариант сотрудничества с ООО "ТрансТелеКом", которое предоставляет в аренду цифровые
каналы связи емкостью до 155 Мбит/с.

В силу того, что сеть волоконно-оптической линии связи (ВОЛС) ООО "ТрансТелеКом" расположена вдоль железных дорог, а Переславль-Залесский находится в стороне от Северной железной дороги, возникает проблема "последней мили". С учетом расстояния, был выбран подход к решению проблемы "последней мили" за счет построения радиорелейной линии (РРЛ).

Были проведены предпроектные исследования организации РРЛ: исследованы возможные точки расположения окончания РРЛ, построены оценочные высотные профили трасс, рассмотрены функциональные характеристики различных комплектов аппаратуры РРЛ, стоимость оборудования и т.д.

Принято решение, что канал в целом будет иметь двухсегментную структуру:

- РРЛ между Переславлем-Залесским и станцией Берендеево Северной железной дороги;
- волоконно-оптическая линия связи ООО "ТрансТелеКом" от станции Берендеево до Москвы (М9).

По результатам сравнительного анализа характеристик оборудования выбор был сделан в пользу оборудования РРЛ NEC Pasolink.

В настоящий момент ведутся работы по организации стыка РРЛ и ВОЛС на станции Берендеево.

Таким образом, проведены предпроектные исследования и зафиксированы исполнители. Проект согласован, зафиксированы все его этапы и все технические решения.

Отчетные материалы о выполненных работах - рабочая документация, описание технических решений, акт о приемке в эксплуатацию модернизированных узлов магистрали представлены в Приложении 5.

2.14 Задание 18
этап 18.1. "Разработка библиотеки специализированных процедур для моделирования широкополосных пространственно-временных радиолокационных сигналов"

Соисполнитель - Предприятие "СКС".

Календарным планом проведения работ по договору ? 2001-42/1 от 17 июля 2001 года по заданию 18 в 4 квартале 2001 года предусмотрено проведение следующей работы:
· анализ алгоритмов и определение состава библиотеки.
Отчетные материалы по этим работам - отчет, проект библиотеки.

Для выполнения договорных обязательств в 4 квартале 2001 года по заданию 18 были выполнены следующие работы:
1. Проведен анализ реализации на БВМ ОВС алгоритмов БПФ, встречающихся практически во всех задачах этой области приложений. Кроме того, после ряда консультаций со специалистами СКБ "Электроавтоматика" был разработан алгоритм обработкирадиолокационного сигнала с    целью обнаружения и сопровождения на проходе множества воздушных целей, и проведены оценки его реализации на БВМ ОВС с целью определения макросов, которые должны входить в состав библиотеки.

Более подробно результаты изложены в документах "Отчет по анализу алгоритмов обработки радиолокационного сигнала с целью обнаружения и сопровождения на проходе множества воздушных целей", "Реализация 256 точечного БПФ на матрице ОВС" (Приложение 2).

2.15 Задание 19
этап 19.2. "Разработка рабочей версии и внедрение программно-аппаратного комплекса. Наполнение базы данных константного обеспечения расчетов элементарных процессов газодинамики"

Соисполнитель - ИВВиБД СПбГТУ.
Календарным планом проведения работ по договору ? 2001-42/1 от 17 июля 2001 года по заданию 19 в 4 квартале 2001 годапредусмотрено проведение следующей работы:

· разработка и оптимизация параллельной версии трехмерной программы;
· разработка структуры баз данных свойств химических компонентов и химических процессов и отработка их взаимодействия с модулями интерактивного формирования системы химических реакций и с модулями, осуществляющими вычислительный процесс;
· отладка и тестирование программного комплекса.

Отчетные материалы по этим работам - отчет, комплект ПД, включая исходные тексты системы, техническое описание и протоколы тестирования.

Для выполнения договорных обязательств в 4 квартале 2001 года по заданию 19 были выполнены следующие работы:

1. Проведено развитие созданного в ходе выполнения предыдущего этапа прототипа программного комплекса для численного моделирования процессов в химических реакторах. Указанный комплекс предназначен для численного моделирования физико-химических процессов в PECVD-реакторах в интерактивном режиме и включал оболочку пользователя, химический редактор, блок формирования начальных данных и построения расчетной сетки, расчетный модуль, программу обработки и визуализации результатов, а также пользовательский интерфейс, позволяющий проводить все расчеты и управлять распараллеливанием программы удаленно. В ходе выполнения предыдущего этапа было реализовано две версии такого интерфейса. Первая из них, основанная на использовании средств X-Windows, давала возможность работать с комплексом, используя X-терминал. Вторая версия - Web-интерфейс, давала доступ к комплексу из сети Интернет. При этом пользователь мог работать с комплексом, используя любой стандартный браузер. Работа с комплексом продемонстрировала его эффективность и удобство для управления и анализа результатов массовых расчетов. Однако все его вычислительные и интерфейсные компоненты были рассчитаны на решение двумерных (осесимметричных) задач и визуализацию двумерных полей. В то же время геометрия реальных химических реакторов всегда трехмерна, и детально исследовать проходящие в них процессы можно только на основе решения трехмерных задач. Поэтому необходимо было разработать трехмерную версию расчетной программы. При этом существенным фактором была эффективность ее параллельной реализации, поскольку в этом случае объем вычислительной работы заметно возрастает, а организация обмена данными в используемом неявном алгоритме в случае трехмерной геометрии может быть намного сложнее.

2. Разработана физико-математическая модель и создан программный комплекс для численного моделирования процессов роста пленок в PECVD-реакторах трехмерной геометрии. Комплекс включает в себя генератор пространственных сеток, солвер для расчета пространственных течений многокомпонентной среды с химическими реакциями и программу для визуализации получаемых в результате расчетов трехмерных полей. Использование при разработке параллельной версии солвера нового подхода позволило повысить эффективность его реализации. Проведенные тестовые расчеты демонстрируют работоспособность программного комплекса.

3. В ходе разработки новой версии системы визуализации было установлено, что его надежность и переносимость на платформы с другими версиями операционной системы может быть существенно повышена за счет его реализации с использованием средств языка Java. Поэтому новая программа визуализации результатов трехмерных расчетов Jfilin была создана на основе пакета Java FoundationClasses (Swing).

4. Были существенно расширены возможности химического редактора G_Ched. Появилась возможность использовать накопленную в процессе работы информацию по системам химических реакций и свойствам химических компонентов, используя организованную специальным образом базу данных, содержащую информацию по параметрам химических компонентов и реакций. Эта база может пополняться в процессе работы с помощью химического редактора.

5. Переработке подвергся X-Windows-интерфейс пользователя двумерной версии комплекса. Эта переработка была направлена на повышение удобства его использования за счет введения дополнительных возможностей и повышение надежности взаимодействия с вычислительным модулем.

Описание разработанного программного комплекса, программная документация представлены в Приложении 6, результаты испытаний комплекса отражены в протоколе (Приложение 3г), исходные тексты системы программирования находятся у Исполнителя от Российской Федерации.

2.16 Задание 20
этап 20.1 "Разработка и реализация средств представления знаний для мультипроцессорных архитектур" 

Календарным планом проведения работ по договору ? 2001-42/1 от 17 июля 2001 года по заданию 20 в 4 квартале 2001 года предусмотрено проведение следующей работы:
· разработка кластерной архитектуры программных средств поддержки базы знаний;
· реализация средств представления семантических сетей;
· реализация средств представления систем правил;
· реализация методов декомпозиции больших объемов данных сложной структуры;
· разработка и реализация гибридных средств представления знаний.
Отчетные материалы по этим работам - отчет, комплект эскизной ПД.

Для выполнения договорных обязательств в 4 квартале 2001 года по заданию 20 были выполнены следующие работы:

1. Разработаны теоретические основы и архитектура инструментальных средств проектирования интеллектуальных систем, содержащая ряд модулей. Разработаны алгоритмы работы отдельных модулей и системы в целом. Рассмотрены вопросы параллельной реализации комплекса с учетом особенностей кластерной архитектуры.

2. Выполнена программная реализация инструментальных средств. Программные средства, поддерживающие <Базу знаний> реализованы на Delphi. Остальные модули на С++ с использованием технологии CORBA. Технология CORBA рассматривается как платформа для создания распределенных динамических интеллектуальных систем. Выбор этой платформы обусловлен возможностью ее использования на кластерной архитектуре, а также возможностью создания распределенных систем, модули которых могут работать на различных операционных системах.

3. Разработаны методы декомпозиции больших объемов данных сложной структуры. Разработаны и программно реализованы алгоритмы разрезания графовых моделей сложных данных на подграфы с минимумом связей. Исследована эффективность перераспределения данных между узлами. Указанная часть работы реализуется с использованием библиотеки MPI. Использование MPI обусловлено необходимостью передачи больших объемов данных между модулями системы, расположенными на различных узлах кластера.

4. В прикладной части продолжены исследования по реализации алгоритмов быстрого преобразования Фурье (БПФ) с использованием Т-системы- системы динамического распараллеливания.

5. Подготовлен отчет и выполнена эскизная программная документация.

6. Дополнительно, вне плана, проведена экспериментальная реализация на кластерной архитектуре системы <КЛАСТЕР> для автоматической классификации текстов. Более подробно результаты работы представлены в отчете и приложениях к нему (Приложение 7а,7б).

2.17 Задание 21
этап 21.1 "Научно-техническое и организационное сопровождение выполнения совместной программы"
В рамках задания 21 в 4 квартале 2001 года и 1 квартале 2002 года были выполнены следующие основные работы:
· совместно с НИИ "Кибернетика" НАН Беларуси представлена Программа "СКИФ" Межведомственной экспертной комиссии 21-23 ноября 2002 года (г. Минск) и 26-29 ноября 2002 года, г. Москва, г. Переславль-Залесский;
· проведены семинары "Компьютерные наукоемкие технологии" с участием специалистов СПбГТУ, Белорусской государственной политехнической академии, МГУ, ОАО "НИЦЭВТ" 23 и 30 января 2002 года, г. Переславль-Залесский;
· представлена Программа "СКИФ" на выставке "10 лет СНГ" 10-14 декабря 2001 года, г. Москва;
· подготовлена справка-отчет о выполнении работ за 4 квартал 2001 года по договору ? 2001-42/1 от 17 июля 2001 года, отчеты по Форме ? 1-Союз за 4 квартал 2001 года.

3 ЗАКЛЮЧЕНИЕ

Все работы, предусмотренные в 4 квартале 2001 года в соответствии с календарным планом проведения работ по договору ? 2001-42/1 от 17 июля 2001 года, выполнены в полном объеме. Отчетные материалы по результатам работ за 4 квартал 2001 года оформлены надлежащим образом и находятся у Исполнителя - Института программных систем РАН.

Произведен полный расчет за выполненные работы в 3 и 4 кварталах 2001 года в соответствии с условиями Договора.

Отчет по работам в 4 квартале 2001 года по форме федерального государственного статистического наблюдения по Форме ? 1-Союз "Сведения о ходе выполнения совместных программ" представлен в установленные сроки.


Исполнительный директор
Программы от Российской Федерации
директор ИЦМС ИПС РАН                          __________________ Абрамов С.М.


Главный бухгалтер ИПС РАН                      __________________ Викторова А.Н.