Список публикаций

Технологии создания региональных компьютерных сетей

Абрамов С.М., Белышев Д.В.,   Котельников В.П.,  Пономарев А.Ю.,   Шевчук Ю.В.

Более 10 лет в Институте программных систем РАН работает лаборатория телекоммуникаций "Ботик", являющаяся совместной лабораторией ИПС РАН и Российского НИИ региональных проблем. Лаборатория имеет три основных направления деятельности. Первое из них - это разработка экономически эффективных технических (аппаратных и программных) решений для построения региональных сетей (масштаба город-район). В компьютерной прессе разработанный комплект технических решений назвали "Ботик-технологиями". Второе направление связано с созданием, сопровождением и развитием региональной компьютерной сети города Переславля-Залесского -- системы телекоммуникаций "Ботик" (СТ "Ботик"), как полигона для экспериментальной и опытной эксплуатации, доводки "Ботик-технологий". Третье направление - это передача готовых и отлаженных решений в другие регионы России и страны СНГ.

1. История развития СТ "Ботик"

В начале создания СТ "Ботик" предназначалась для обслуживания ИПС РАН и РосНИИ РП. Сегодня данная система является основным средством доступа к городским компьютерным ресурсам и к сети Интернет для большинства предприятий и учреждений города, для сотен горожан.

1.1. Эпоха UUCP

Работы в области телекоммуникаций начались в ИПС РАН в начале 1990-х годов. Это был период, когда в России еще не было TCP/IP-сетей и телекоммуникации развивались только в форме UUCP-сетей с поддержкой электронной почты, BBS- и FIDO-систем. Лидерами в этих работах, пожалуй, была группа "Релком" из Курчатовского института. В силу давних связей (на почве исследований UNIX-подобных операционных систем) ИПС РАН с группой "Релком" стали одними из первых участников разворачиваемой UUCP-сети "Релком".

1.2. 1994-1995 годы

Завершение эпохи UUCP-сетей и начало работ с TCP/IP-сетями совпали по времени с появлением в России первых ПЭВМ с процессорами Intel 80386. В ИЦМС ИПС РАН новые возможности были использованы для осуществления перевода большей части разработок в среду ОС Linux. В 1994 году было выполнено подключение локальной сети Института к глобальной сети Internet по выделенному телефонному каналу Переславль-Залесский - Москва к академической сети г. Москвы (узел связи М-5 -- здание Президиума Академии наук). Введение в эксплуатацию выделенного телефонного канала Переславль-Залесский --Москва (сеть EmNet/NIS) обеспечило Институту и другим организациям Переславля-Залесского доступ к сети Интернет. В то же время (2004 год) был организован сервер World Wide Web (http://www.botik.ru/) для представления в сети работ сотрудников Института.

1.3. 1996 год

В рамках реализации проекта "Сеть российских университетов (RUNNet)" было предусмотрено создание одного из узлов сети RUNNet в Переславле-Залесском. Земная станция спутниковой связи (ЗССС) "Калинка" была развернута на крыше здания ИПС РАН зимой 1995-1996 годов. Космический канал (64 Кбит/с) связал Переславль-Залесский и Санкт-Петербург ("Вузтелекомцентр", главный узел сети RUNNet). Интересно отметить, что комплект ЗССС "Калинка" для Переславля-Залесского был последним в первой очереди проекта RUNNet, и комплект был не полным -- не хватило маршрутизатора фирмы Cisco. Это обстоятельство только подстегнуло исследования в направлении ПК-маршрутизаторов -- реализации маршрутизаторов на базе ОС Linux, аппаратуры номенклатуры IBM PC и собственных аппаратных и программных разработок [2, 3, 5]. Эти спонтанные разработки затем вылились в сознательное накопление экономически эффективных сетевых решений, базирующихся на использовании IBM-совместимых персональных ЭВМ под управлением ОС Linux в качестве роутеров, терминальных серверов, мостов Ethernet, центральных серверов различных телематических служб и т. д. Используя данные решения была развернута компьютерная сеть института с протоколом TCP/IP; практически все научные сотрудники института получили доступ к e-mail и Веб-ресурсам Интернет непосредственно с рабочего места. Для утилизации емкости сразу обоих каналов -- 64 Кбит/с в сеть RUNNet и 21.6 Кбит/с в сеть EmNet/NIS -- пришлось изучать тонкости глобальной маршрутизации, организовывать собственную автономную систему (AS5572, BOTIK, Scientific & Educational Network of Pereslavl-Zalessky).

1.4. 1997-1999 годы. Гражданская сеть "Ботик"

К весне 1997 года первые 4 жилых дома и детский сад-начальная школа "Почемучка" ИПС РАН были "опутаны" витопарной компьютерной сетью (10 Мбит/с, 10 Base-T), 31 квартира и локальная сеть детского сада получили высококачественный доступ к Сети. Всего система тогда обслуживала 254 компьютера, 143 из которых имели постоянное высокоскоростное подключение, 50 -- постоянное низкоскоростное (через модем), а 61 -- сеансовое модемное подключение. С этого момента начались работы и исследования, направленные на разработку аппаратных и программных решений, организационных мер и сетевой политики, для обеспечения продвижения в Переславле-Залесском (а затем и в других регионах России и СНГ) того, что в дальнейшем назовут "Гражданскими сетями" [1, 4]. Речь идет о компьютерных сетях, которые предоставляют на некоторой территории возможность высокоскоростного постоянного подключения к Сети всем жителям и всем предприятиям на данной территории, реализуя принцип "Сеть для всех, по разумной и доступной цене".

Особое значение в этих работах уделялось снижению цены создания сегментов сети и расходов во время эксплуатации системы:

В ноябре 1997 года был опубликован Веб-сайт [2] с подробным описанием всех наших технических решений [2, 5] для построения городских компьютерных сетей. С этого момента началась передача Ботик-технологий в другие регионы России и СНГ. Здесь имеется в виду и копирование документации с нашего Веб-сайта и прямые контракты на передачу технологий, в рамках которых мы помогали подбирать местный персонал, проводили теоретическую подготовку персонала и практическое обучение, шеф-монтаж первых участков сети и последующий авторский контроль. Первыми проектами передачи технологий стали Гражданские сети Алматы (www.samal.ru, 1998 г.) и Москвы (www.urbannet.ru, 1999 г.).

2001-2005 годы.

Начиная с 2000 года каждый год (до сего дня) наблюдается экспоненциальное развитие системы телекоммуникаций "Ботик": все основные количественные показатели (число подключений, объем передаваемых данных и т. п.) за год возрастают примерно в 1,5 раза. Сегодня, в начале 2005 года, к сети подключено более 3 000 компьютеров у 727 абонентов: 101 организаций и 626 частных лиц. Система обслуживала практически все учреждения науки и образования города, ряд медицинских учреждений, большинство коммерческих предприятий, органы самоуправления, сотни горожан, предоставляя всем высококачественный сетевой доступ: 85% подключений, как в организациях, так и в частных квартирах, являются высокоскоростными постоянными подключениями: 100/10 Мбит/сек, Ethernet.

Продолжались работы по совершенствованию Ботик-технологий. В 2001 году была завершена разработка коммутирующего модуля для оптоволоконной магистрали. Модуль разработан с поддержкой устойчивости к низкому качеству электропитания в районных центрах России. Учитывались большой разброс напряжения в сети, частые и длительные перерывы в электропитании. Изготовлено двенадцать таких модулей, и вся оптоволоконная магистраль системы (от села Веськово на юго-западе, до завода "Славич" на северо-востоке системы) модернизирована с применением данных модулей [6].

Как результат, сегодня магистраль является единым сегментом коммутируемого Fast Ethernet и обеспечивает связь "каждый-с-каждым" для 12 магистральных узлов системы со скоростью 100 Мбит/с. Коммутирующие узлы способны поддержать работоспособность магистрали, даже если в течение суток будут 16-ти-часовые перерывы в подаче электропитания -- для их работы достаточно наличия в течение 8 часов в сутки любого (с отклонением от стандартов) электропитания.

Рис. 1. Модернизированная оптическая магистраль СТ "Ботик"и пример покрытия микрорайона

Описанные выше работы -- модернизация магистрали СТ "Ботик" и построение выделенного канала в Москву, -- выполнялись в рамках суперкомпьютерной Программы "СКИФ" Союзного государства. Цель данных работ: обеспечение надежного высокоскоростного доступа к суперкомпьютерным установкам "СКИФ" в ИПС РАН для всех участников Программы "СКИФ" Союзного государства и для других заинтересованных учреждений науки и образования в России и Беларуси.

2. "Ботик технологии"

В результате более десяти лет работы в ИПС РАН была создана технологическая основа для создания и эксплуатации недорогих и надежных решений для создания региональных компьютерных сетей. В прессе этот подход был назван Ботик-технологиями. Ботик-технология является комплексным решением, охватывающим программную, аппаратную и организационную стороны системы телекоммуникаций, включая реализацию таких функций и подсистем, как: стандартные телекоммуникационные сервисы, мониторинг, администрирование, биллинговую систему, специализированную ГИС , IP-телефонию и др.

Средняя стоимость создания одного абонентского высокоскоростного подключения составляет $200-300. Система в первую очередь ориентирована на беспрепятственный высокоскоростной обмен информацией в рамках региона, на развитие локальных связей и сетевых сообществ: весьма скромная ежемесячная плата дает право на безграничный обмен внутри системы, в полной мере реализуется лозунг "Сеть для всех и по разумным ценам" - ежемесячный платеж для граждан составляет $3 за постоянное высокоскоростное (10/100 Mbps, Ethernet) подключение к системе. Эти платежи обеспечивают все эксплуатационные расходы на содержание системы. Доступ клиентов к Интернет-ресурсам вне системы требует от разумной дополнительной оплаты. Эти средства идут на аренду каналов, соединяющих региональную сеть с Интернетом.

Ботик-технология использована при построении сетей в различных городах России и стран бывшего СССР, в том числе лаборатория "Ботик" успешно выполнила контракты на передачу технологий в Москве (http://www.urbannet.ru/), Алма-Аты (Казахстан. http://www.samal.kz/) и Раменское (Россия, http://www.aviel.ru/).

2.1. Общие принципы Ботик-технологий

В разработке высококачественных малобюджетных региональных компьютерных сетей необходимо учитывать ряд особенностей, обусловленных спецификой российских регионов:

  1. Стоимость создания (расширения) системы должно быть невысокой, правительство и потенциальные клиенты (предприятия, жители) могут обеспечить весьма скромные деньги для создания региональной компьютерной сети. При этом развивающаяся экономика требует создания значительной по масштабам системы (охватывающей все без исключения учреждения и предприятия, всех жителей) и с самыми высокими техническими характеристиками (bandwidth, latency, и т.п.). Поэтому:
    1. Мы полностью отказались от использования дорогих телекоммуникационных устройств (например, готовых маршрутизаторы от Cisco, готовых серверов от IBM или Sun и т.п.). Вместо этого мы используем оборудование массового рынка, такие как комплектующие для компьютеров класса IBM PC, оборудование Ethernet (10/100 Base-T/TX/FL/FX, wireless solutions 802.11a,b,g) и т.д.
    2. Мы полностью отказались от использования коммерческого программного обеспечения. Вместо этого мы используем свободное программное обеспечение (free and open sources software).
    3. За счет собственных аппаратных и программных разработок мы компенсируем технические недостатки (в том числе и в части надежности) используемой массовой аппаратуры и обеспечиваем недостающие функции и свойства. Таким образом, удается достичь требуемых высоких технических характеристик системы при сохранении весьма низкой цены.
    4. Для создания региональных сетей значительного размера мы используем технологию Ethernet и соответствующие кабели (twisted pair cables, fiber optic cables) и устройства (hubs, switches). Вообще говоря, все это оборудование разрабатывалось для небольших локальных сетей (local area network, LAN). Использование решений LAN для создания региональных сетей (WAN, wide area network) потребовало от нас решения некоторого числа технических проблем. Приведем только один пример проблемы, с которой не сталкиваются в LAN. Для соединения зданий в городских кварталах можно использовать дешевый кабель витой пары (вместо дорогого оптоволоконного кабеля). Однако при этом кабель и оборудование следует защищать от воздействия атмосферного электричества.
  2. Ежемесячные расходы на систему должны быть невысокими, правительство и потенциальные клиенты (предприятия, жители) могут обеспечить весьма скромные платежи за сервис, предоставляемый компьютерной сетью (при этом, система должна обеспечиваться весьма высокий уровень сервиса). Для эксплуатации системы не должно требоваться много персонала. Так же должны быть весьма скромными требования на профессиональную подготовку персонала (кадры с серьезным компьютерным образованием "дорого стоят", да и их трудно найти вне крупных городов России). Поэтому:
    1. В оборудовании и программном обеспечении системы мы реализовали меры, повышающие надежность, поддержали функции самопроверки работоспособности устройств и самовосстановления их после сбоя. Тем самым, большая часть проблем устраняется системой без вмешательства персонала.
    2. В региональных сетях мы предусматриваем избыточные каналы связи, а в системе используем протоколы динамической маршрутизации, позволяющие автоматически (без вмешательства персонала) находить "обходные" маршруты, если часть каналов в системе оказалось в неработоспособном состоянии.
    3. Разработана система мониторинга и специализированная ГИС, обеспечивающие персонал своевременной и точной информацией о месте неисправностей в системе (которые не удалось устранить автоматически).
    4. Все штатные операции, необходимые для эксплуатации системы (мониторинг, биллинг, обслуживание новых клиентов и оформление договоров, заведение новых услуг у клиентов, изменение конфигураций услуг клиентов, техническая поддержка и т.п.) реализованы в системе так, что их выполнять может персонал, не имеющий серьезной компьютерной подготовки (достаточно навыков работы с Веб-сайтами). Тем самым, удается "разгрузить" системного программиста - выполнение большинства операций с системой переданы от него в ведение технического персонала. Более того, многие операции переданы от технического персонала к клиенту: операции со своими услугами доступны клиенту для выполнения с соответствующего персонального Веб-сайта клиента.
  3. Должны учитываться региональные особенности.
    1. На большей части территории России качество электроснабжения весьма низкое (сильное колебание напряжение в сети, частые и продолжительные перебои в электроснабжении). Стабильная работа системы в целом должна обеспечиваться с учетом данных обстоятельств. Поэтому, нами были разработаны блоки питания (с аккумуляторами), способные использовать внешнее электропитание низкого качества и обеспечивающие весьма продолжительную работу оборудования сети в условиях отсутствия электропитания.
    2. В сельских районах России оборудование для региональных сетей чаще всего придется размещать вне помещения. Был разработан специальный контейнер, который в российском климате обеспечивает необходимые для работы оборудования условия.

Как это ясно из сказанного выше, Ботик-технология включает различные решения в части аппаратных средств, программного обеспечения и организационных мероприятий для создания и эксплуатации региональных сетей. Далее мы уделим основное внимание разработанным нами в последние годы аппаратным средствам для региональных сетей [7].

2.2. ПК-маршрутизатор

Центральным местом в любой сети являются активные узлы сети: маршрутизаторы, мосты, терминальные серверы и пр. Идея использования IBM PC со свободным клоном Unix для реализации этих устройств хорошо известна, лабораторией "Ботик" освоено серийное производство универсального сетевого узла, называемого ПК-маршрутизатором, который при стоимости в $400-$1000 обладает следующими свойствами:

 

Рис 2. ПК-маршрутизатор без механически подвижных частей с низким энергопотреблением

2.3. Сторожевой таймер Watchdog для ПК- маршрутизатора

Специальное конфигурирование ОС Linux позволяет реализовать следующее свойство ПК-маршрутизатора: операции Reset или выключения/включения допустима в любой момент времени, и эта операция восстанавливает работоспособность ПК-маршрутизатора, если она была потеряна. Таким образом, ПК-маршрутизатор может сам при обнаружении сбоя восстановить свою работоспособность путем выполнения перезагрузки. Для этого служит сторожевой таймер watchdog (рис. 3).

Идея устройства watchdog очень проста:

Рис 3. Сторожевой таймер Watchdog для ПК-роутера

Серийно выпускаемый нами аппаратный сторожевой таймер (watchdog) разработан на базе микроконтроллера Atmel AVR AT90S2313. Основные характеристики изделия:

Приятно отметить, что стоимость изделия получилась существенно ниже аналогичных, что позволило повсеместно использовать его в рамках построенной региональной сети.

2.4. Блоки питания

Одной из важных проблем, с которой часто приходится сталкиваться, прежде всего, в небольших городах и сельской местности - это нестабильное электропитание. Здесь проблемы делятся на две части: отсутствие электропитания в течение нескольких часов, а также скачки напряжения. Решение этих проблем стандартными средствами с использованием UPS дорого и не всегда возможно, т.к. обычный UPS с необходимыми характеристиками по длительности работы в автономном режиме достаточно велик и требует усложнения монтажа. В Ботик-технологии предусмотрен спектр устройств, обеспечивающих надежное электропитание для различных нужд.

2.4.1 Блок питания для ПК-маршрутизатора

Блок питания для ПК-маршрутизатора не содержит механически-подвижными частей (вентиляторов). Компактная встроенная аккумуляторная батарея в стандартной комплектации (может наращиваться) должна поддержать автономную работу ПК-маршрутизатора в перерывах электропитания до 30 минут. Блок питания сохраняет работоспособность при входном напряжении в диапазоне от 100 до 300 В, и переносит увеличение входного напряжения до 500 В. В составе блока питания используется микроконтроллер Atmel ATtiny26, что позволило реализовать следующие характеристики изделия:

2.4.2. MicroUPS: блок питания для коммутаторов

В региональных сетях на участках с "медной" магистралью используются многочисленные недорогие неуправляемые коммутаторы, выполняющие как функции точек доступа, так и функции ретрансляторов. Отключение электропитания в точке, где установлен коммутатор, влечет за собой перерыв в обслуживании не только подключенных к данному устройству пользователей, но и всей находящейся за ним части сети. Кроме того, в этой ситуации затруднена удаленная диагностика неисправности: невозможно отличить отключение электропитания от повреждения линии, неисправности коммутатора или его повреждения (пожар, кража и т.д.).

Для решения данной проблемы разработан компактный (50х30х30 мм) блок питания для маломощного оборудования с аккумулятором и микропроцессором Atmel ATtiny26, который позволяет:

2.5. EtherBox: модуль управления неуправляемыми коммутаторами

Для понижения расходов на эксплуатацию сети требуется максимально автоматизировать мониторинг работоспособности ее компонентов вне зависимости от того, имело ли изначальное устройство интерфейс для управления или нет. Для решения этой задачи было разработано и запущено в производство компактное (25х28х10 мм) изделие EtherBox на микросхеме Atmel AT94K05 с Ethernet портом и с поддержкой TCP/IP, рис. 4. Такое изделие, подключенное к свободному порту неуправляемого коммутатора, позволяет выполнять мониторинг этого узла сети с использованием привычного ping-теста.

Рис 4. EtherBox (слева), EtherBox: вживлен в коммутатор COMPEX "PS2208B" (справа)

3. Решения для сельских сетей

Проблема создания сельских сетей является фундаментальной проблемой для России в силу протяженности территории, большого числа сельского населения и отсутствия инфраструктуры связи в сельских районах. Компьютерные сети в селе позволяют убить многих зайцев: закрепить молодёжь, повысив качество жизни, решить проблему массовой телефонизации за счет IP-телефонии и многие другие проблемы. Отметим, что исследования в этой области были поручены ИПС как проект нашего отделения Академии наук. За 2004 год были не только разработаны все необходимые технологические решения, но для их отладки и проверки реализован пилотный сегмент сельской компьютерной сети, обслуживающей 6 населенных пунктов Переславского района (рис. 5).

Рис. 5. Карта проекта беспроводной сельской сети в Переславском районе

Отметим основные особенности построения компьютерной сети в сельской местности. Прежде всего, это большие расстояния, как между населенными пунктами, так и между отдельными абонентами. Другое важная особенность состоит в том, что в селе отсутствуют отапливаемые помещения общего пользования, в которых можно установить оборудование. Установка аппаратуры в частных домах нежелательна, так как ремонтникам нужен свободный доступ к ней, при этом мы можем потревожить хозяев, поэтому требуется выполнить размещение оборудования на улице.

Рис 6. Схема построения сегмента сельской компьютерной сети

3.1. Общая структура компьютерной сети в сельской местности. Основные компоненты

В рамках выполненной исследовательской работы нами был проведен анализ решений, пригодных для создания сельских компьютерных сетей. На основе анализа мы получили следующую структуру для компьютерных сетей сельских районов России, изображенную на рис. 6, где отражены основные компоненты этой сети:

  1. магистральные линии, созданные по технологии беспроводной связи (позиции 1 на рис. 6), магистральные узлы системы;
  2. радиосоты (позиции 2 на рис. 6), магистральные узлы системы с поддержкой функции базовой станции (узла беспроводного доступа к сети абонентов);
  3. магистральные волоконнооптические линии связи (позиции 3 на рис. 6);
  4. абонентский комплект беспроводного доступа (позиции 4 на рис. 6);
  5. абонентский комплект доступа по технологии Ethernet (позиции 5 на рис. 6).

Рис 7. Термобокс собственной разработки

Одной из основных задач при реализации описанной схемы является задача безопасного размещения оборудования вне помещений, которая была решена путем создания собственного термобокса (рис. 7) - влаго/термоизолированного металлического вандалоустойчивого контейнера с поддержкой управляемого обогрева и охлаждения. Термобокс приспособлен для монтажа на высотных сооружениях (мачты, столбы, здания). Контейнер состоит из двух секций: термоизолированной, где расположено оборудование и термонеизолированной, где располагается аккумулятор и блок питания. При этом при температуре от -10 до плюс 25, что свойственно для средней полосы России, никакого обогревателя и вентилятора включаться не будет. Для реализации магистральных узлов и базовых станций в термобоксе размещают бескорпусной ПК-маршрутизатор с адаптерами IEEE 802.11*. В зависимости от условий применения к адаптерам подключают те или иные антенны для диапазона 2.4 Ghz. Для реализации абонентских комплектов использованы изделия D-Link DWL-900AP+ в режиме client.

3.2. Высотные сооружения для беспроводных линий связи

Самой большой проблемой для беспроводных технологий является требование наличия прямой (оптической) видимости между двумя антеннами на концах линии связи. Если не удается использовать какие-либо высотные строения или особенности местности и за счет этого выполнить условие обеспечения прямой видимости, то приходится прибегать к установке вышек для размещения антенн радиооборудования. Однако организация таких вышек связана с дорогостоящими конструкциями и строительными работами. Тем самым, если не удается избежать строительства таких вышек, то дешевизна организации беспроводной линии сводится на нет.

Рис. 8. Село Купань: магистральный узел размещен вне помещения, на специально установленном для этого осветительном бетонном столбе с дополнительной мачтой

В рамках проведения данного проекта мы устанавливали обыкновенные бетонные осветительные столбы вместо применения дорогостоящих вышек. В некоторых случаях для обеспечения необходимой высоты столб наращивался специальной конструкцией, для закрепления антенн (рис. 8). Столбы также использовались для размещения контейнеров с оборудованием связи.

При организации беспроводных компьютерных сетей очень важным является определение условий прямой видимости между магистральными узлами системы. Как правило, такие работы выполняются в виде заказа в определенные организации. Такие заказы приводят к временным задержкам в проектировании и дополнительным расходам. Заказ профиля в ГСПИ выполняется в течение месяца (для районов, удаленных от крупных городов) и стоит 3-5 тыс. рублей в зависимости от длины и сложности участка. При массовом строительстве компьютерных сельских сетей, размещение внешних заказов на проектирование может стать серьезным тормозом на пути реализации проекта. Поэтому для оценки наличия прямой видимости нами был применен простой метод, позволяющий самостоятельно выполнять все необходимые работы. Для оценки наличия прямой видимости и определения высот размещения антенн для магистральных беспроводных линий связи и антенн радиосот беспроводного доступа был закуплен шар метеорологический с чехлом яркой расцветки. Для определения необходимой высоты установки антенн над поверхностью земли производился подъем шара в точке "А" предполагаемой установки первой антенны и велось наблюдение в точке "Б" установки второй антенны.

Резюмируя выше сказанное, можно констатировать, что 10 лет эксплуатации региональных сетей в городских условиях, построенных с использованием описанных программно-аппаратных средств, на практике доказали высокую надежность и отличные технические показатели сети при низкой стоимости. Построенный пилотный сегмент в сельской местности также позволяет сделать вывод о том, что разработанные технологические решения могут успешно использоваться и при построении сельских компьютерных сетей. Накопленный опыт по производству и внедрению разработанных решений позволяет рассчитывать на широкое распространение подобных сетей, что, несомненно, даст возможность большому количеству людей идти в ногу со временем, пользуясь самыми современными технологиями.

4. Благодарности

Описанные в данной статье работы были выполнены при поддержке суперкомпьютерной программы "СКИФ" Союзного государства, Программы фундаментальных научных исследований ОИТВС РАН "Новые физические и структурные решения в инфотелекоммуникациях" и Программы фундаментальных научных исследований ОИТВС РАН "Оптимизация вычислительных архитектур под конкретные классы задач, информационная безопасность сетевых технологий". Авторы особо благодарят академика Е.П. Велихова за его интерес к нашим исследованиям и активную поддержку наших работ в области создания доступных телекоммуникаций технологий.

Список литературы.

  1. Абрамов  С.М. Сеть для всех и по разумным ценам // Компьютерра. - No 34 (211), 25 августа 1997 г., c. 28-30.
  2. Экономически эффективные технологии построения городских телекоммуникационных систем для науки и образования. Методические материалы, электронный ресурс, http://www.botik.ru/tech/ . 1997.
  3. Абрамов С.М., Позлевич Р.В., Пономарев А.Ю., Шевчук Ю.В. Опыт использования PC-роутеров // Международный симпозиум "Роль информатики в региональном развитии", Переславль-Залесский, 26-29.10.1996 г.: Труды симпозиума ред. Айламазян А.К. -- M.: Наука, - Физматлит, 1997, c. 48-50.
  4. Абрамов С.М., Пономарев А.Ю., Шевчук Ю.В. Широко доступный Интернет как путь в открытое общество. Опыт Переславля-Залесского // Интернет. Общество. Личность (ИОЛ-99): Труды конференции. --СПб., 1999.
  5. Шевчук Ю.В. Методы построения экономически эффективных региональных компьютерных сетей // Дисс. на соискание уч. степени канд. тех. наук, спец. 05.13.11 - математическое и программное обеспечение вычислительных машин, комплексов, систем и сетей, ИПС РАН, 1999.
  6. Абрамов С.М., Котельников В.П., Пономарев А.Ю., Шевчук Ю.В., Абрамов С.М. О построении высокоскоростная оптической магистрали городской компьютерной сети с учетом особенностей электропитания в районных центрах России // Всеросс. научная конференция "Научный сервис в сети Интернет", 23-28 сентября 2002 г., г. Новороссийск: Труды конференции. -- М.: Изд-во МГУ, 2002, c. 244-247.
  7. Абрамов С.М., Котельников В.П., Пономарев А.Ю., Шевчук Ю.В., Якубов Б.В. Новые аппаратные разработки для региональных компьютерных сетей от лаборатории "Ботик" // Научный сервис в сети Интернет: Труды Всероссийской научной конференции, 20-25 сентября 2004 г. Новороссийск, Изд-во МГУ, М., 2004, С. 244-246.