|
|
|
Рис. 1. Модернизированная оптическая магистраль СТ "Ботик"и пример покрытия микрорайона |
Абрамов С.М., Белышев Д.В., Котельников В.П., Пономарев А.Ю., Шевчук Ю.В.
Более 10 лет в Институте программных систем РАН работает лаборатория телекоммуникаций "Ботик", являющаяся совместной лабораторией ИПС РАН и Российского НИИ региональных проблем. Лаборатория имеет три основных направления деятельности. Первое из них - это разработка экономически эффективных технических (аппаратных и программных) решений для построения региональных сетей (масштаба город-район). В компьютерной прессе разработанный комплект технических решений назвали "Ботик-технологиями". Второе направление связано с созданием, сопровождением и развитием региональной компьютерной сети города Переславля-Залесского -- системы телекоммуникаций "Ботик" (СТ "Ботик"), как полигона для экспериментальной и опытной эксплуатации, доводки "Ботик-технологий". Третье направление - это передача готовых и отлаженных решений в другие регионы России и страны СНГ.
В начале создания СТ "Ботик" предназначалась для обслуживания ИПС РАН и РосНИИ РП. Сегодня данная система является основным средством доступа к городским компьютерным ресурсам и к сети Интернет для большинства предприятий и учреждений города, для сотен горожан.
Работы в области телекоммуникаций начались в ИПС РАН в начале 1990-х годов. Это был период, когда в России еще не было TCP/IP-сетей и телекоммуникации развивались только в форме UUCP-сетей с поддержкой электронной почты, BBS- и FIDO-систем. Лидерами в этих работах, пожалуй, была группа "Релком" из Курчатовского института. В силу давних связей (на почве исследований UNIX-подобных операционных систем) ИПС РАН с группой "Релком" стали одними из первых участников разворачиваемой UUCP-сети "Релком".
Завершение эпохи UUCP-сетей и начало работ с TCP/IP-сетями совпали по времени с появлением в России первых ПЭВМ с процессорами Intel 80386. В ИЦМС ИПС РАН новые возможности были использованы для осуществления перевода большей части разработок в среду ОС Linux. В 1994 году было выполнено подключение локальной сети Института к глобальной сети Internet по выделенному телефонному каналу Переславль-Залесский - Москва к академической сети г. Москвы (узел связи М-5 -- здание Президиума Академии наук). Введение в эксплуатацию выделенного телефонного канала Переславль-Залесский --Москва (сеть EmNet/NIS) обеспечило Институту и другим организациям Переславля-Залесского доступ к сети Интернет. В то же время (2004 год) был организован сервер World Wide Web (http://www.botik.ru/) для представления в сети работ сотрудников Института.
В рамках реализации проекта "Сеть российских университетов (RUNNet)" было предусмотрено создание одного из узлов сети RUNNet в Переславле-Залесском. Земная станция спутниковой связи (ЗССС) "Калинка" была развернута на крыше здания ИПС РАН зимой 1995-1996 годов. Космический канал (64 Кбит/с) связал Переславль-Залесский и Санкт-Петербург ("Вузтелекомцентр", главный узел сети RUNNet). Интересно отметить, что комплект ЗССС "Калинка" для Переславля-Залесского был последним в первой очереди проекта RUNNet, и комплект был не полным -- не хватило маршрутизатора фирмы Cisco. Это обстоятельство только подстегнуло исследования в направлении ПК-маршрутизаторов -- реализации маршрутизаторов на базе ОС Linux, аппаратуры номенклатуры IBM PC и собственных аппаратных и программных разработок [2, 3, 5]. Эти спонтанные разработки затем вылились в сознательное накопление экономически эффективных сетевых решений, базирующихся на использовании IBM-совместимых персональных ЭВМ под управлением ОС Linux в качестве роутеров, терминальных серверов, мостов Ethernet, центральных серверов различных телематических служб и т. д. Используя данные решения была развернута компьютерная сеть института с протоколом TCP/IP; практически все научные сотрудники института получили доступ к e-mail и Веб-ресурсам Интернет непосредственно с рабочего места. Для утилизации емкости сразу обоих каналов -- 64 Кбит/с в сеть RUNNet и 21.6 Кбит/с в сеть EmNet/NIS -- пришлось изучать тонкости глобальной маршрутизации, организовывать собственную автономную систему (AS5572, BOTIK, Scientific & Educational Network of Pereslavl-Zalessky).
К весне 1997 года первые 4 жилых дома и детский сад-начальная школа "Почемучка" ИПС РАН были "опутаны" витопарной компьютерной сетью (10 Мбит/с, 10 Base-T), 31 квартира и локальная сеть детского сада получили высококачественный доступ к Сети. Всего система тогда обслуживала 254 компьютера, 143 из которых имели постоянное высокоскоростное подключение, 50 -- постоянное низкоскоростное (через модем), а 61 -- сеансовое модемное подключение. С этого момента начались работы и исследования, направленные на разработку аппаратных и программных решений, организационных мер и сетевой политики, для обеспечения продвижения в Переславле-Залесском (а затем и в других регионах России и СНГ) того, что в дальнейшем назовут "Гражданскими сетями" [1, 4]. Речь идет о компьютерных сетях, которые предоставляют на некоторой территории возможность высокоскоростного постоянного подключения к Сети всем жителям и всем предприятиям на данной территории, реализуя принцип "Сеть для всех, по разумной и доступной цене".
Особое значение в этих работах уделялось снижению цены создания сегментов сети и расходов во время эксплуатации системы:
В ноябре 1997 года был опубликован Веб-сайт [2] с подробным описанием всех наших технических решений [2, 5] для построения городских компьютерных сетей. С этого момента началась передача Ботик-технологий в другие регионы России и СНГ. Здесь имеется в виду и копирование документации с нашего Веб-сайта и прямые контракты на передачу технологий, в рамках которых мы помогали подбирать местный персонал, проводили теоретическую подготовку персонала и практическое обучение, шеф-монтаж первых участков сети и последующий авторский контроль. Первыми проектами передачи технологий стали Гражданские сети Алматы (www.samal.ru, 1998 г.) и Москвы (www.urbannet.ru, 1999 г.).
Начиная с 2000 года каждый год (до сего дня) наблюдается экспоненциальное развитие системы телекоммуникаций "Ботик": все основные количественные показатели (число подключений, объем передаваемых данных и т. п.) за год возрастают примерно в 1,5 раза. Сегодня, в начале 2005 года, к сети подключено более 3 000 компьютеров у 727 абонентов: 101 организаций и 626 частных лиц. Система обслуживала практически все учреждения науки и образования города, ряд медицинских учреждений, большинство коммерческих предприятий, органы самоуправления, сотни горожан, предоставляя всем высококачественный сетевой доступ: 85% подключений, как в организациях, так и в частных квартирах, являются высокоскоростными постоянными подключениями: 100/10 Мбит/сек, Ethernet.
Продолжались работы по совершенствованию Ботик-технологий. В 2001 году была завершена разработка коммутирующего модуля для оптоволоконной магистрали. Модуль разработан с поддержкой устойчивости к низкому качеству электропитания в районных центрах России. Учитывались большой разброс напряжения в сети, частые и длительные перерывы в электропитании. Изготовлено двенадцать таких модулей, и вся оптоволоконная магистраль системы (от села Веськово на юго-западе, до завода "Славич" на северо-востоке системы) модернизирована с применением данных модулей [6].
Как результат, сегодня магистраль является единым сегментом коммутируемого Fast Ethernet и обеспечивает связь "каждый-с-каждым" для 12 магистральных узлов системы со скоростью 100 Мбит/с. Коммутирующие узлы способны поддержать работоспособность магистрали, даже если в течение суток будут 16-ти-часовые перерывы в подаче электропитания -- для их работы достаточно наличия в течение 8 часов в сутки любого (с отклонением от стандартов) электропитания.
|
|
|
Рис. 1. Модернизированная оптическая магистраль СТ "Ботик"и пример покрытия микрорайона |
Описанные выше работы -- модернизация магистрали СТ "Ботик" и построение выделенного канала в Москву, -- выполнялись в рамках суперкомпьютерной Программы "СКИФ" Союзного государства. Цель данных работ: обеспечение надежного высокоскоростного доступа к суперкомпьютерным установкам "СКИФ" в ИПС РАН для всех участников Программы "СКИФ" Союзного государства и для других заинтересованных учреждений науки и образования в России и Беларуси.
В результате более десяти лет работы в ИПС РАН была создана технологическая основа для создания и эксплуатации недорогих и надежных решений для создания региональных компьютерных сетей. В прессе этот подход был назван Ботик-технологиями. Ботик-технология является комплексным решением, охватывающим программную, аппаратную и организационную стороны системы телекоммуникаций, включая реализацию таких функций и подсистем, как: стандартные телекоммуникационные сервисы, мониторинг, администрирование, биллинговую систему, специализированную ГИС , IP-телефонию и др.
Средняя стоимость создания одного абонентского высокоскоростного подключения составляет $200-300. Система в первую очередь ориентирована на беспрепятственный высокоскоростной обмен информацией в рамках региона, на развитие локальных связей и сетевых сообществ: весьма скромная ежемесячная плата дает право на безграничный обмен внутри системы, в полной мере реализуется лозунг "Сеть для всех и по разумным ценам" - ежемесячный платеж для граждан составляет $3 за постоянное высокоскоростное (10/100 Mbps, Ethernet) подключение к системе. Эти платежи обеспечивают все эксплуатационные расходы на содержание системы. Доступ клиентов к Интернет-ресурсам вне системы требует от разумной дополнительной оплаты. Эти средства идут на аренду каналов, соединяющих региональную сеть с Интернетом.
Ботик-технология использована при построении сетей в различных городах России и стран бывшего СССР, в том числе лаборатория "Ботик" успешно выполнила контракты на передачу технологий в Москве (http://www.urbannet.ru/), Алма-Аты (Казахстан. http://www.samal.kz/) и Раменское (Россия, http://www.aviel.ru/).
В разработке высококачественных малобюджетных региональных компьютерных сетей необходимо учитывать ряд особенностей, обусловленных спецификой российских регионов:
Как это ясно из сказанного выше, Ботик-технология включает различные решения в части аппаратных средств, программного обеспечения и организационных мероприятий для создания и эксплуатации региональных сетей. Далее мы уделим основное внимание разработанным нами в последние годы аппаратным средствам для региональных сетей [7].
Центральным местом в любой сети являются активные узлы сети: маршрутизаторы, мосты, терминальные серверы и пр. Идея использования IBM PC со свободным клоном Unix для реализации этих устройств хорошо известна, лабораторией "Ботик" освоено серийное производство универсального сетевого узла, называемого ПК-маршрутизатором, который при стоимости в $400-$1000 обладает следующими свойствами:
|
|
|
Рис 2. ПК-маршрутизатор без механически подвижных частей с низким энергопотреблением |
Специальное конфигурирование ОС Linux позволяет реализовать следующее свойство ПК-маршрутизатора: операции Reset или выключения/включения допустима в любой момент времени, и эта операция восстанавливает работоспособность ПК-маршрутизатора, если она была потеряна. Таким образом, ПК-маршрутизатор может сам при обнаружении сбоя восстановить свою работоспособность путем выполнения перезагрузки. Для этого служит сторожевой таймер watchdog (рис. 3).
Идея устройства watchdog очень проста:
|
|
|
Рис 3. Сторожевой таймер Watchdog для ПК-роутера |
Серийно выпускаемый нами аппаратный сторожевой таймер (watchdog) разработан на базе микроконтроллера Atmel AVR AT90S2313. Основные характеристики изделия:
Приятно отметить, что стоимость изделия получилась существенно ниже аналогичных, что позволило повсеместно использовать его в рамках построенной региональной сети.
Одной из важных проблем, с которой часто приходится сталкиваться, прежде всего, в небольших городах и сельской местности - это нестабильное электропитание. Здесь проблемы делятся на две части: отсутствие электропитания в течение нескольких часов, а также скачки напряжения. Решение этих проблем стандартными средствами с использованием UPS дорого и не всегда возможно, т.к. обычный UPS с необходимыми характеристиками по длительности работы в автономном режиме достаточно велик и требует усложнения монтажа. В Ботик-технологии предусмотрен спектр устройств, обеспечивающих надежное электропитание для различных нужд.
Блок питания для ПК-маршрутизатора не содержит механически-подвижными частей (вентиляторов). Компактная встроенная аккумуляторная батарея в стандартной комплектации (может наращиваться) должна поддержать автономную работу ПК-маршрутизатора в перерывах электропитания до 30 минут. Блок питания сохраняет работоспособность при входном напряжении в диапазоне от 100 до 300 В, и переносит увеличение входного напряжения до 500 В. В составе блока питания используется микроконтроллер Atmel ATtiny26, что позволило реализовать следующие характеристики изделия:
В региональных сетях на участках с "медной" магистралью используются многочисленные недорогие неуправляемые коммутаторы, выполняющие как функции точек доступа, так и функции ретрансляторов. Отключение электропитания в точке, где установлен коммутатор, влечет за собой перерыв в обслуживании не только подключенных к данному устройству пользователей, но и всей находящейся за ним части сети. Кроме того, в этой ситуации затруднена удаленная диагностика неисправности: невозможно отличить отключение электропитания от повреждения линии, неисправности коммутатора или его повреждения (пожар, кража и т.д.).
Для решения данной проблемы разработан компактный (50х30х30 мм) блок питания для маломощного оборудования с аккумулятором и микропроцессором Atmel ATtiny26, который позволяет:
Для понижения расходов на эксплуатацию сети требуется максимально автоматизировать мониторинг работоспособности ее компонентов вне зависимости от того, имело ли изначальное устройство интерфейс для управления или нет. Для решения этой задачи было разработано и запущено в производство компактное (25х28х10 мм) изделие EtherBox на микросхеме Atmel AT94K05 с Ethernet портом и с поддержкой TCP/IP, рис. 4. Такое изделие, подключенное к свободному порту неуправляемого коммутатора, позволяет выполнять мониторинг этого узла сети с использованием привычного ping-теста.
|
|
|
Рис 4. EtherBox (слева), EtherBox: вживлен в коммутатор COMPEX "PS2208B" (справа) |
Проблема создания сельских сетей является фундаментальной проблемой для России в силу протяженности территории, большого числа сельского населения и отсутствия инфраструктуры связи в сельских районах. Компьютерные сети в селе позволяют убить многих зайцев: закрепить молодёжь, повысив качество жизни, решить проблему массовой телефонизации за счет IP-телефонии и многие другие проблемы. Отметим, что исследования в этой области были поручены ИПС как проект нашего отделения Академии наук. За 2004 год были не только разработаны все необходимые технологические решения, но для их отладки и проверки реализован пилотный сегмент сельской компьютерной сети, обслуживающей 6 населенных пунктов Переславского района (рис. 5).
|
|
|
Рис. 5. Карта проекта беспроводной сельской сети в Переславском районе |
Отметим основные особенности построения компьютерной сети в сельской местности. Прежде всего, это большие расстояния, как между населенными пунктами, так и между отдельными абонентами. Другое важная особенность состоит в том, что в селе отсутствуют отапливаемые помещения общего пользования, в которых можно установить оборудование. Установка аппаратуры в частных домах нежелательна, так как ремонтникам нужен свободный доступ к ней, при этом мы можем потревожить хозяев, поэтому требуется выполнить размещение оборудования на улице.
|
|
|
Рис 6. Схема построения сегмента сельской компьютерной сети |
В рамках выполненной исследовательской работы нами был проведен анализ решений, пригодных для создания сельских компьютерных сетей. На основе анализа мы получили следующую структуру для компьютерных сетей сельских районов России, изображенную на рис. 6, где отражены основные компоненты этой сети:
|
|
|
Рис 7. Термобокс собственной разработки |
Одной из основных задач при реализации описанной схемы является задача безопасного размещения оборудования вне помещений, которая была решена путем создания собственного термобокса (рис. 7) - влаго/термоизолированного металлического вандалоустойчивого контейнера с поддержкой управляемого обогрева и охлаждения. Термобокс приспособлен для монтажа на высотных сооружениях (мачты, столбы, здания). Контейнер состоит из двух секций: термоизолированной, где расположено оборудование и термонеизолированной, где располагается аккумулятор и блок питания. При этом при температуре от -10 до плюс 25, что свойственно для средней полосы России, никакого обогревателя и вентилятора включаться не будет. Для реализации магистральных узлов и базовых станций в термобоксе размещают бескорпусной ПК-маршрутизатор с адаптерами IEEE 802.11*. В зависимости от условий применения к адаптерам подключают те или иные антенны для диапазона 2.4 Ghz. Для реализации абонентских комплектов использованы изделия D-Link DWL-900AP+ в режиме client.
Самой большой проблемой для беспроводных технологий является требование наличия прямой (оптической) видимости между двумя антеннами на концах линии связи. Если не удается использовать какие-либо высотные строения или особенности местности и за счет этого выполнить условие обеспечения прямой видимости, то приходится прибегать к установке вышек для размещения антенн радиооборудования. Однако организация таких вышек связана с дорогостоящими конструкциями и строительными работами. Тем самым, если не удается избежать строительства таких вышек, то дешевизна организации беспроводной линии сводится на нет.
|
|
|
Рис. 8. Село Купань: магистральный узел размещен вне помещения, на специально установленном для этого осветительном бетонном столбе с дополнительной мачтой |
В рамках проведения данного проекта мы устанавливали обыкновенные бетонные осветительные столбы вместо применения дорогостоящих вышек. В некоторых случаях для обеспечения необходимой высоты столб наращивался специальной конструкцией, для закрепления антенн (рис. 8). Столбы также использовались для размещения контейнеров с оборудованием связи.
При организации беспроводных компьютерных сетей очень важным является определение условий прямой видимости между магистральными узлами системы. Как правило, такие работы выполняются в виде заказа в определенные организации. Такие заказы приводят к временным задержкам в проектировании и дополнительным расходам. Заказ профиля в ГСПИ выполняется в течение месяца (для районов, удаленных от крупных городов) и стоит 3-5 тыс. рублей в зависимости от длины и сложности участка. При массовом строительстве компьютерных сельских сетей, размещение внешних заказов на проектирование может стать серьезным тормозом на пути реализации проекта. Поэтому для оценки наличия прямой видимости нами был применен простой метод, позволяющий самостоятельно выполнять все необходимые работы. Для оценки наличия прямой видимости и определения высот размещения антенн для магистральных беспроводных линий связи и антенн радиосот беспроводного доступа был закуплен шар метеорологический с чехлом яркой расцветки. Для определения необходимой высоты установки антенн над поверхностью земли производился подъем шара в точке "А" предполагаемой установки первой антенны и велось наблюдение в точке "Б" установки второй антенны.
Резюмируя выше сказанное, можно констатировать, что 10 лет эксплуатации региональных сетей в городских условиях, построенных с использованием описанных программно-аппаратных средств, на практике доказали высокую надежность и отличные технические показатели сети при низкой стоимости. Построенный пилотный сегмент в сельской местности также позволяет сделать вывод о том, что разработанные технологические решения могут успешно использоваться и при построении сельских компьютерных сетей. Накопленный опыт по производству и внедрению разработанных решений позволяет рассчитывать на широкое распространение подобных сетей, что, несомненно, даст возможность большому количеству людей идти в ногу со временем, пользуясь самыми современными технологиями.
Описанные в данной статье работы были выполнены при поддержке суперкомпьютерной программы "СКИФ" Союзного государства, Программы фундаментальных научных исследований ОИТВС РАН "Новые физические и структурные решения в инфотелекоммуникациях" и Программы фундаментальных научных исследований ОИТВС РАН "Оптимизация вычислительных архитектур под конкретные классы задач, информационная безопасность сетевых технологий". Авторы особо благодарят академика Е.П. Велихова за его интерес к нашим исследованиям и активную поддержку наших работ в области создания доступных телекоммуникаций технологий.