Копия текста публикации со страницы http://www.computerra.ru/offline/1997/211/742/

Сеть для всех и по разумным ценам

#34 25 августа 1997 года.
СЕРГЕЙ АБРАМОВ

В данной статье дается краткое изложение технических решений, используемых в системе телекоммуникаций "Ботик" (СТ "Ботик") Переславского региона, упоминавшейся в предыдущем обсуждении темы "Сети по-домашнему" ("Компьютерра" #26/203). Речь идет о дешевых, надежных и эффективных сетевых технологиях и организационных решениях, уместных при создании средней по размеру региональной IP-сети (50-500 постоянных подключений, скорость каналов 2-100 Mbps, расстояния - до 20 км). Надеюсь, читатель простит это естественное расширение темы обсуждения "сети по-домашнему" до темы "сети для всех и по разумным ценам", так как "сеть по-домашнему" - по большому счету, это обычная региональная сеть, только дешевая.

СТ "Ботик"

СТ "Ботик" создана, сопровождается и развивается лабораторией телекоммуникаций "Ботик" - совместной лабораторией Института программных систем (ИПС РАН) и Российского НИИ региональных проблем (РосНИИ РП Министерства высшего и профессионального образования). На первом этапе создания СТ "Ботик" главной нашей целью было обеспечение телекоммуникациями рабочих мест в ИПС РАН и РосНИИ РП. Институты не могли жить и работать без доступа к Сети - к Интернету. И несмотря на отсутствие средств, институты были в 1994 году обеспечены постоянным доступом к Сети.

В дальнейшем нам довелось многократно убеждаться, что места (организации, жилые микрорайоны, регионы), где Сеть будет успешно развиваться, определяются не наличием денег и возможностей, а наличием осознанной позиции: "Не могу жить и работать без Сети".

Обеспечив доступ к Сети для своих институтов, мы стали предоставлять телекоммуникационный сервис и всем заинтересованным организациям и жителям региона. Преследовались две задачи: развитие информационной инфраструктуры региона и привлечение средств внешних абонентов для уменьшения расходов институтов на содержание и развитие СТ "Ботик".

Заметим, что оба наших внешних канала были частично или полностью оплачены и реализованы в рамках федерального (RUNNet) и международного (EmNet/NIS) проектов. А вот на создание, сопровождение и развитие институтских сетей и региональной сети никаких средств мы ни от кого не получали вплоть до конца июля 1997 года. Система создавалась за счет скудных средств двух институтов и поступлений (абонентских плат) от наших внешних пользователей - о ценовой политике СТ "Ботик" см. ниже.

Различные подключения в СТ "Ботик" (01.07.97) Всего подключений 320 Постоянные IP-подключения 244 Модемные IP-подключения 58 Модемные UUCP-подключения 18 Всего постоянных подключений 244 Скорости соединения с центральным узлом 10 Mbps 87 2 Mbps 101 115 Kbps 6 28 Kbps 50

При создании сети мы предпочли не использовать модемные соединения, а по мере возможностей создавать свою инфраструктуру высокоскоростных постоянных соединений абонентов (и организаций, и жителей). Поэтому нам пришлось искать и находить сетевые решения, которые были бы дешевыми, надежными и с высокими техническими характеристиками. Это позволило создать региональную IP-сеть, в которой средняя стоимость реализации одного постоянного IP-соединения (2-10 Mbps) достаточно низкая - около 300 долларов, что сравнимо со стоимостью приличного модема. Компьютер в сети становится всего лишь на треть дороже просто компьютера - то есть, обеспечиваются финансовые условия развития сети, приемлемые для большинства предприятий и физических лиц.

Массовое использование PC-роутеров в СТ "Ботик"

Одно из главных технических решений в СТ "Ботик" - отказ от дорогих сетевых устройств (Cisco, Sun и пр.) и от коммерческого сетевого программного обеспечения, широкое использование компонентов и изделий класса IBM PC и свободного ПО линий Linux и FSF. Идея использования ПЭВМ со свободным клоном Unix для реализации различных сетевых устройств (маршрутизаторов, мостов, терминальных серверов и пр.) хорошо известна и многократно описана, см. например, статью В. Баскакова в "Компьютерре" #26/203, стр. 28. Ниже будет использоваться термин PC-роутер (см. врезку) для различных сетевых устройств, созданных на базе ПЭВМ класса IBM PC со свободным клоном Unix.

Выбор изделий класса IBM PC, как единственных технических средств для реализации серверов, роутеров, мостов и терминальных серверов, представляется вполне однозначным, если собираешься строить сеть "задешево". Благодаря чрезвычайной массовости рынка персональных компьютеров, и сами ПЭВМ, и их компоненты, и сетевая периферия для них отличаются исключительной дешевизной - в несколько раз, по сравнению с изделиями "дорогих законченных" сетевых решений. Массовость рынка ПЭВМ обеспечивает еще одно привлекательное свойство - широкую доступность разнообразных типов изделий и огромный выбор однотипных изделий разных фирм-производителей.

Кроме того, открытость архитектуры IBM PC, наличие достоверной технической документации на аппаратные средства IBM PC позволяют разрабатывать собственные технические средства (платы и устройства) в тех случаях, когда рынок не может предложить удовлетворяющего (по характеристикам и/или по цене) изделия. Например, для подключения модемного пула к PC-роутеру мы предпочли разработать собственную плату SCS-16: 16xRS-232C, FIFO, ISA (250 долларов при мелкосерийном производстве).

Рецепт построения любого PC-роутера прост: берем базовый комплект аппаратуры, добавляем необходимый набор интерфейсной аппаратуры, устанавливаем и конфигурируем операционную систему - один из свободных клонов Unix. В результате различного конфигурирования можно получить какое угодно по функциям сетевое изделие. На изготовление PC-роутера можно пустить компоненты любого выбрасываемого сегодня компьютера: 386DX/40 - 486DX4/100, RAM 4-16 Mb, HDD 40-120 Mb - все это подойдет и будет в большинстве случаев достаточным для построения PC-роутеров. Но даже если строить PC-роутер из новых комплектующих (см. врезку), цена законченного изделия будет небольшой - от 400 до 1000 долларов.

Так как общая идея PC-роутеров хорошо известна, наш опыт может быть интересен в части конкретных "изюминок", позволивших совместить эту идею со следующими требованиями, обусловленными малочисленностью лаборатории (8 человек) и практическим отсутствием обслуживающего персонала и системных программистов в большинстве пунктов расположения оборудования региональной сети:

• Разработка устройств, не требующих использования UPS и устойчивых к перебоям электропитания.
• Сведение к минимуму числа операций с устройствами, доступного местному персоналу. Использование удаленного конфигурирования и администрирования.
• Разработка абсолютно надежных устройств, не предусматривающих обслуживания, - использование систем автоматического слежения за работоспособностью и восстановления работоспособности устройств (watchdog).

Надежность PC-роутеров. Аппаратный Watchdog

Специальное конфигурирование ОС Linux позволяет реализовать следующее свойство PC-роутера: операция выключения/включения допустима в любой момент времени, и эта операция восстанавливает работоспособность PC-роутера, если она была потеряна. Таким образом, PC-роутер ни при каких обстоятельствах не требует использования UPS. PC-роутер не требует обслуживания в эксплуатации и имеет единственное штатное средство управления, доступное местному персоналу, - кнопку включения/выключения питания. То есть, местному персоналу вне зависимости от его квалификации предоставляется право на единственную операция, позволяющую перезапустить "зависший" PC-роутер, и не предусматривается иных операций: реализована защита от... "человеческого фактора".

Хотя наш опыт показывает, что при тщательном подборе комплектующих и грамотном конфигурировании PC-роутеры вполне надежны. К некоторым PC-роутерам СТ "Ботик" никто не подходил уже больше года. Все-таки для обеспечения абсолютной надежности системы мы планируем снабдить все PC-роутеры watchdog-аппаратурой собственной разработки. В настоящий момент в большинстве PC-роутеров watchdog уже установлен.

Идея устройства watchdog очень проста:

• В PC-роутере запускается watchdog-драйвер (Unix-процесс), постоянно следящий за выполнением условия "все работает нормально". Набор выполняемых проверок зависит от конфигурации и периферии PC-роутера. Пока условие "все работает нормально" выполняется, процесс с некоторым периодом T выдает аппаратный сигнал "ОК" на интерфейс watchdog-аппаратуры.
• При отсутствии сигнала "ОК" в течение времени 2Т, аппаратура watchdog выполняет жесткий сброс (reset) PC-роутера.

Таким образом, вне зависимости от причин сбоя (аппаратное "зависание", программные ошибки), потерянная работоспособность PC-роутера будет гарантированно восстановлена без вмешательства персонала.

Аппаратура watchdog - простая и дешевая. В ней есть и "изюминка", которая мне особенно нравится. При реализации передачи сигнала "ОК" от watchdog-драйвера к watchdog-аппаратуре, разработчиками были отвергнуты все варианты использования слотов материнской платы и иных разъемов, представляющих ценность для подключения сетевой периферии. В конце концов, был выбран разъем, всегда присутствующий на материнских платах и никогда не используемый в сетях, - разъем для подключения динамика! Это упростило программу watchdog-драйвера. Сигнал "ОК" - одиночный щелчок динамика. Кроме того, появилась возможность обеспечить звуковую (динамик) и световую (индикатор Turbo) индикацию работоспособности.

Установка watchdog в PC-роутер повышает дистанционную управляемость системы: администратор получает удобное средство удаленного выполнения жесткого сброса любого PC-роутера - для этого достаточно остановить watchdog-драйвер.

Практика внедрения watchdog-систем была настолько удачной, что мы использовали такой же подход для повышения надежности двух модемов Telebit FastBlazer 8840, обслуживающих 4-проводный выделенный телефонный канал Переславль-Москва. Это действительно хорошие модемы, но и они все-таки иногда зависали, и восстановление канала требовало вмешательства нашего или московского персонала, что занимало достаточно много времени. Для решения проблемы мы разработали watchdog для этих модемов. Модемы были вскрыты и изучены, в Сети была найдена документация на все ключевые микросхемы. Удалось на уровне логики сигналов модема сформулировать условие "все работает нормально", найти точку в схеме, соответствующую аппаратному сбросу, разработать, спаять и аккуратно разместить в корпусе модема плату с watchdog-аппаратурой.

Linux и свободное программное обеспечение

Открытость архитектуры IBM PC привела к широкому использованию данной платформы для разработки большинства свободного, бесплатного и доступного в исходных текстах программного обеспечения. Таким образом, существует выбор программных средств для реализации PC-роутеров. Так, в качестве ОС для PC-роутеров можно использовать не только Linux, но и FreeBSD. Мы предпочли Linux потому, что эта система была нам хорошо известна: она использовалась в наших основных, не связанных с сетями, научно-исследовательских работах задолго до создания нами первого PC-роутера. И впоследствии у нас никогда не было причин быть недовольными своим выбором.

Над Linux и ПО для Linux сегодня постоянно добровольно работают тысячи программистов во всем мире. Такой беспрецедентный штат разработчиков обеспечивает быструю реализацию в Linux поддержки новых сетевых протоколов и новых возможностей аппаратуры. Рискну сказать, что по своим сетевым возможностям Linux опережает коммерческие аналоги. Использование бесплатной развитой сетевой ОС для реализации PC-роутеров обеспечивает поддержку серьезных вариантов базовых сетевых функций. Упомяну лишь некоторые:

• динамическая IP-маршрутизация, Ethernet-bridging с протоколом IEEE Spanning Tree 802.1d; обе данные функции позволяют вносить избыточность в граф сети с целью повышения устойчивости к отказам отдельных сегментов сети - выбор альтернативного пути будет выполнен автоматически;
• различные варианты IPX-маршрутизации - IPX router specification v1.20, передача IPX пакетов по PPP-каналам и туннелирование IPX-in-IP;
• реализация спулера печати - подключив один или несколько принтеров к любому PC-роутеру можно обеспечить сетевую печать для всей сети, если необходимо - со стратегией приоритетов, с учетной системой, с программной интерпретацией PostScript и пр.
• Ну, а в тех случаях, когда имеющееся свободное ПО чем-то нас не удовлетворяло, его всегда было легко доработать - исходные тексты под руками! Так, лабораторией "Ботик"
• разработана система назначения псевдостатических IP-номеров dial-up пользователям - все dial-up компьютеры у нас имеют персональные DNS-разрешимые имена, и компьютеру после недолговременного разрыва связи в новом сеансе назначат прежний IP-номер, что позволяет сохранить приложения, начавшие сетевые обмены до момента потери связи;
• доработана одновременная поддержка Ethernet-bridging с IP-маршрутизацией;
• осуществлен перенос в Linux и сейчас завершается отладка поддержки одного из протоколов широковещания (multicasting). Этот протокол нам необходим для реализации видео- и аудиоконференций со многими участниками.

Еще один пример, когда потребовались небольшие усилия системных программистов при создании PC-роутера. У нас модемный пул подключен не к центральному серверу, а к PC-роутеру, достаточно удаленному от центрального сервера (6 км, два IP-перехода - 10Base-FL и RadioEthernet). Таким образом, среди прочего, данный PC-роутер работает как терминальный сервер. Он обслуживает 16 асинхронных портов с модемами, обрабатывает входные звонки dial-up пользователей и организует (здесь пришлось программировать) передачу по "IP-туннелям" потоков данных от модемов к центральному серверу. Ну, а по-настоящему, конечно, работает с dial-up пользователями центральный сервер. По этой же схеме на модемном пуле организован прием fax-сообщений.

Организация терминального сервера на PC-роутере - весьма эффективное решение. Оно позволяет освободить центральный сервер от обработки многочисленных прерываний от асинхронных портов и разместить модемный пул там, где это удобно, в нашем случае - прямо на ATC ИПС РАН. Заинтересованному читателю рекомендуем сравнить функции и цены данного PC-роутера (http://www.botik.ru/970301/trub-router.win0.html) с его "железным" фирменным аналогом - претендентом в номинации "продукты для компьютерной связи" на выставке "Comdex/Spring'97" (см. http://www.equinox.com/termserv/termserv.html и "Компьютерру" #24/201 стр. 5).

Локальные сети в жилых домах Переславля

Сегодня локальной сетью PolNet жилого микрорайона # 2 охвачено семь домов (см. рисунок в статье Г. Башилова, "Компьютерра" #26/203, стр. 33, или http://www.botik.ru/970301/polnet.win0.html), где на сегодня подключено 39 квартир. Сеть построена по следующей схеме: в центре микрорайона в здании сада-гимназии "Почемучка" расположен PC-роутер sad-router, объединяющий через Ethernet-bridging шесть сегментов Ethernet:

• четыре линии Ethernet 10Base-TX ведут к домовым сетям, покрывающим шесть жилых домов;
• один сегмент является локальной Ethernet 10Base-2 сетью сада-гимназии;
• одна линия Ethernet 10Base-TX соединяет sad-router с узлом pole-router переславской оптоволоконной опорной сети, откуда доступны остальные фрагменты СТ "Ботик" и внешние каналы в Интернет.

За счет использования Ethernet-bridging данная локальная сеть логически является единой Ethernet-сетью для всех сетевых протоколов - TCP-IP, IPX/SPX, NetBEUI. Например, в Windows 95 в списке Network Neighborhood любого компьютера данной сети можно увидеть все компьютеры микрорайона. Теперь не надо бежать в другой дом за нужным файлом, достаточно позвонить приятелю и попросить "поделиться" (sharing) нужным каталогом. Помнится, раньше я забывал во время возвращать диски, теперь таких проблем просто нет!

Хорошее соединение (10 Mbps) локальной сети микрорайона с узлом pole-router переславской опорной сети обеспечивает быстрый доступ жителей к другим фрагментам СТ "Ботик" и к Интернету:

• 10 Mbps - ко всем другим локальным сетям, подключенным к опорной сети, - Переславский университет, колледж, завод "Лит" и т. д.;
• 2 Mbps - к центральному узлу СТ "Ботик", к локальной сети ИПС РАН, к локальной сети Международного детского компьютерного лагеря;
• 64+26 Kbps - выходы в Интернет.
• Сочетание высоких скоростей в СТ "Ботик" и сообразительности пользователей приводит к самым неожиданным примерам сетевых взаимодействий:
• Использование NetMeeting и CoolTalk вместо телефонной связи, особенно в периоды неработоспособности АТС;
• Крупные Quake-турниры - жители квартир, университет и МДКЦ;
• Видео- и аудиоконференции между ИПС РАН и детским садиком-школой, проводимые лабораторией дистанционного обучения;
• Доступ с домашних компьютеров к файлам на рабочих компьютерах в институтах с помощью Microsoft Network. Реальная скорость такого доступа вполне приемлемая - 192 Кбайт/с внутри микрорайона, 180 Кбайт/с - с ИПС РАН и другими организациями на переславской опорной сети.

Обращаю ваше внимание на такое техническое решение, как внешняя подвеска кабелей для линий Ethernet 10/100Base-TX и 10Base-2. Оно широко использовано и в сети микрорайона, где выполнено более 1200 метров внешней подвески кабелей, и в других фрагментах СТ "Ботик". Нами использовались кабели RG-58 (10Base-2, $0,35/метр, до 300 метров) и дважды экранированный кабель BICC SFTP Cat5 (10/100Base-T, $0,89/метр, по стандартам - до 100 метров, а на практике - в СТ "Ботик" работают без потерь 10Base-T линии длиной до 200 метров). Кабель подвешивается нейлоновыми стяжками к силовому элементу, например, к полевому телефонному кабелю ($0,15/метр), который натягивается между зданиями. Это решение является дешевой заменой оптическому кабелю при построении линий между недалеко расположенными зданиями (до 300 метров). Есть маленькая хитрость: в силу некоторых физических атмосферных явлений, кабель обязательно должен быть экранированным, и его надо специальным образом заземлить на одном из концов. Подробная инструкция на эту тему будет в начале осени доступна в наших Web-материалах http://www.botik.ru/botiklab.win0.html.

Другие элементы дешевых сетевых технологий

В материале ftp://ftp.botik.ru/pub/local/Sergei.Abramov/CTERRA/konkurs-doc.zip заинтересованный читатель найдет более подробное описание всех наших решений, проверенных эксплуатацией в СТ "Ботик". Здесь подробно указаны типы и цены на все компоненты, спецификации используемого ПО, приведены расчеты стоимости системы и средней стоимости одного постоянного IP-соединения. Следует учитывать, что документ написан в феврале 1997 года и в нем не учтены некоторые существенные изменения в СТ "Ботик" и падение цен на большинство из упоминаемых изделий. Обновленное описание проверенных нами дешевых сетевых технологий, скорее всего, появится в начале осени.

Организационные решения

Помимо дешевых сетевых технологий успешное развитие СТ "Ботик" определялось и удачными организационными решениями. В первую очередь это относится к поиску партнеров и к ценовой политике.

В маленьком городе (45000 жителей) найти и договориться с партнером легко... при условии, что он, в принципе, есть. И нам сильно повезло, что в Переславле оказалась негосударственная коммерческая фирма АОЗТ "Барс", которая в 1995 году решила заняться развитием в Переславле цифровой телефонии с использованием оптических магистральных линий и распределенной цифровой АТС на базе отечественных модулей "Вотекс".

Как только в АОЗТ "Барс" началась работа по проекту телефонизации, мы быстро нашли друг друга и поняли, что имеются все основания для совместной реализации общего проекта: "Развитие сети телекоммуникаций и телефонии г. Переславля-Залесского", http://www.botik.ru/pzbb/pzbb-main.win0.html. Наше соглашение о сотрудничестве касается только вопросов создания и использования магистральных оптоволоконных линий (МЛ). Все вопросы телефонии решает АОЗТ "Барс" самостоятельно, а все вопросы развития телекоммуникаций решает лаборатория "Ботик". То есть, рамки сотрудничества весьма ограничены, и работа сторон на "чужом рынке" не предусмотрена.

По магистральным линиям мы согласовали выгодные обеим сторонам трассы их прокладки и договорились, что все работы по созданию магистральных линий выполняет АОЗТ "Барс". ИПС РАН оплачивает 35% фактических затрат на выполненную прокладку оптоволоконного сегмента, который мы намерены использовать в СТ "Ботик", после чего мы получаем на условиях бесплатной и бессрочной аренды в свое распоряжение до 4 из 8 оптических жил из данного сегмента. Таким образом, мы за 35% реальной цены получаем готовые оптические линии для СТ "Ботик".

Думаю, что кроме "счастливого случая" в нашей истории можно усмотреть и тривиальную идею для тиражирования. Выгодность интеграции традиционных и новых телекоммуникационных сервисов известна давно. Наш опыт показывает, что при создании систем выгодны даже слабые формы интеграции, сохраняющие (до поры до времени, я думаю) физическую разобщенность сред - оптических жил - передачи телефонных и компьютерных данных.

Несколько слов о финансах. По ряду причин мы изначально создавали СТ "Ботик" как бесприбыльное телекоммуникационное предприятие и до сих пор верны этому. Да, мы вынуждены брать деньги с наших абонентов. Иначе и быть не может - до июля 1997 года это был главный источник финансирования региональной системы. Но мы никогда не извлекали из СТ "Ботик" прибыли. Так, в первой половине 1997 года содержание СТ "Ботик" окупалась только наполовину. Лаборатория "Ботик" получала (примерно):

• 50% средств, около 1000 долларов в месяц, - от абонентских платежей. Эти поступления расходовались на покупку оборудования.
• 50%, в форме базовой бюджетной зарплаты, - от институтов.

При определении цен мы сверялись с практикой развитых стран и учитывали некоторые интуитивные соображения самоокупаемости системы: три IP dial-up пользователя за шесть месяцев должны внести сумму, достаточную для покупки одного нового модема в модемный пул. У нас нет понятия платы за подключение. Абонент платит только абонентскую плату, причем, за первый месяц работы в сети абонентская плата не взимается. Имеется гибкая система скидок, и средняя абонентская плата для жителей города составляет: 15 долларов в месяц за dial-up IP-подключение, 13 долларов в месяц за подключение к домовой сети. Для предприятий, как правило, цены выше на 50%.

Благодаря умеренной ценовой политике, сеть доступна по цене большинству жителей и предприятий. В последние два года у нас наблюдается стабильная скорость роста числа абонентов и суммарной абонентской платы: 250-300% в год. То есть, имеются шансы выйти к концу 1997 года на самоокупаемость системы.

При проведении крупных проектов, таких как создание сети в жилом микрорайоне или нового узла переславской опорной сети, мы просим заинтересованных абонентов выполнить авансовый платеж: "Если Вы заплатите за ... месяцев вперед, то мы создадим ..., подключим Вас более качественно и Вам станет намного удобнее работать". Наши абоненты всегда встречают такие обращения с пониманием.

Наши ближайшие планы

В июле 1997 года мы впервые получили внешнюю финансовую поддержку на развитие региональной сети Переславля-Залесского:

• 200 миллионов рублей от Российского гуманитарного научного фонда, грант # 97-05-12050в;
• 50 миллионов рублей от ГКНТ РФ по Межведомственной программе создания компьютерной сети для науки и образования.
• За счет поступивших средств становится возможным до конца 1997 года:
• Реализовать совместно с АОЗТ "Барс" прокладку новых сегментов оптического кабеля. В результате, оптоволокно должно пройти практически через весь город.
• Реализовать восемь новых узлов переславской опорной сети на новых сегментах оптоволокна, осуществить высокоскоростные подключения ближайших абонентов к этим узлам.
• Выделить в переславской опорной сети два уровня: магистральный уровень будет на технологии Fast Ethernet 100 Mbps, в ответвлениях будет использоваться Ethernet 10 Mbps.

Кроме этого, за счет абонентских взносов будет осуществляться построение новых домовых сетей и прокладка оптических ответвлений в интересах учреждений муниципального управления.

Уже сегодня развитие нашей сети начинает сдерживаться пропускной способностью внешних каналов. И здесь наши надежды связаны с реализацией Межведомственной программы создания компьютерной сети для науки и образования. По данной программе планируется построение канала 2 Mbps Москва-Ярославль. Известно, что по проекту канал физически пройдет через переславскую телевизионную вышку, к которой в ближайшее время подойдет северное окончание переславской опорной сети. Проект РосНИИ РП развития СТ "Ботик" включен в Межведомственную программу, и мы надеемся, что в канале Москва-Ярославль будет предусмотрено подключение для нашей сети.

Вместо заключения

Одна из актуальнейших проблем, стоящих перед Россией, это создание современной телекоммуникационной сети, являющейся полноправной частью Интернета и охватывающей всю страну: всю территорию, все предприятия и учреждения, все слои населения. Эта проблема должна быть решена, причем, в самые короткие сроки. И при реализации данного проекта необходимо помнить о двух обстоятельствах:

• Суммарные масштабы (по числу абонентов и по объемам трафика) нижнего уровня данной системы - сетей районных центров, малых городов, поселков - на порядок превосходят масштабы верхнего уровня системы. Хотя бы потому, что на данных территориях расположена большая часть предприятий, учреждений и населения.
• Скорее всего, общество и государство (федеральные, да и местные органы) не готовы поддержать создание нижнего уровня системы техническими и финансовыми ресурсами в том же объеме, который будет выделен для создания верхнего уровня системы (сети в столицах, магистральные каналы).

Значит, за меньшие деньги потребуется выполнить большую часть работы. И проблема создания системы в целом в принципе не может быть решена, если не будут найдены экономически эффективные технологии построения систем телекоммуникаций "среднего размера" - сетей крупных учреждений, муниципальных округов крупных городов, микрорайонов, малых городов (районных центров). Причем, по экономическим показателям эти технологии должны превосходить традиционные сетевые технологии, используемые при создании верхнего уровня системы.

Домашняя страничка: http://www.botik.ru/~abram