Прошу вибачення за довгу перерву. Я був в режимі накопичення нових знань та фінансів. Все це вимагало багато часу та зусиль. Потрібно було провести експерименти, зробити висновки і подумати що після цього порадити іншим. Експерименти продовжуються.
Якщо що, то картинку згенерував штучний інтелект. В натурі все зовсім не так виглядає.
Нарешті я готовий поділитися проміжними результатами з вами. Знання стосуються накопичення, зберігання та обробки даних моніторингу радіоетеру. В свій час, коли був живий сайт Нільса Шифхауера DK8OK, я зачитувався його статтями. Але кожна його стаття - це обробка великого масиву даних. Нажаль ніде я не зміг знайти готового рішення як організувати зберігання таких масивів. Можливо все дуже просто і банально, тому не має змісту цим ділитися з іншими. Все що тут я напишу буде лише моїм досвідом.
В наступних статтях я більш докладно розповім разом з малюнками практичну реалізацію всього що тут написано.
Сьогодні все буде коротко та по справі.
Буду вдячний якщо хтось з читачів запропонує більш елегантне рішення.
Завдяки сучасному обладнанню моніторинг радіоетеру став куди цікавішим ніж колись. Завдяки SDR приймачам та програмному забезпеченню етер можна записати на жорсткий диск і потім, в майбутньому, в любий момент повернутися до цих записів. Мова йде не про одну записану частоту, хоча це теж можливо, а про спектр в цілому.
Ширина спектру може досягати (будемо рахувати наші можливості як радіоаматорів відносно бюджетних рішень) до 70 МГц, а розрядність до 16 біт.
З обладнанням, що в мене є на даний час, максимум ширини спектру, що я можу записати це 32 МГц 32 біти в діапазоні від 0 до 32 МГц (RX-888 MK2) та від 24 МГц до 1700 МГц з шириною смуги 10 МГц та розрядністю 12 біт (Airspy R2).
В процесі експериментів я згенерував табличку, де вказав приблизне значення об'єму даних, що зберігаються на диску в залежності від ширини спектру, розрядності даних та часу запису:
розрядність 16 біт IQ файли
1 MГц шир.: 4.0 MБ/сек, 240 MБ/хв, 14.4 ГБ/год, 345.6 ГБ/доба
2 MГц шир.: 8.0 MБ/сек, 480 MБ/хв, 28.8 ГБ/год, 691.2 ГБ/доба
4 MГц шир.: 16.0 MБ/сек, 960 MБ/хв, 57.6 ГБ/год, 1.4 TБ/доба
8 MГц шир.: 32.0 MБ/сек, 1.9 ГБ/хв, 115.2 ГБ/год, 2.8 TБ/доба
16 MГц шир.: 64.0 MБ/сек, 3.8 ГБ/хв, 230.4 ГБ/год, 5.5 TБ/доба
32 MГц шир.: 128.0 MБ/сек, 7.7 ГБ/хв, 460.8 ГБ/год, 11.1 TБ/доба
розрядність 32 біти IQ файли
1 MГц шир.: 8.0 MБ/сек, 480 MБ/хв, 28.8 ГБ/год, 691.2 ГБ/доба
2 MГц шир.: 16.0 MБ/сек, 960 MБ/хв, 57.6 ГБ/год, 1.4 TБ/доба
4 MГц шир.: 32.0 MБ/сек, 1.9 ГБ/хв, 115.2 ГБ/год, 2.8 TБ/доба
8 MГц шир.: 64.0 MБ/сек, 3.8 ГБ/хв, 230.4 ГБ/год, 5.5 TБ/доба
16 MГц шир.: 128.0 MБ/сек, 7.7 ГБ/хв, 460.8 ГБ/год, 11.1 TБ/доба
32 MГц шир.: 256.0 MБ/сек, 15.4 ГБ/хв, 921.6 ГБ/год, 22.2 TБ/доба
Тобто при максимальній смузі в 32 МГц та розрядності в 16 біт об'єм добового запису складе трохи більше 11 Терабайт. При потребі більш глибокого аналізу етеру (як правило це виловлювання ледь помітних DX станцій), розрядності в 16 біт може бути недостатньо. Тоді смуга в 32 МГц 32 біти наше все, але об'єм зросте до 22 Терабайт за добу. Це мінімум потрібного дискового простору. Тут буде весь фарш. Можна буде прослідкувати роботу радіомереж, FT4, FT8, WSPR, JS8Call на декількох діапазонах (вам не обійтись без декількох віртуальних приймачів).
А може вам потрібно лише смуга в 2 Мгц в розрядності 32 біта. Об'єм даних буде лише 1.4 терабайти.
Тут все залежить від вас. Що вам цікаво. Якщо ви бавитеся моніторингом приводних маяків, спостерігаєте за літаками на коротких хвилях, ловите DX на середніх хвилях, або просто слухаєте роботу радіоаматорів.
На мою думку найкращим варіантом зараз буде форма запитань - відповідей.
1. Які мають бути налаштування системного годинника ?
Різні програми використовують різні часові мітки. Це може бути як UTC так і місцевий час, що встановлений в комп'ютері на даний момент. Для того, щоб не плутатися в годинах раджу встановити в комп'ютерах системним всесвітній час, тобто UTC.
2. Якe обладнання використовувалося в експериментах ?
Залізо не нове. Бюджетний бомж варіант.
a) SDR приймач Airspy R2 з конвертером SpyVerter. Макс. ширина спектру 10 МГц, розрядність 12 біт. Частота приймача та конвертера стабілізована з точністю до четвертого знаку після коми з допомогою GPSDO 10 МГц BG7TBL та активного розгалуджувача.
b) SDR приймач RX-888 MK2 Макс. ширина спектру 32 МГц, розрядність 16 біт.
c) Комп'ютери: Пан сам склепав обидва комп'ютери.
Робоча станція - Intel Core І5 7400 3.0 ГГц, ОЗП 16 ГБ, 128 ГБ сист. SSD, 4 TБ HDD, GeForce 1050 Ti 4Гб, Win10 24H2
Мережевий накопичувач - Intel Core І5 4690 3.5 ГГц, ОЗП 16 ГБ, 128 ГБ сист. SSD, 4 TБ HDD - програмний RAID, Open Media Vault 7.4.17
d) Мережеві карти TP-Link TX201. 2.5 Гбіт/сек.
З'єднання комп'ютерів відбувалося з допомогою crossover кабелю без використання комутатора. Задіяно було всі чотири пари дротів, щоб досягти швидкості в 2.5 Гбіт/сек.
При умові потреби одночасного підключення декількох комп'ютерів до сервера використовував некерований комутатор TPLink TL-SG108-M2. 2.5 Гбіт/сек на кожному порту.
3. Яка система буде найкраща для мережевого сховища ?
Експеримент показав, що на даний момент найкращою за моїми потребами є Open Media Vault версії 7. Також ця версія містить оновлені драйвера для обраної моделі мережевої карти.
4. Яка має бути пропускна здатність мережі ?
При запису великих обсягів даних з шириною спектру 32 МГц та розрядністю 32 біти швидкість передачі даних по мережі досягала до 1.6 Гбіт/сек. Тому використання мережевих карт зі швидкістю в 2.5 Гбіт/сек є необхідним мінімумом.
5. Які програми використовувалися в експериментах ?
SDR Console - запис спектру з подальшим його відтворенням, аналізом даних, побудова сонограми записаного спектру.
SDR# - запис та відтворення спектру. Використання технології AM CoCanceller
WavViewDX - моніторинг роботи станцій діапазону середніх хвиль. Відображення поведінки несучих в часі на вибраній частоті.
PskovNDB - моніторинг роботи приводних маяків.
HDSDR - запис спектру. Приємною цікавинкою є запис спектру довжиною в кількість хвилин за вибором.
6. А де і як це все зберігати ?
Два варіанти:
a) Додати в системний блок робочої станції жорсткий диск об'ємом 12 - 20 Терабайт. Приєднати його до роз'єму зі швидкістю передачі даних 6 Гбіт/сек. Зараз вони є у вільному продажу. Можливо, це оптимальний варіант. Ніякого додаткового заліза, все в одній коробці, ніяких тобі додаткових мережевих карт, комутаторів, але якщо є декілька вживаних жорстких дисків та старий системник, то другий варіант буде по коштах дешевше.
b) На окремому комп'ютері розвернути систему Open Media Vault, створити програмний RAID масив, використавши декілька дисків у масиві. Організувати мережеве підключення двох комп'ютерів між собою. Додатково налаштувати мережеві карти, щоб вони не переходили в режим економії енергії. Це важливо, щоб періодично не пропадало з'єднання.
7. Чи можна якось зменшити об'єм даних що обробляються на даний час ?
Можна програмним засобом вирізати шматок спектру заданої за бажанням ширини для подальшої обробки в програмі. Є певні незручності роботи з цими файлами в деяких програмах.
8. Чи можна обробити ці дані в інших програмах ?
Існують певні несумісності між програмами.
SDR# невірно відображає частоту, коли їй скормити IQ файли розрядністю 32 біти, записані в SDR Console, а також коли IQ файл вирізаний із загального спектру тією самою SDR Console.
WavViewDX сприймає лише діапазон від 510 до 1720 КГц. Тому немає змісту писати в SDR Console або SDR# спектр ширше 1.25 МГц. і вище частоти 1720 КГц.
9. Чи в програмах є обмеження щодо об'єму даних, що одномоментно обробляються ?
Так. Є. Наприклад, SDR# розуміє лише файли максимальним об'ємом в 2 GB.
10. Чому Open Media Vault, а не True NAS Scale, вона ж зручніше у використанні, має багато цікавих додаткових плюшок і має вбудовану підтримку файлової системи ZFS ?
Файлова система ZFS для коректної роботи вимагає використання оперативної пам'яті з корекцією помилок, так звана ECC. Звісно, її можна використовувати і на звичайному, не серверному залізі, але є ризик пошкодження даних через виникнення можливих помилок в оперативній пам'яті, що призведе до втрати даних. Відповідно бюджетний самозбір може бути недоцільним.
Другою причиною є те, що при послідовному відтворенні записаних IQ файлів, відбуваються розриви в той момент, коли відтворення одного файлу скінчилося, а наступного почалося. При чому це дуже добре видно на моніторингу передачі даних по мережі. В Open Media Vault такого немає.
Наступна стаття буде призначена побудові мережевого сховища. Налаштування сервера, налаштування клієнта. Мережеве з'єднання кросовер кабелем.
До зустрічі !
73 ! de UT2YR.
Комментариев нет:
Отправить комментарий