Вастрик
≡
Дано: бездушные байты, накопленные за пятнадцать лет тленного существования. Фотографии с зеркалок, видео, документы, мой говнокод, бекапы проектов. Даже после массового исхода на стриминговые сервисы, этого добра у меня всё равно осталось больше терабайта.
Всё это не является наследием ЮНЕСКО, но мне будет грустненько его потерять. Потому вот уже много лет я заново изобретаю способ эти файлы хранить. С переменным успехом.
Сразу всех разочарую, у меня сегодня нет серебряной пули и «простого ответа» за $9.99/mo. Я сам прошел через множество итераций и сегодня хочу поделиться всей этой историей. Возможно, она откроет кому-то новые пути или вдохновит попробовать что-то другое.
А может и нет. Тогда мы просто весело покатаемся на горках насыпанного мною песка про «старые добрые времена».
Мы были молоды, оптимистичны, у нас не было денег, зато был ArchLinux.
Где-то на форуме городской локалки был тред с раздачей старых комплектующих, списанных в одном из Новосибирских университетов. Важное задание по переносу их на ближайшую помойку обычно поручали местному бородатому админу, который бережливо раздавал эти старые материнки с целеронами шпане на форумах.
Так был собран первый Вастрик.Сервер. В старой галерее даже сохранилась ретро-фотография:
Он гудел прямо у меня в шкафу и первая версия этого блога жила прямо на нём. Жарким новосибирским летом приходилось открывать дверь чтобы он не уходил в ребут от перегрева. А когда кто-то ночью оставлял в блоге коммент, я физически слышал это по шуршанию головок HDD. Трррррр-тр-тр-тр.
Удивительное время.
Файлы на него бекапились rsync'ом. Тогда им пользовались все поцаны-линуксоиды во дворе. В 2008 году мы все узнали про Dropbox и тоже начали использовать (он тогда отлично работал даже из консоли).
На сервере крутились всякие MPD (так мы слушали музыку «из облака» когда не было Spotify), торрентокачалки, зеркало арчлинукса, городской сервер по Battlefield 2 и куча странного стаффа.
Конечно, со временем я узнал про ДЕНЬГИ, научился их зарабатывать и собрал себе нормальный тихоходный Mini-ITX системник с энергоэффективным Core i5. Так и жил с ним до самого отъезда.
Расскажу про плюсы и минусы.
✅ Гибко. Настоящий купмплюктер. Захотел — домашний роутер с адблоком сделал, захотел — медиацентр. Самым же пиком гиковской моды в то время было поднимать себе кеширующий прокси в духе Opera Mini чтобы экономить траф на телефоне. Смекалочка.
✅ Мощно. Хоть нейросетки считай, хоть видео кодируй по ночам.
❌ Сильно зависит от интернета. В Новосибирске интернет был крутой, а в Европе даже белые IP в некоторых странах редкость, что резко снижает здесь ценность своего сервера.
❌ Жужжит. Хоть водонапорную башню туда поставь, всё равно придётся выселять его в отдельную комнату. Даже шуршание HDD в ночи может негативно повлиять на качество сна.
❌ Не мобильно. Утащить с собой сервер в другой город или страну — тут надо совсем наркоманом быть. Я перевозил HDD.
❌ Постоянно требует внимания. Сначала через 0-day уязвимость тебя добавят в китайский ботнет. Потом новый апдейт линукса опять всё сломает. Потом батарея в UPS сдохнет. В 18 лет это весело, но в 19 уже нет.
❌ Очень большая входная стоимость. Надо сразу принять, что ты покупаешь игрушку, которая не окупится никогда.
Зато стоимость использования копеечная. Даже в Евросоюзе электричество стоит дешево, а в России так вообще ничего. В 2013 году я специально замерял расход сервера и получил что-то типа 140 рублей в месяц.
Гикам, подросткам, дедам и другим везунчикам, живущих в собственных квартирах или даже домах с хорошим интернетом и кладовкой. /r/HomeLab/ в помощь.
Собрал домашний NAS буквально в этом месяце. А заодно и антресоль под него. Абсолютно согласен с последним "минусом" - в первую очередь это хобби-проект для души, а потом уже реальная необходимость.
В 2014 я поехал в Литву, блог переехал на сервер к знакомому, а свой я по-брацки продал.
Время было смутное, потому решил взять что-то маленькое и готовое, чтобы не парило мозги. Тогда на пике популярности был WD MyCloud EX2. Он и стал тогда моей первой в жизни покупкой на Амазоне.
Сначала всё было хорошо. Пока не стало гнить прямо на глазах.
Производители NAS'ов оказались не заинтересованы делать тебе приятно и на века. Они клепают свои девайсы по принципу «напихаем туда дешевого говна с китайских помоек, лишь бы купили, а дальше неважно». Вся их индустрия напоминает рынок принтеров или домашних AV-ресиверов — делаем говно из говна для говна.
Так Western Digital через год забил на любые обновления своего десктопного софта и после выхода новой MacOS я лишился синхронизации файлов. Тыща страниц срача на форумах, а новая версия так и не вышла. Все перешли на собственные костыли.
Потом в самих их NAS нашли критическую уязвимость. На любом устройстве можно было дернуть специальный URL чтобы сделать rm -rf /. Что же в ответ сделали WD? Ни-че-го. Выпустили апдейт для пары топовых «офисных» моделей, а на остальных положили болт.
Мне пришлось отключить свое облако от интернета навсегда.
Но по закону интернета виноват во всём случившемся исключительно я сам, потому что «ну а что ты хотел» и «странно, у меня такая же нога и не болит».
✅ Дешево. $150 за девайс, а HDD у меня уже были с собой. Если сравнить с ценами на облачные сервисы, такой сетап окупается за год.
✅ Мобильно. Переезжал с ним по трём странам. Норм.
✅ Локально. Ты реально владеешь своими файлами. Плюс не надо таскать их из интернета, всё доступно по домашнему гигабиту. В теории. На самом деле нет.
❌ Всё из говна и быстро гниёт. Не удивляйтесь почему на коробке написано «40 Gigabit Thunderbolt 5G Ultra», а процессор стоит как у микроволновки. Даже Raspberry Pi уделывает всех как школьниц. Так же удивляйтесь, когда через год весь софт перестанет работать и вам останется только старый советский FTP.
❌ Очень медленно. Следствие первого пункта. За все эти годы я так и не смог понять почему листинг файлов в папке по Samba загружается минимум по несколько секунд.
❌ Не расширяемо. Набор встроенных игрушек обычно узкий и стандартный, а когда хочется чего-то своего, скорее всего путь один — прошивать на глючный фанатский линукс и собирать нестабильные костыли из говна и палок.
Стартаперам в офис или студию, где им пользуются все, но никто не хочет настраивать. Планирующим переезжать. Либо тем, кто просто хочет фастфуд-решение на пару лет без заморочек.
У меня кстати Synology 2012 до сих пор стоит и получает апдейты.
Так же удивляйтесь
Не пропустил
Когда WD навставлял мне пиписек в колёса, я задумался — почему бы просто не купить место на сетевом диске у какого-нибудь хостинга, как в старые добрые?
Такой диск можно было бы подключить по sftp или nfs к любой машине и гонять файлы через красивый домен с авторизацией. Нужно было лишь найти.
Привычный Amazon S3 отпал сразу из-за цены. Психологическим порогом для меня была цена «примерно как покупать новый HDD каждый год» (WD на 2 Tb стоит ~$90), так вот S3 обходился бы в 4-5 новых HDD в год.
Azure Storage и Google Cloud были немного дешевле, но всё равно даже не близко. Не такой уж я и важный чтобы мои файлы столько стоили в год.
Самым популярным из дешевых вариантов в интернете оказался Backblaze. Там тот же объем можно было урвать за $100 в год, что приближалось к психологической сумме, но потом я случайно обнаружил Storage Box у Hetzner, который хоть и стоил немного дороже, но я уже у них хостюсь и это означало, что я мог купить себе диск в том же дата-центре, что и сервер блога!
Звучало разумно.
В качестве софта для синхронизации выбор упал на Resilio Sync. Доверился старой памяти, когда он еще назывался btsync, был маленьким и работал офигенно. Идея синхронизации по протоколу BitTorrent мне всегда нравилась — скопировал magnet-ссылку на другой комьютер и вау, магия, все файлики прямо тут материализовались.
Всё поднял, настроил и... несколько месяцев страдал. То Resilio тёк памятью как мразь и клал за собой ночью весь сервер. То он херил ноды и рабочий макбук просто вываливался из общей синхронизации. Короче кровь, кишки, киберпанк.
Пришлось искать дальше.
✅ Доступ из любой точки мира. Сторадж не привязан к твоему физическому местоположению и домашнему интернету. Можно давать ссылки друзьям, если придумаешь как.
✅ Децентрализация. Синхронизация без центрального сервера поднимается в пару кликов. Слово P2P повышает гиковское либидо на 140%.
✅ Все файлы твои. Хостинг продаёт тебе диски за деньги, на остальное ему насрать. Честный бизнес, чистый ToS. Плюс реальные файлы на реальном диске, а не иконочки в веб-интерфейсе.
❌ Дороговато. Даже дешевый Backblaze на 1-2 Tb всё равно обойдется $100 баксов в год, а Amazon S3 так во все $400+.
❌ Многое придётся собирать руками. Хочешь шаринг файлов по ссылке, шифрование, историю изменений или приложение под iPhone — делай всё сам. И не всегда очевидно как.
❌ У меня всё нахер сломалось через полгода. Возможно, я просто не осилил. В следующий раз надо взять Syncthing — его все хвалят.
Гикам в съемных квартирах.
Syncthing хороший, но если у тебя есть много ТЯЖЕЛЫХ файлов, которые периодически меняются, то он дедупликацией весь диск тебе будет грузить намертво
есть у Амазон более дешевая версия S3 — S3 Glacier, если готов подождать при восстановлении бекапа чуть дольше (что-то около суток) или заплатить за восстановление чуть больше, но с софтом нужно разбираться, ARQ Backup под Mac умеет бекапировать и хранить версии, но в какой-то момент начал жрать CPU как не в себя
Я уже был морально готов полностью перейти на Dropbox, вылечить прыщи и жить полноценной жизнью. Занёс ему денег на все свои терабайты, как вдруг... он вышел на IPO и покатился в ад.
О боли от Dropbox хорошо писал маэстро @nikitonsky. Для меня же последней каплей стало отключение симлинков. Я даже нашел одного из настоящих разработчиков дропбокса, чтобы спросить его честно — а как мне теперь жить-то? Ответ был честным — никак. Правда. Ты — один процент, которому это было нужно. Начальство решило «фокусироваться на новых продуктовых перспективах и коллаборациях». В переводе с корпоративного — послать вас нахуй.
Привожу эту историю в пример каждый раз, когда меня спрашивают почему я так часто критикую корпорации.
Корпорации на самом деле не злые, они просто очень глупые
В дальнейшем я перепробовал, наверное, все имеющиеся в интернете облака. Гугол, Яндекс, Мейл, Майкрософт, iCloud. Последний вообще вызывал у меня смех своим шизофреническим желанием спрятать от меня папку с файлами. Слишком много магии Apple.
Дальше в ход пошли менее известные альтернативы — Box.com, Sync.com, Tresorit, MEGA, pCloud. Все они на поверку оказывались с каким-то говнецом.
Взять для примера тот же pCloud. На каждом углу сайта написано про «лучшее европейское шифрование» и «швейцарскую компанию», хотя простой поиск по LinkedIn показывает, что они братья-славяне из Болгарии, а шифрование так вообще включают только за отдельную плату.
Но нет, так нельзя, это расизм и предубеждения — одёргиваю я себя. Я не должен «судить по обёртке», потому заставляю себя проигнорировать все мини-наёбки и оплачиваю аккаунт на год.
Через месяц приложение начинает дико глючить — молча стирать изменения за последние пять минут или плодить десятки файлов в префиксом CONFLICTED. Наверное из-за рассинхрона часов на разных серверах. Пришлось срочно его отключать и больше никогда не пользоваться. Минус сто евро.
Хотя, в отличии от Dropbox'а, он хотя бы умел синкать любые папки, а не только свою одну любимую. А еще там был АУДИО-ПЛЕЕР для пиратской музыки! Сразу видно родные корни. Любо.
MEGA принадлежит мутным личностям, Яндекс и Мейл напрягают российской юрисдикцией, Майкрософт и Гугл — вендорлоком и кривыми ненативными интерфейсами, как будто их и правда подростки делали.
Оказалось, что в интернете так и нет нормального облачного сторажда без говнеца за шиворот в подарок. По итогу я отписался от всех и оставил лишь бесплатный Dropbox (по старой памяти) чтобы шарить там документики и синкать вот эти посты в блог.
✅ Самый низкий порог вхождения. Две чашки кофе и она твоя.
✅ Доступ отовсюду. Зайти с чужого компа чтобы скачать файлик пригождается минимум раз в год. Однажды даже спасло меня при получении визы.
✅ Коллаборация. Без шаринга папок и файлов даже в семье уже никуда. Фичи будут пихать тебе в лицо как кроссовки «Ribok» на турецком рынке. Не отвертишься.
❌ Глупые корпорации, которые постоянно хотят «улучшить» твою жизнь новыми фичами. Понанимают продукт-менеджеров, дадут всем джиру с канбаном и как начнут свои OKR изо всех сил достигать. Не знаешь куда бежать потом от очередных инноваций.
❌ Дорого на перспективе. $10-15 в месяц сначала кажется ок, но когда большая часть этих файлов тебе нужны лишь два раза в жизни — начинаешь думать, а не переплачиваешь ли ты.
❌ Невнятные отношения с твоими файлами. Я знаю компании, которые не пользуются продуктами гугла, потому их юридический отдел так не смог понять их ToS. Завтра в очередном блоге выйдет расследование, что Google жмёт твои старые фотографии в 10 шакалов из 10 чтобы «оптимизировать хранилище», и имеет на это полное право, а ты пиши в спортлото.
❌ Хрен пойми как залить, хрен пойми как слить. Вот у меня есть 2 Tb файлов, мне теперь их просто в ваш веб-интерфейс драг-н-дропнуть и подождать часиков триста, да? Обратно так же? Мне пришлось синкать всё частями через ноут на протяжении двух недель.
❌ Ноль гибкости. В смысле консольный доступ? В смысле бекапы? В смысле сторонний клиент? Ты (((гик))) чтоле, уасся?
В общем-то всем. Когда нужен шаринг, права доступа и другие офисные фичи — без облачных сервисов никуда. А у путешественников и номадов и выбора особо нет.
Ты (((гик))) чтоле, уасся?
Вастрик, уже не первый раз вижу, тройные скобочки у тебя что подразумевают?
Kirill Kleymenov, мне кажется, «вот такие кавычки имеются в виду», но в маркдаун не всегда просасывает их.
Всё-таки главной проблемой облаков для меня стала их ограниченность.
Простой пример: я хочу бекапить не только файлы с ноута, но и свой блог — вот эти глупые посты и картинки. Сейчас я плачу за бекапы на Hetzner, но они тоже корпорация, а значит они тоже глупые и всё проебут.
Несколько лет подряд я использовал гениальное, но очень постыдное решение. Каждый день в 20:20 мой макбук сам шел по ssh мне на сервер и копировал оттуда все файлы мне в ~/Dropbox/Backups. Дальше, думаю, понятно.
Почему именно в 20:20? Потому что в это время я по статистике чаще всего бываю за копьютером. Если нет — бекап не запутится. Таков путь.
Из таких вот глупостей состоит моя жизнь, поэтому я снова вернулся к поискам.
Со времён NAS у меня осталась пара HDD по 4 Tb, валявшихся без дела. Для них был куплен простейший SATA -> USB переходник у китайцев на амазоне за $25. Так я подключал их к макбуку чтобы найти старые файлы.
А что если воткнуть этот бутерброд HDD воткнуть в стоящий рядом Raspberry Pi, где уже крутится с десяток докеров для дом-дурачок?
Оказалось, схема вполне легальна. Полноценный Debian позволил через mdadm собрать эти диски в RAID 1 (зеркало) одной командой. Идеально.
Дальше оставалось сделать "docker run nextcloudpi", установить плагин External Storage чтобы не копировать всё в папку /data/nextcloud, а индексировать уже лежащие на диске файлы файлы с диска. Вуаля — домашний сторадж с юзерами, шарингом файлов, приложениями для десктопа/iPhone/iPad, и даже встроенной RSS-читалкой и клоном Trello.
Чтобы сбалансировать нагрузку на дом-дурачок, пришлось прикупить к нему второй Raspberry Pi. А то было бы неловко объяснять гостям, что свет в туалете не включился потому что там фотки бекапятся.
С помощью магии Bonjour и avahi-daemon можно сделать чтобы каждый RPi в доме открывался в браузере по своему хостнейму.
Я назвал свой pinas.local. Нет, не потому что ПЕНИС, а потому что Pi + NAS.
Но тебе всё равно никто не поверит.
Не считаю это идеальным решением, но оно хотя бы не бесит. Всё-таки, даже при всей своей хрупкости, HDD на деле живут на порядок дольше, чем всякие там облака.
✅ Не жужжит. Если не гонять 4K видео, RPi вполне обходится без охлаждения. Дом-дурачок два года так и живёт на полке, ребутаю только при больших апдейтах.
✅ Полный кастом. Как LEGO. Ты собираешь всякую фигню, играешь с ней, а когда надоедает — собираешь новую. Не знаешь что тебе нужно — начни с малого и апгрейдься постепенно.
✅ Море софта. В 2020 году запуск любого приложения на домашнем сервере выглядит как "docker run приложение". Уже не надо ничего собирать и настраивать. Докер всё заменил. Рекомендую залипнуть в Awesome Selfhosted на вечер, может я как-нибудь напишу даже пост об этом.
✅ Реальные файлы на диске. Nextcloud наконец-то додумался индексировать файлы прямо на диске (хоть и через плагин), а не заставлять заливать всё к себе. Наконец-то я могу одновременно иметь и красивое мобильное приложение, и нормальный доступ по sftp/samba/etc.
✅ Относительно дешево. $100 за комплект — RPi, SD-карточка, кейс, провода, блок питания + $25 за HDD Bay.
❌ Медленно. Чудес не бывает и несмотря на 4-ядерные процессоры и 8 Gb RAM, у RPi так и остаются любимые всеми болячки с медленными шинами данных. Превью файлов загружаютвя всё еще мучительно медленно, но вы всегда можете попробовать платы конкурентов, где нет этих болячек, зато есть свои.
❌ ARM. Да, в Apple сказали, что за ARM будущее. Да, за последние годы всё стало сильно лучше. Да, мне удалось найти сборки всех нужных мне программ под ARM поиском по Docker Hub и приставкам "arm64" или "rpi". Но об этом всё равно придётся постоянно помнить.
❌ Говорят, быстро сдохнет. Наблюдаю.
Никому. Гиковня с LEGO еще никого не принесла счастья. Используйте готовые решения.
А почему не рассматривался какая nas херня от Synology с полноценной ОС? Там же всякие виртуализации внутри, тулзы и прочее дерьмо.
Планирую сделать домашнее хранилище по аналогичной схеме. Raspberry Pi уже купил, коплю какосеки на HDD.
На RPI4 везут в альфа-версию прошивку, которая даст загружаться напрямую с USB, без SD-карточки в принципе. И не сдохнет, и быстрее будет.
Олсо есть RPI Compute с eMMC, но его фиг достанешь, да еще и плату самому распаивать (или брать developer board по стоимости самого Raspberry)
Последнее похожее решение сам использую давно, только не nextcloud, а seafile с syncthing. Вместо rpi использую одноплатники от hardkernel с гигабитными портами и нормальным usb3. От рейдов давно отказался из за большого гемороя во внештатных ситуациях, а просто синхронизирую нужные папки rsync.
Балин, я надеялся все же Вася возьмет такой в конце и скажет: "Вот делай так и будет все заебись, дешево, легко и удобно".
Когда уже будет SaaS, которому можно просто сказать: "Сделай мне заебись" и все делается как надо. Готов даже доллар занести за такое.
Юзаю все гугловое для личного пользования. Пока жив, но каждый год сердечко йокает за кровные 200 евро. Кроме адской цены минусов не видел. Если расширяться дальше на 10ТБ -- там уже 1000 евро в год. Совсем ухи поели. Так шо приходится чистить регулярно файлики, заботиться. А еще сидеть на пикселях, чтоб все фото/видео бесплатно размещались на хранилище хотя бы пару лет.
PS: только фотки ещё бекаплю в платный Google Photos: там лучший поиск и группировка.
Nerten,
Вот, кстати, да. Я сразу после сборки этого рейда придумал — а если я в случае войны схвачу один HDD и буду тикать с ним з городу, смогу ли я после этого воткнуть его в другое место и быстро прочитать? Похоже, что нет. Расстроился :(
Rishad Mustafaev,
Тоже хочу и продолжаю поиски. Мой Hetzner тут начал продавать специальные Storage Box'ы со встроенным прямо в них Nextcloud'ом по ценам обычных сетевых дисков, я прям до последнего хотел их попробовать, ибо оно близко по духу: https://www.hetzner.de/storage/storage-share
tldr; или боль и костыли, или отдавай $1000/ye
Для себя я выбрал смесь подходов:
Да-да, и раз в полгода синхронизируюсь, в том числе и выкачиваю Google профиль. В нём подменяю пожатые фото на оригинальные с телефона. Вот думаю как-нибудь Glacier заиспользовать.
Я долго страдал с Dropbox, Mega, Google Disk и тд. До селфхостед не добрался, часто путешествую.
В итоге сижу с iСloud, все устройства синхронизируются, все работает как часы.
Про спрятанную папку не понял, может раньше было. Сейчас все нормально.
С минусов завязка на яблоки (но мы же ойтишники все на Маках и Айфонах 😁 ) и временные офигивания от бесполезности новых фич.
Не, вроде ничего не изменилась. Папка всё так же лежит в "~/Library/Mobile Documents/com~apple~CloudDocs" и всячески обороняется от любых скриптов.
О, ожидал что тут будет про Zip/Jazz и другую магнитооптику, но нет! Спасибо, интересно :)
Я пробовал варианты вместо Pi взять OrangePi, или cubietruck или ODROID: последний самый быстрый, но раза в два дороже raspberyPi.
А рейд делаю "белковый": раз в квартал сажусь смотреть что набежало и копирую на другие диски/носители :)
Вообще, вот когда у вас последний раз реально летел винт так что прям насмерть и резко сразу?
Да буквально три недели назад в QNAP'е в RAID5. :(
У меня связка QNAP + локальные HDD + AWS S3/Glacier.
С компов бекапится всё на QNAP через Resilio Sync постоянно + руками категоризируется что-то в Tier1/2. С QNAP'a Tier1 бекапится ещё и в S3 шифрованный бакет с политикой архивации в гласир через 60 дней. Раз в две недели делаю бекап Tier1 & Tier2 инфы на SATA-to-UBS блок винчестеров в шифрованные контейнеры.
Tier1 - всё что важно не потерять (доки, инвойсы, фотоархив, важные личные проекты)
Tier2 - ежедневное барахло, которое потерять жалко, но не критично (киношки, сериалы, свалка файлов неразобранная, прочее говно существующее только на NAS'e в единственном экземпляре)
Tier3 - в основном бекап через Resilio с компов, инфа живущая в основном на компах
а что в sync.com смутило?
Из облачных использую Microsoft OneDrive, семейный премиум с корпоративной скидкой стоил 70 евро в год, даёт 1 Тб каждому члену семьи до 6 человек, ну и кучу другого профита типа бесплатного офиса (жене был нужен).
Раньше был ещё DropBox, но последним гвоздём в гроб его на работе запретили.
В облаке соответственно лежит общая семейная папка (личные документы наши и детей, налоги, детский сад, квартира, документы на путешествия, мануалы от всех домашних устройств, разные совместные проекты), всякое личное мелочёвка, ну и автобэкап фоточек с Андроида (по привычке после виндофона). Там же пароли в базе KeePass, и всякие банковские выписки в архивах на паролях.
Дома стоит Synology 2012 года, тормозной как собака, в нём два 2Тб винта в связке RAID-1. Там хранится как и у всех: ничего полезного.
У Synology есть приложение CloudSync, оно бэкапит в Synology твой облачный аккаунт, что я и делаю со своим аккаунтом OneDrive (это к вопросу "а если Микрософт всё").
Также пользуюсь их CloudStation Drive, аналог всех этих облачных хранилищ.
Также стоит их же приложение для бэкапа в Glacier. Там раз в неделю делаются бэкапы на самые ценные папки: семейные фото и видео, мои проекты, музыкальные проекты. Остальное не бэкапится. У меня там меньше 500 Гб, не помню точно сколько, плачу около 1.5 евро в месяц за это.
На этом всё, остальные варианты/сервисы за долгие годы отвалились.
Несколько лет в шкафу стоит HP ProLiant MicroServer Gen8. На нём крутится Resilio Sync, DLNA, Transmission, OpenVPN, Samba. Часть файлов синхронизируется, часть доступна по VPN+Samba. Проблем с Resilio Sync не замечено. Настроил Syncthing, но пока не перехожу. Были опасения по стабильности и скорости, но опыт показал, что такое решение на 100мбит-ном тарифе почему-то в разы быстрее и стабильнее облаков.
После возни с RPi, купил DS918+, добавив незаконные 16 ГБ ОЗУ. Теперь эти единственный девайс в дома и iCloud.
Основное использование:
Для доступа ко всему этому за пределами дома, внешний IP и впн на UniFi USG.
Почти год такой сетап
А точно проблема скорости в rpi? rpi4? HDD Bay тестировал отдельно?
Ну и вдогонку: как оно с n8n?
Denis P., я слышал, что во многих NAS'ах вендорлок на память. Ты покупал их проприетарную дрянь или просто пихнул обычную память?
О да, отлично понимаю боль Вастрика, хотя сам до настройки своего NAS так и не дошёл. В итоге из облачных сервисов наименьшим злом оказался Google Drive, с доп. бэкапированием на жесткий диск, подрубленный к Android-приставке.
Hint: для более удобной синхронизации с Google Drive и вообще рекомендую http://rclone.org/ - это как rsync, только для облаков, работает по официальным (или нет) API кучи сервисов и позволяет абстрагироваться от конкретного сервиса.
Я года три назад купил unlimited storage на Amazon Cloud за 60$ в год, а в качестве клинта использовал odrive. Он позволяет делать Unsync - файлы остаютя в облаке, а у локально у тебя - структура папок с файлами-заглушками. Ну и кстати в их клиент можно подключить сколько угодно разных облаков, чем тоже активно пользуюсь.
Минусы:
Я для этих целей купил Intel NUC.
После настройки куллеров в BIOS почти не жужжит.
Круто что можно докидывать память или жесткий диск по необходимости.
Не круто что дороговато.
Но зато x86, даже, получилось вынести некоторые рабочие нагрузки что бы ноут не так сильно грелся и не поджаривал колени.
А кто-нибудь проповедует идеи минимализма в цифровом пространстве?
Для меня условная открытка с поздравлением равноценна её фото, поэтому вместо решений типа "сфоткать и выкинуть физический носитель" я принимаю решение просто выкинуть.
Таким образом весь мой цифровой архив сейчас около 20GB который храниться на моём локальном диске + Google Drive + backup на Time Capsule.
О, у odrive даже ссылка до сих пор на лэндосе на мой пост висит: https://medium.com/@inemation/two-reasons-to-abandon-your-cloud-storage-client-f0ab379db7a3
Я супер-ленив, но ушёл из дропбокса, когда он стал корпоративным. Пробовал pCloud, это жесть. В итоге:
Ещё не хватает чего-то типа nextcloud, чтобы внешние ссылки делать, и чтобы хранить фоточки. Думаю над решением hetzner share.
Valery Silin, я какую-то купил, вроде Кингстон или что-то такое, 2х8, вставил, все нормально завелось, определилось и даже в какой-то момент 14 из 16 было занято.
Вастрик,
Вот, кстати, да. Я сразу после сборки этого рейда придумал — а если я в случае войны схвачу один HDD и буду тикать с ним з городу, смогу ли я после этого воткнуть его в другое место и быстро прочитать? Похоже, что нет. Расстроился :(Сможешь, аналогично в пару команд через mdadm.
диск из mdraid зеркала можно воткнуть в любую железку с более-менее современным линуксом и запустить массив в деградированном состоянии, делается одной командой mdadm
Ilya Kozlov, вот этот ход мысли поддерживаю. Завалы на жёстком диске кажутся продолжением завалов на балконе, антресолях и других пространствах. Не верю что может быть так много ВАЖНОГО. И если чего-то слишком много, может пора переосмыслить критерии важности этого? Сам-то я тоже бекапами мучаюсь иногда. Но хочется добраться до сути явления. Приходит на ум Канеман с его теорией перспектив, когда, условно, страх потери 1$ так силён что уравновешивает его удовольствие от получения не меньше 20$. В общем, страх потери силён. Только что для эксперимента все фотографии раньше 2010-го посмотрел, почувствовал ностальгию, удалил безвозвратно, взгрустнул. Вспомню ли я о них завтра? Что-то сомневаюсь.
А ещё, есть идея такого эксперимента. Берём человека, уводим из дома в тихий парк, и говорим, мол, дружище, все вещи из твоей квартиры вынесены, все файлы с техники удалены. И вернём мы только то что ты сейчас по памяти вспомнишь. Время не ограничено, поехали. Интересно, какой % хлама вернётся.
Yuri, надо различать что есть хлам, а что память. Старые фотографии несут ценность как память, суть фото сохранить момент. Сомневаюсь что кто-то вспомнит все свои фотографии или даже интересные моменты жизни, а так же ностальгические памятные вещи. Избавившись от всего это к чему приходишь в конце? К пустым страницам и обрывкам воспоминаний, которые хотел бы освежить да нечем, к отсутствию материального воплощения своего прошлого связанных с памятными моментами жизни. Грустненько, не хотел бы я так жить)
Vespertilio Aeternit, так я к этому и клоню - возможно, стоит попробовать точнее отличать хлам от памяти. В конце все мы приходим к одному и тому же, с аккуратными архивами фотографий "дача 2000-2020" или без этих архивов.
iCloud + Synology о четырех дисках в raid10, уже так давно, что я и не вспомню год, когда все это почалося.
Когда-то давно (2012?) я пришёл к выводу, что облака - это дорого (а на ADSL2+ ещё и невозможно) а всяким там WD и Synology я как-то не готов доверять.
Бекап мне был необходим: жена - фотограф. Ну и плюс хотелось чего-то чуть-чуть побольше простого дискового пространства.
И тогда я собрал себе свой собственный NAS. В тихом корпусе и т.д.
В последний (и в первый) раз я обновил его в 2016-м: FreeNAS OS, мамка Supermicro (из простых), WD Red винты (зелёные вылетали пару раз).
Минусы: да, блин, дороговато было всё это покупать. Хотя огромную часть цены составляют именно винты и от этого всё равно не уйдёшь...
Плюсы: всё остальное. Стораж, виртуалки, докеры, крути-не хочу.
Не решённые проблемы: Бекап, как ни странно :) Как говорится, не путайте бекап с репликацией. Всё щас хранится на этом насе. Да, с зеркалированием, но если на сервак упадёт ядерная бомба (или просто сопрут), то и не останется ничего.
Так что голова по поводу того, как и куда бекапить все эти террабайты болит до сих пор...
Alexey Raga, ну дык на случай ядерной войны можно на относительно дешевый glacier пихать раз в полгода и пренебречь тем, что полгода пойдут коту под хвост в случае чего
Ко мне когда-то случайно попал [Apple AirPort Time Capsule] (https://www.mvideo.ru/products/time-capsule-apple-airport-time-capsule-3tb-me182ru-a-30020574) и он отлично справляется с функцией домашнего хранилища, кроме 2 вещей:
Для фоток, рабочих доков более чем. Из откровенных плюсов - это роутер и это Apple - он офигенный даже сейчас, спустя 7 лет после выхода. Автоматические бэкапы мака, работа из коробки без дрочева и т.д. Еще я беру его с собой при поездках за границу на несколько месяцев - вынул провод дома, вставил в доме, все работает, еще и файлы свои с собой, но тяжеловат-с конечно, не самое мобильное решение.
Начинал с RAID 1, затем долго сидел на DS411j пока не закончилась его поддержка и не надоела тормознутость.
Сейчас перешел на Win10 ПулНосителей с дублированием на 20Тб (RAW, Indd, Ph, стереофото). Локальный Tonido - для прямых ссылок, WireGuard+smb - для удаленного доступа. 2Тб на fex.net до 22 года (покупал за 600 1Тб/год ) - для глубоких архивов. MailCloud 100Гб (бонусом достался) - для синхронов офис/дом, сливов фот со смартфонов и документов "всегда под рукой", шрифтов, общих папок.
Знакомых с семейными архивами отправляю на disk.yandex (от 1440 1Тб/год)
Пробовал всё тоже самое, что и ты, практически.
Hetzner в своё время из Сибири показывал ОШЕЛОМИТЕЛЬНЫЕ 10 мегабит/сек на приём, и это было сразу нет. Переехав в Москву тоже попробовал - стало получше со скоростью, но так же отвратительно - забил.
RPI выбесил своей скоростью и это тоже было невозможно, но вроде говорят в 4 версии малинки наконец-то починили USB.
По итогу остался на resilio+nextcloud на купленном по-братски сервере, который остался в Новосибирске.
По итогу - у жены на виндовом компе продакшен, на нём RAID-1, который синхронизируется с сервером через resilio, и этот бэкапный диск сервера подключен в nextcloud, то есть кидаешь в папку на компе файл, спустя какое-то время можно пошерить уже из nextcloud ссылку - оказалось удобно.
Кстати, resilio перестал ебланить после покупки лицензии, у меня было 3 ноды - всё нормально и никто не выпадал.
А себе в ноут купил 2ТБ iCloud потому что нативненько и линки мне не нужны да и надоело играться со всякими облаками.
Несколько месяцев использую Nextcloud на самом чиповом hetzner VPS. Вроде как через external storage можно подключить другие облака типа меги и таким образом расширить дисковое пространство (да, будет медленно). Хочу попробовать этот путь, когда буду переносить основной массив данных (фото) с гугла.
До сих пор пользуюсь дропбоксом просто потому что он, будучи первым популярным продуктом такого рода, оброс кучей интеграций. TitaniumBackup в Яндекс.Диск мне бэкапы не зашлёт, к сожалению
Все фотки с фотоаппарата бережно сваливаются в Облако мейл ру с халявным террабайтом и руками бэкапятся на обычный внешний жесткий диск.
Всякие важные вещи хранятся в Яндекс Диске с халявными ~80гб. Фотки с телефона уже лет 5 только в гугл фото на бесплатном аккаунте.
А, ну и еще есть OneDrive, на котором я храню драйвера для своих древних ноутов))
Тоже использовать Raspberry Pi as NAS. Но это было во времена еще первого поколения, с перформансом совсем печалька.
После этого мигранул на Synology DS218+ и воткнул туда refurbished 8GB RAM. У Synology своя ось с веб мордой и постоянными апдейтами. Есть свои пакеты, есть Docket на Intel.
Из того что использую ежедневно:
Для бекапов использую Arq. Для таких файликов которые нужно получать доступ удалено использую встроенные в Synology сервисы.
Увидеть файлы получится относительно просто, про этой уже писали.
Но с рейдами действительно все не так просто как обещают. Свою основную функцию - доступность данных в случае проблем с одним из HDD они выполняют хорошо (не путайте это с бекапом или еще с чем-то). Но, после этого есть еще и следующий этап, рейд находится в деградированном состоянии и надо вернуть его обратно в нормальное. И тут очень часто происходит страшное.
Если говорить про RAID1 из 2х дисков, то правильный вариант - пишем данных со старого диска на новый, а неправильный - наоборот.
Есть и другие сценарии, как все поломать, но у них общий корень - кнопки "убить данные" и "восстановить данные" расположены рядом, называние у них похожее, а человек, который их жмет, не знает точно, что именно произойдет. Очень часто жмут не ту кнопку.
Геммороя можно избежать, если создавать массив подходящего под задачи типа (не делать 0 вместо 1, например), использовать linux-raid (не путать с mdadm, это лишь утилита), не использовать всратые fake-raid, аппаратные контроллеры, или LVM. Ну и изучить матчасть, конечно же. В таком случае во внештатных ситуациях все довольно просто чинится, и даже диск, на ходу выдранный из RAID1, можно одной командой собрать в деградированный массив и прочитать с него данные.
Alexey Raga,
Я бекаплю в AWS S3 раз в месяц дельту по этому месяцу в виде архива. В бакете настроена полиси заливать в гласир через 60 дней. В итоге плата только за 60 дней в S3 и копейки за гласир.
Из минусов такого решения, конечно, стоимость и скорость извлечения данных с гласира - пару дней вроде. Ну и бекапить туда желательно не тысячей мелких обьектов, а одним архивом - что несколько неудобно
С моей колокольни — это какие-то страдания. Всё давно уже придумано эплом. Доки синхронизирую с iCloud и на всякий пожарный раз в два месяца ручками делаю бэкап на внешний диск. Дисков, кстати, два, делаю бэкап на них поочередно. Всё. Ничего нигде не жужжит, покупать никакие железки не нужно. В iCloud плачу 600р/мес за 2 ТБ, шарю доступ еще для 5 человек. Выходит по сотке на человека.
Не испытываю подобных проблем — удаляю почти всё старьё. Обнуляюсь, так сказать.
На правах оффтопа: а на пруф базы телеграма где можно посмотреть?
Купил Synology NAS, но он оказался тормозной и шумный.
Использую обычный внешний диск для time machine и 2тб iCloud для документов/фоток.
Думаю, использовать только один NAS который стоит дома не очень секурно на случаи пожара/потопа/кражи. Вижу, что люди свои локально зеркалируемые RAID’в всё равно куда-то наружу дублируют. То, что он стоит дома это плюс по скорости, но это не бекап, а просто внешний диск.
Есть вроде интересные проекты p2p файлохранилищ на блокчейне и прочем торренте. Имхо, где-то там лежит будущее. Датацентры будут просто в эту сеть наравне с другими мощности поставлять, а мы покупать, как щас у Амазона, только без vendor lock-in.
Осенью должен появиться ProtonDrive от команды ProtonMail.
Сделают, наверняка, хорошо.
Пытался уйти с дропбокса на гугл драйв, но столкнулся с ворохом разных болей и корявостей. Вернул дропбокс и теперь плачу за оба сервиса :) Но думаю может закупиться распберрей.
Локально Qnap d4 qsync на HDD <-> облака OneDrive, и ещё отдельные папки с Dropbox, Gdrive.
Нужно поставить в qsync восстанавливать соединение при обрыве и тогда гемора в разы меньше.
Из телодвижений - раз в пару месяцев желательно обновить прошивку NAS. Ну и следить через Qmanager, но в последний год как-то всё удивительно спокойно. Доступ к данным через Samba на PC, ну и через мобильные приложения облаков.
Минусы - медленно, с SSD и гигабитом было бы быстрее. В начале был геморрой с Qnap, их UI перегружен.
Вот здесь парень основательно подошел к этому вопросу (как и большая часть его видео)
Там нюансы по питанию, по PCI-Ex, SMR.
В общем, будет полезно всем кто более-менее заморачивается
Andriy Druk, а как ты используешь MinIO, тоже думал о нем
Собственно, очень знакомая проблема с очень похожей прогрессией истории! Dropbox, NAS, VPS, Backblaze B2. Три года назад все это перешло в Google Drive, и в конце прошлого года я купил Intel NUC, к нему RAID1 хддшки и ещё бэкап хдд. На нем так же стоит Nextcloud, и я вот уже полгода медленно перехожу на него, пока полет хороший. Единственное что меня ещё держит с гуглом это Google Photos, поиск и тэги лучшие.
Даже удивительно, что ты не рассмотрел логичный шаг в сторону от pinas. А именно - полноценный комп с fanless case, например H3 от https://hdplex.com/
У меня самого домашний сервер/медиацентр так сделан. Абсолютно бесшумный и стильно выглядит, можно хоть в спальню, хоть в гостиную поставить. При этом - полноценная x86 машина, мощная и полным набором фич и интерфейсов. Внешние хранилища подключаются хоть прямиком по SATA, хоть через USB, хоть через гигабитный линк, это уже смотря какую мать туда поставишь. Короче, волшебным образом исчезают минусы PiNas. Уже лет семь пользую, ничего не ломалось.