1
Software / Odstranění duplicit a konsolidace dat
« kdy: 08. 05. 2026, 22:02:05 »
Dobry vecer,
prosim o mensi brainstorming, data mi uz prerustaji pres hlavu
1x notas (Windows; 1 TB, vetsina dat je toliko kopie ze SSD NASu, ale zato tyto kopie existuji v ruznych verzich)
1x desktop (Windows; ~5 TB, vychazi opet jako kopie ze SSD NASu, ale nekdy mam u sebe jen notas, kde udelam nejake zmeny, ty si presypu sem a mam to tu vickrat... desktop ma obecne storage jen jako "pracovni disky", samotny uzitecny vystup je vlastne o rozumne velikosti)
1x tichej SSD NAS (Linux; ~5 TB - zere to malo, bezi to furt, je to rychly, tak tam mam takovou "cache" pro velke HDD zalohoviste)
1x hlavni HDD zalohoviste (Linux; ~12 TB - spousta dat je tam proste jen tak pro sichr)
1x HDD cold storage archiviste toho nejdulezitejsiho (Linux; ~6 TB)
Prilezitostne zkousim fusovat do casosberu a mam docela problem si v tech datech udrzet nejakej smysluplnej poradek.
Jsem nekde fuc, SD kartu natroubim do notasu a nazdar, pripadne udelam nejake drobne upravy a odsypu to na SSD storage.
Nekdy za tyden, mesic, objevim SD kartu, chcu si byt jistej, ze ten obsah jako fakt nekde mam, tak to jeste supnu na SSD storage do kouzelne bobtnajici slozky "nove".
Ze SSD storage si to pak presypu do desktopu pro poradne zpracovani, pripadne to ruzne existuje v mnoha verzich.
Jednou za uherak zapnu zalohoviste a presypu jeste tam.
Vysledkem je strasnej gulas, fura duplicit a nakolik storage zdrazuje a misto dochazi, musim uz ty duplicity nejak resit.
Jak z toho nejlip vybruslit?
Docela svizne mi vsechno prechroustal multiplatformni DupeGuru (nazev, datum, a/nebo hash souboru), ale s ohledem na charakter tech dat, co mam, by mi vyhovovalo spis neco, kde si muzu otevrit celej strom filesystemu a vychazet toliko z podobnych slozek, nez to resit v ramci seznamu s duplicitama v radu vyssich desitek tisic...
Nu a dalsi vec je, ze teda bez nejakyho poradnyho syncu a discipliny se uz asi fakt nehnu, veci z karty asi spis presunout, nezli kopirovat...
Udelat si jasno v tom, co ze je "master" (kuriozne to vlastne bude asi spis ona SSD storage, k tomu pristupuju nejvic, pac to bezi furt).
A poresit sync zmen mezi SSD storagem a zalohovistem (pro kazdej file prohledat, jestli tam uz neexistuje... upozornit, pokud chci mit jako master SSD storage a z nej nejakej soubor smaznu, jestli chci tuhle zmenu syncnout i do zalohoviste).
Variantne teda kdyz si vezmu jeste charakter toho, co delam - muze mit smysl si verzi metadat a konfigu k fotkam nacpat do neceho jako SVN, at si muzu prepinat mezi verzema pro lepsi porovnavani, nebo to neni vhodny use case?
Diky za napady.
prosim o mensi brainstorming, data mi uz prerustaji pres hlavu

1x notas (Windows; 1 TB, vetsina dat je toliko kopie ze SSD NASu, ale zato tyto kopie existuji v ruznych verzich)
1x desktop (Windows; ~5 TB, vychazi opet jako kopie ze SSD NASu, ale nekdy mam u sebe jen notas, kde udelam nejake zmeny, ty si presypu sem a mam to tu vickrat... desktop ma obecne storage jen jako "pracovni disky", samotny uzitecny vystup je vlastne o rozumne velikosti)
1x tichej SSD NAS (Linux; ~5 TB - zere to malo, bezi to furt, je to rychly, tak tam mam takovou "cache" pro velke HDD zalohoviste)
1x hlavni HDD zalohoviste (Linux; ~12 TB - spousta dat je tam proste jen tak pro sichr)
1x HDD cold storage archiviste toho nejdulezitejsiho (Linux; ~6 TB)
Prilezitostne zkousim fusovat do casosberu a mam docela problem si v tech datech udrzet nejakej smysluplnej poradek.
Jsem nekde fuc, SD kartu natroubim do notasu a nazdar, pripadne udelam nejake drobne upravy a odsypu to na SSD storage.
Nekdy za tyden, mesic, objevim SD kartu, chcu si byt jistej, ze ten obsah jako fakt nekde mam, tak to jeste supnu na SSD storage do kouzelne bobtnajici slozky "nove".
Ze SSD storage si to pak presypu do desktopu pro poradne zpracovani, pripadne to ruzne existuje v mnoha verzich.
Jednou za uherak zapnu zalohoviste a presypu jeste tam.
Vysledkem je strasnej gulas, fura duplicit a nakolik storage zdrazuje a misto dochazi, musim uz ty duplicity nejak resit.
Jak z toho nejlip vybruslit?
Docela svizne mi vsechno prechroustal multiplatformni DupeGuru (nazev, datum, a/nebo hash souboru), ale s ohledem na charakter tech dat, co mam, by mi vyhovovalo spis neco, kde si muzu otevrit celej strom filesystemu a vychazet toliko z podobnych slozek, nez to resit v ramci seznamu s duplicitama v radu vyssich desitek tisic...
Nu a dalsi vec je, ze teda bez nejakyho poradnyho syncu a discipliny se uz asi fakt nehnu, veci z karty asi spis presunout, nezli kopirovat...
Udelat si jasno v tom, co ze je "master" (kuriozne to vlastne bude asi spis ona SSD storage, k tomu pristupuju nejvic, pac to bezi furt).
A poresit sync zmen mezi SSD storagem a zalohovistem (pro kazdej file prohledat, jestli tam uz neexistuje... upozornit, pokud chci mit jako master SSD storage a z nej nejakej soubor smaznu, jestli chci tuhle zmenu syncnout i do zalohoviste).
Variantne teda kdyz si vezmu jeste charakter toho, co delam - muze mit smysl si verzi metadat a konfigu k fotkam nacpat do neceho jako SVN, at si muzu prepinat mezi verzema pro lepsi porovnavani, nebo to neni vhodny use case?
Diky za napady.

&MI_02