Czas na Backup.

Ogólne pytania dotyczące systemu
Matrixx
Beginner
Posty: 235
Rejestracja: 03 maja 2016, 16:30

Czas na Backup.

Post autor: Matrixx »

Zewnetrzny dysk HDD, (zawierajacy wylacznie dane = storage) o pojemnosci teoretycznej 2 TB i interfejsie USB2 jest full.
Musze sklonowac wszystkie dane na drugi zewnetrzny dysk HDD o pojemnosci 4TB z interfejsem 3USB.
A tak wylada rozklad partycji: http://imgur.com/a/PmWjF
Problemy:
- na dysku zrodlowym sa rozne rodzaje plikow
- wiele plikow ma za dlugie sciezki.
Moge zrobic mirror za pomoca:
- OS Debian Jessie (workstation)
lub
- OS Win 7 (laptop)
Pisze ten watek, bo juz w przeszlosci kopiowalem w podobnej sytuacji za pomoca komendy:

Kod: Zaznacz cały

cp –av /media/robin/Seagate2* /media/robin/Seagate Expansion Drive
lub:

Kod: Zaznacz cały

dd if=/dev/sdc1 of=/dev/sdb2

W tym przypadku.

Kod: Zaznacz cały

lsblk
NAME   MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda      8:0    0 465.8G  0 disk 
├─sda1   8:1    0  58.7G  0 part 
├─sda2   8:2    0  58.6G  0 part /
├─sda3   8:3    0  58.6G  0 part 
├─sda4   8:4    0     1K  0 part 
├─sda5   8:5    0  30.2G  0 part 
├─sda6   8:6    0  29.6G  0 part 
├─sda7   8:7    0  29.5G  0 part 
└─sda8   8:8    0  29.3G  0 part 
sdb      8:16   0   3.7T  0 disk 
├─sdb1   8:17   0   128M  0 part 
└─sdb2   8:18   0   3.7T  0 part /media/robin/Seagate Expansion Drive
sdc      8:32   0   1.8T  0 disk 
└─sdc1   8:33   0   1.8T  0 part /media/robin/Seagate2
sr0     11:0    1  1024M  0 rom 

Kod: Zaznacz cały

➜  robin df -h
Filesystem      Size  Used Avail Use% Mounted on
udev             10M     0   10M   0% /dev
tmpfs           3.2G  9.2M  3.2G   1% /run
/dev/sda2        58G   53G  2.6G  96% /
tmpfs           7.8G  364K  7.8G   1% /dev/shm
tmpfs           5.0M  4.0K  5.0M   1% /run/lock
tmpfs           7.8G     0  7.8G   0% /sys/fs/cgroup
tmpfs           1.6G   24K  1.6G   1% /run/user/1000
/dev/sdb2       3.7T  221M  3.7T   1% /media/robin/Seagate Expansion Drive
/dev/sdc1       1.9T  1.9T  1.6G 100% /media/robin/Seagate2
Zamontowane:

Kod: Zaznacz cały

➜  robin mount
sysfs on /sys type sysfs (rw,nosuid,nodev,noexec,relatime)
proc on /proc type proc (rw,nosuid,nodev,noexec,relatime)
udev on /dev type devtmpfs (rw,relatime,size=10240k,nr_inodes=2031933,mode=755)
devpts on /dev/pts type devpts (rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000)
tmpfs on /run type tmpfs (rw,nosuid,relatime,size=3267584k,mode=755)
/dev/sda2 on / type ext4 (rw,relatime,errors=remount-ro,data=ordered)
securityfs on /sys/kernel/security type securityfs (rw,nosuid,nodev,noexec,relatime)
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev)
tmpfs on /run/lock type tmpfs (rw,nosuid,nodev,noexec,relatime,size=5120k)
tmpfs on /sys/fs/cgroup type tmpfs (ro,nosuid,nodev,noexec,mode=755)
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,release_agent=/lib/systemd/systemd-cgroups-agent,name=systemd)
pstore on /sys/fs/pstore type pstore (rw,nosuid,nodev,noexec,relatime)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpu,cpuacct)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,memory)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,net_cls,net_prio)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event)
cgroup on /sys/fs/cgroup/pids type cgroup (rw,nosuid,nodev,noexec,relatime,pids)
systemd-1 on /proc/sys/fs/binfmt_misc type autofs (rw,relatime,fd=21,pgrp=1,timeout=300,minproto=5,maxproto=5,direct)
mqueue on /dev/mqueue type mqueue (rw,relatime)
debugfs on /sys/kernel/debug type debugfs (rw,relatime)
hugetlbfs on /dev/hugepages type hugetlbfs (rw,relatime)
fusectl on /sys/fs/fuse/connections type fusectl (rw,relatime)
cgroup:cpuset on /cgroup/cpuset type cgroup (rw,relatime,cpuset)
cgroup:blkio on /cgroup/blkio type cgroup (rw,relatime,blkio)
cgroup:memory on /cgroup/memory type cgroup (rw,relatime,memory)
cgroup:devices on /cgroup/devices type cgroup (rw,relatime,devices)
cgroup:freezer on /cgroup/freezer type cgroup (rw,relatime,freezer)
cgroup:perf_event on /cgroup/perf_event type cgroup (rw,relatime,perf_event)
cgroup:pids on /cgroup/pids type cgroup (rw,relatime,pids)
binfmt_misc on /proc/sys/fs/binfmt_misc type binfmt_misc (rw,relatime)
tmpfs on /run/user/1000 type tmpfs (rw,nosuid,nodev,relatime,size=1633792k,mode=700,uid=1000,gid=1000)
gvfsd-fuse on /run/user/1000/gvfs type fuse.gvfsd-fuse (rw,nosuid,nodev,relatime,user_id=1000,group_id=1000)
/dev/sdb2 on /media/robin/Seagate Expansion Drive type fuseblk (rw,nosuid,nodev,relatime,user_id=0,group_id=0,default_permissions,allow_other,blksize=4096,uhelper=udisks2)
/dev/sdc1 on /media/robin/Seagate2 type fuseblk (rw,nosuid,nodev,relatime,user_id=0,group_id=0,default_permissions,allow_other,uhelper=udisks2)
Chce uzupelnic, ze kiedy klonowalem ostatni raz (kilka lat temu) w/g powyzszych komend to stracilem czesc danych na obydwu! dyskach.
Jak Waszym zdaniem bezblednie (bez strat) skopiowac/sklonowac dane z jednego dysku zewnetrznego na drugi zewnetrzny, tak zeby miec jeszcze pasek postepu, bo ostatnio to mi tydzien zajelo.
Pozdro.
Awatar użytkownika
sinplez1y1
Posty: 97
Rejestracja: 13 stycznia 2017, 23:25

Re: Czas na Backup.

Post autor: sinplez1y1 »

rsync albo dd

Kod: Zaznacz cały

man dd
man rsync
Matrixx
Beginner
Posty: 235
Rejestracja: 03 maja 2016, 16:30

Re: Czas na Backup.

Post autor: Matrixx »

Czytales calego posta?
Przeciez podalem komende dd wczesniej.
Ten topic ma na celu sprawdzenie czy inni tez tracili dane przy kopiowaniu i td, itp.
Ewentualnie inny dobry sposob na szybkiego klona.
man dd
man rsync
Takie wpisy pomagaja jak umarlemu kadzidlo.
Awatar użytkownika
sinplez1y1
Posty: 97
Rejestracja: 13 stycznia 2017, 23:25

Re: Czas na Backup.

Post autor: sinplez1y1 »

czy inni tez tracili dane przy kopiowaniu
polecam sprawdzić dyski smartcontrolem
Takie wpisy pomagaja jak umarlemu kadzidlo.
zrobić to jak człowiek rsyncem:
http://www.howtogeek.com/135533/how-to- ... -on-linux/

albo dd:
http://osworld.pl/jak-prosto-i-szybko-z ... kup-dysku/
Matrixx
Beginner
Posty: 235
Rejestracja: 03 maja 2016, 16:30

Re: Czas na Backup.

Post autor: Matrixx »

polecam sprawdzić dyski smartcontrolem
Zrobilem to 3 dni temu.
10 podstawowych argumentow + godziny.
Dysk zrodlowy ma 4899 godz i zdrowe powierzchnie zadnych "bad sektorow"
Temperatura tez O,k
Dysk docelowy jest nowy.
Matrixx
Beginner
Posty: 235
Rejestracja: 03 maja 2016, 16:30

Re: Czas na Backup.

Post autor: Matrixx »

Odpalilem z rana i niespodzianka.

Kod: Zaznacz cały

➜  robin dd if=/dev/sdc | pv | off=/dev/sdb bs=4096 conv=noerror,sync
   0 B 0:00:00 [   0 B/s] [<=>                                                 ]
➜  robin 
Dlaczego? Co nie tak? :confused:
Awatar użytkownika
saturno
Junior Member
Posty: 741
Rejestracja: 08 lipca 2008, 20:04

Re: Czas na Backup.

Post autor: saturno »

Kopiowanie HD na HD-USB.
cp nie pokazywał mi błędów, a mimo to źle kopiował.
Problemem było słabe zasilanie USB.
Mam w PC 8 portów USB, a dysk działa prawidłowo tylko w dwóch!
Teraz używam tylko rsyns (szybkość, skuteczność kopiowania).

Kolejna sprawa mój dysk HD-USB ma wbudowane usypianie po iluś tam minutach.
Kopię partycji systemowej (30GB) na HD-USB robię w: Redo Backup and Recovery i jest OK
Kopii partycji home (100GB) nie da rady tak zrobić, bo dysk po pewnym czasie zasypia, tzn. wyłącza się.

Próbowałem zmieniać w ustawieniach Debiana czas do zasypiania (Gnomowy program Dyski) lecz HD-USB ignoruje mi te ustawienia.
Możliwe że działa to tylko na uruchomionym systemie (Debianie), tzn. tam gdzie zmieniano ustawienie.
Matrixx
Beginner
Posty: 235
Rejestracja: 03 maja 2016, 16:30

Re: Czas na Backup.

Post autor: Matrixx »

Sukces !!!

Kod: Zaznacz cały

pv -tpreb /dev/sdb | dd of=/dev/sdc bs=4096 conv=notrunc,noerror
1.82TiB 4:04:03 [ 130MiB/s] [================================>] 100%            
488378645+1 records in
488378645+1 records out
2000398933504 bytes (2.0 TB) copied, 14643.3 s, 137 MB/s
Moze sie komus przyda?
Ta komenda:

Kod: Zaznacz cały

pv -tpreb /dev/sdb | dd of=/dev/sdc bs=4096 conv=notrunc,noerror
pozwolila skopiowac drive USB z danymi 1.8 TB to drive USB (/dev/sda na /dev/sdb) w ciagu 4 godz.

Moze ktos w ramach rewanzu poda komende lub sekwencje komend dla takiej samej konfiguracji sprzetowej ale
kopiowanie dysku na dysk za pomoca rsync.
Bede to testowal przy nastepnej okazji. :D
Awatar użytkownika
LordRuthwen
Moderator
Posty: 2302
Rejestracja: 18 września 2009, 21:45
Lokalizacja: klikash?

Re: Czas na Backup.

Post autor: LordRuthwen »

Gdybyś przeczytał manual, wiedziałbyś dlaczego dd za pierwszym razem działało tak długo - brak odpowiednich parametrów, np. bs, które defacto mogłeś ustawić na większe, bo w dysku masz zdecydowanie większy cache niż 4 MB i by było jeszcze szybciej, ale po co się męczyć i czytać.
Podobnie ma się sprawa z rsyncem, składnia to rsync <opcje> <źródło> <cel>
W zależności od potrzeb trzeba dobrać opcje, ale z reguły wystarcza jedna (1!).
Matrixx
Beginner
Posty: 235
Rejestracja: 03 maja 2016, 16:30

Re: Czas na Backup.

Post autor: Matrixx »

Czyli ta komenda zalatwia wszystko:

Kod: Zaznacz cały

rsync -r /dev/sda  /dev/sdb 
Z wizualizacja paska postepu:

Kod: Zaznacz cały

 rsync -r --progress /dev/sda /dev/sdb
Lub inna opcja:

Kod: Zaznacz cały

rsync -vaE --progress /dev/sda /dev/sdb
Lub:

Kod: Zaznacz cały

rsync -av --progress /dev/sda /dev/sdb
Jeszcze:

Kod: Zaznacz cały

 rsync -av /media/<disk1>/ /media/<disk2>/ 
Moze ktos potwierdzic czy to jest O,k?
Ostatnio zmieniony 18 stycznia 2017, 15:17 przez Matrixx, łącznie zmieniany 1 raz.
ODPOWIEDZ