Рубрика: Диски и файловые системы

megacli / megaraid / monitoring tool

Автор записи Автор: Evgeny Yakovlev
Дата записи 2021/10/14

Ссылки:

https://www.broadcom.com/support/knowledgebase/1211161500661/installing-megacli-in-debian-or-ubuntu
https://gist.github.com/fxkraus/595ab82e07cd6f8e057d31bc0bc5e779

1 2	https://www.broadcom.com/support/knowledgebase/1211161500661/installing-megacli-in-debian-or-ubuntu https://gist.github.com/fxkraus/595ab82e07cd6f8e057d31bc0bc5e779

install Megacli debian

0. Создаем каталог
mkdir /opt/distr

1. Переходим в каталог
cd /opt/distr

2. Скачиваем дистрибутив
wget https://docs.broadcom.com/docs-and-downloads/raid-controllers/raid-controllers-common-files/8-07-14_MegaCLI.zip

3. Ставим пакеты
apt install alien unzip libncurses5

4. Распаковываем
unzip 8-07-14_MegaCLI.zip

5. cd Linux

6. Создаем пакет для apt
alien MegaCli-8.07.14-1.noarch.rpm

7. Ставим пакет
dpkg -i megacli_8.07.14-2_all.deb

8. Проверяем работу 
/opt/MegaRAID/MegaCli/MegaCli64 -h

0. Создаем каталог

mkdir /opt/distr

1. Переходим в каталог

cd /opt/distr

2. Скачиваем дистрибутив

wget https://docs.broadcom.com/docs-and-downloads/raid-controllers/raid-controllers-common-files/8-07-14_MegaCLI.zip

3. Ставим пакеты

apt install alien unzip libncurses5

4. Распаковываем

unzip 8-07-14_MegaCLI.zip

5. cd Linux

6. Создаем пакет для apt

alien MegaCli-8.07.14-1.noarch.rpm

7. Ставим пакет

dpkg -i megacli_8.07.14-2_all.deb

8. Проверяем работу

/opt/MegaRAID/MegaCli/MegaCli64 -h

Команды для работы с контроллером

# flash bios
MegaCli -adpfwflash -f /scripts/firmware/lsi_imr_fw.rom -aALL
MegaCli -adpfwflash -f imr_fw.rom -NoVerChk -aAll
MegaCli -adpfacdefset -aALL # reset to factory default

# controller info
MegaCli -AdpAllinfo -aALL
MegaCli -PDGetNum -a0 # nubmer of discs
MegaCli -PDInfo -PhysDrv [64:0] -aALL
MegaCli -PDMakeJBOD -PhysDrv[64:4]

# clear controller config to defaults
MegaCli -CfgClr -aALL

# delete all
MegaCli -CfgLdDel -LALL -aALL

# create raid
MegaCli -CfgLdAdd -r5 [64:0, 64:1, 64:2, 64:3] -a0
MegaCli -CfgLdAdd -r0 [64:4,64:5,64:6,64:7] -a0

# get free devices
MegaCli -PDList -a0 | grep -e '^Enclosure Device ID:' -e '^Slot Number:'

# get raid info
MegaCli -LDInfo -Lall -aALL
MegaCli -PDMakeGood -PhysDrv[64:4] -force -aALL > /dev/null
MegaCli -PDMakeGood -PhysDrv[64:5] -force -aALL > /dev/null
MegaCli -PDMakeGood -PhysDrv[64:6] -force -aALL > /dev/null
MegaCli -PDMakeGood -PhysDrv[64:7] -force -aALL > /dev/null
MegaCli -PDMakeJBOD -PhysDrv[64:4,64:5,64:6,64:7] -a0
MegaCli -CfgLdAdd -r0 [64:4,64:5,64:6,64:7] -a0
MegaCli -AdpEventLog -GetEvents -f logfile -aALL # Dump all events from the adapters event log to a file named logfile
MegaCli -PDList -aAll # Dump information about all Phsyical Disks
MegaCli -LDInfo -LAll -aAll # Dump information about all Logical Disks on all adapters
MegaCli -LdPdInfo -aAll # Dump information of all logical and physical disks on all known adapters
MegaCli -AdpSetProp -EnableJBOD 1 -aALL
MegaCli -CfgDsply -aAll

# adapter diagnostic
MegaCli -AdpDiag -a0

Controller information
MegaCli -AdpAllInfo -aALL
MegaCli -CfgDsply -aALL
MegaCli -AdpEventLog -GetEvents -f events.log -aALL && cat events.log

Enclosure information
MegaCli -EncInfo -aALL

Virtual drive information
MegaCli -LDInfo -Lall -aALL

Physical drive information
MegaCli -PDList -aALL
MegaCli -PDInfo -PhysDrv [E:S] -aALL

Battery backup information
MegaCli -AdpBbuCmd -aALL

Controller management

Silence active alarm
MegaCli -AdpSetProp AlarmSilence -aALL

Disable alarm
MegaCli -AdpSetProp AlarmDsbl -aALL

Enable alarm
MegaCli -AdpSetProp AlarmEnbl -aALL

Physical drive management

Set state to offline
MegaCli -PDOffline -PhysDrv [E:S] -aN

Set state to online
MegaCli -PDOnline -PhysDrv [E:S] -aN

Mark as missing
MegaCli -PDMarkMissing -PhysDrv [E:S] -aN

Prepare for removal
MegaCli -PdPrpRmv -PhysDrv [E:S] -aN

Replace missing drive
MegaCli -PdReplaceMissing -PhysDrv [E:S] -ArrayN -rowN -aN

Rebuild drive
MegaCli -PDRbld -Start -PhysDrv [E:S] -aN
MegaCli -PDRbld -Stop -PhysDrv [E:S] -aN
MegaCli -PDRbld -ShowProg -PhysDrv [E:S] -aN

Clear drive
MegaCli -PDClear -Start -PhysDrv [E:S] -aN
MegaCli -PDClear -Stop -PhysDrv [E:S] -aN
MegaCli -PDClear -ShowProg -PhysDrv [E:S] -aN

MegaCli -PDMakeGood -PhysDrv[E:S] -aN
This changes drive in state Unconfigured-Bad to Unconfigured-Good.

Set the drive offline, if it is not already offline due to an error
MegaCli -PDOffline -PhysDrv [E:S] -aN

Mark the drive as missing
MegaCli -PDMarkMissing -PhysDrv [E:S] -aN

Prepare drive for removal
MegaCli -PDPrpRmv -PhysDrv [E:S] -aN

If you’re using hot spares then the replaced drive should become your new hot spare drive:
MegaCli -PDHSP -Set -PhysDrv [E:S] -aN

In case you’re not working with hot spares, you must re-add the new drive to your RAID virtual drive and start the rebuilding
MegaCli -PdReplaceMissing -PhysDrv [E:S] -ArrayN -rowN -aN
MegaCli -PDRbld -Start -PhysDrv [E:S] -aN
MegaCli -CfgLdAdd -r0 [0:1, 0:1] -a0
MegaCli -LDInfo -Lall -aALL
# View all controleler informations
MegaCli -AdpAllInfo -aAll

MegaCli -LDSetProp CachedBadBBU -LALL -aALL
Delete all devices
MegaCli -CfgLdDel -LALL -aALL

MegaCli -CfgLdAdd -r1 [252:0,252:1] -a0

MegaCli -CfgLdAdd -r10 [252:0,252:1,252:2,252:3] -a0

# create RAID5
MegaCli -CfgLdAdd -r5 [64:0,64:1,64:2,64:3] -a0

# create RAID10
MegaCli -CfgSpanAdd -r10 -Array0[64:0,64:1] -Array1[64:2,64:3] -a0

# create RAID10
MegaCli -AdpSetProp -EnableJBOD 1

# Enable disks cache
MegaCli -LDSetProp EnDskCache -LAll -aAll

# Force flash
MegaCli -adpfwflash -f ./12.12.0-0111.rom -NoVerChk -a0

# load controller defauts
MegaCli -adpfacdefset -aALL

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

# flash bios

MegaCli -adpfwflash -f /scripts/firmware/lsi_imr_fw.rom -aALL

MegaCli -adpfwflash -f imr_fw.rom -NoVerChk -aAll

MegaCli -adpfacdefset -aALL # reset to factory default

# controller info

MegaCli -AdpAllinfo -aALL

MegaCli -PDGetNum -a0 # nubmer of discs

MegaCli -PDInfo -PhysDrv [64:0] -aALL

MegaCli -PDMakeJBOD -PhysDrv[64:4]

# clear controller config to defaults

MegaCli -CfgClr -aALL

# delete all

MegaCli -CfgLdDel -LALL -aALL

# create raid

MegaCli -CfgLdAdd -r5 [64:0, 64:1, 64:2, 64:3] -a0

MegaCli -CfgLdAdd -r0 [64:4,64:5,64:6,64:7] -a0

# get free devices

MegaCli -PDList -a0 | grep -e '^Enclosure Device ID:' -e '^Slot Number:'

# get raid info

MegaCli -LDInfo -Lall -aALL

MegaCli -PDMakeGood -PhysDrv[64:4] -force -aALL > /dev/null

MegaCli -PDMakeGood -PhysDrv[64:5] -force -aALL > /dev/null

MegaCli -PDMakeGood -PhysDrv[64:6] -force -aALL > /dev/null

MegaCli -PDMakeGood -PhysDrv[64:7] -force -aALL > /dev/null

MegaCli -PDMakeJBOD -PhysDrv[64:4,64:5,64:6,64:7] -a0

MegaCli -CfgLdAdd -r0 [64:4,64:5,64:6,64:7] -a0

MegaCli -AdpEventLog -GetEvents -f logfile -aALL # Dump all events from the adapters event log to a file named logfile

MegaCli -PDList -aAll # Dump information about all Phsyical Disks

MegaCli -LDInfo -LAll -aAll # Dump information about all Logical Disks on all adapters

MegaCli -LdPdInfo -aAll # Dump information of all logical and physical disks on all known adapters

MegaCli -AdpSetProp -EnableJBOD 1 -aALL

MegaCli -CfgDsply -aAll

# adapter diagnostic

MegaCli -AdpDiag -a0

Controller information

MegaCli -AdpAllInfo -aALL

MegaCli -CfgDsply -aALL

MegaCli -AdpEventLog -GetEvents -f events.log -aALL && cat events.log

Enclosure information

MegaCli -EncInfo -aALL

Virtual drive information

MegaCli -LDInfo -Lall -aALL

Physical drive information

MegaCli -PDList -aALL

MegaCli -PDInfo -PhysDrv [E:S] -aALL

Battery backup information

MegaCli -AdpBbuCmd -aALL

Controller management

Silence active alarm

MegaCli -AdpSetProp AlarmSilence -aALL

Disable alarm

MegaCli -AdpSetProp AlarmDsbl -aALL

Enable alarm

MegaCli -AdpSetProp AlarmEnbl -aALL

Physical drive management

Set state to offline

MegaCli -PDOffline -PhysDrv [E:S] -aN

Set state to online

MegaCli -PDOnline -PhysDrv [E:S] -aN

Mark as missing

MegaCli -PDMarkMissing -PhysDrv [E:S] -aN

Prepare for removal

MegaCli -PdPrpRmv -PhysDrv [E:S] -aN

Replace missing drive

MegaCli -PdReplaceMissing -PhysDrv [E:S] -ArrayN -rowN -aN

Rebuild drive

MegaCli -PDRbld -Start -PhysDrv [E:S] -aN

MegaCli -PDRbld -Stop -PhysDrv [E:S] -aN

MegaCli -PDRbld -ShowProg -PhysDrv [E:S] -aN

Clear drive

MegaCli -PDClear -Start -PhysDrv [E:S] -aN

MegaCli -PDClear -Stop -PhysDrv [E:S] -aN

MegaCli -PDClear -ShowProg -PhysDrv [E:S] -aN

MegaCli -PDMakeGood -PhysDrv[E:S] -aN

This changes drive in state Unconfigured-Bad to Unconfigured-Good.

Set the drive offline, if it is not already offline due to an error

MegaCli -PDOffline -PhysDrv [E:S] -aN

Mark the drive as missing

MegaCli -PDMarkMissing -PhysDrv [E:S] -aN

Prepare drive for removal

MegaCli -PDPrpRmv -PhysDrv [E:S] -aN

If you’re using hot spares then the replaced drive should become your new hot spare drive:

MegaCli -PDHSP -Set -PhysDrv [E:S] -aN

In case you’re not working with hot spares, you must re-add the new drive to your RAID virtual drive and start the rebuilding

MegaCli -PdReplaceMissing -PhysDrv [E:S] -ArrayN -rowN -aN

MegaCli -PDRbld -Start -PhysDrv [E:S] -aN

MegaCli -CfgLdAdd -r0 [0:1, 0:1] -a0

MegaCli -LDInfo -Lall -aALL

# View all controleler informations

MegaCli -AdpAllInfo -aAll

MegaCli -LDSetProp CachedBadBBU -LALL -aALL

Delete all devices

MegaCli -CfgLdDel -LALL -aALL

MegaCli -CfgLdAdd -r1 [252:0,252:1] -a0

MegaCli -CfgLdAdd -r10 [252:0,252:1,252:2,252:3] -a0

# create RAID5

MegaCli -CfgLdAdd -r5 [64:0,64:1,64:2,64:3] -a0

# create RAID10

MegaCli -CfgSpanAdd -r10 -Array0[64:0,64:1] -Array1[64:2,64:3] -a0

# create RAID10

MegaCli -AdpSetProp -EnableJBOD 1

# Enable disks cache

MegaCli -LDSetProp EnDskCache -LAll -aAll

# Force flash

MegaCli -adpfwflash -f ./12.12.0-0111.rom -NoVerChk -a0

# load controller defauts

MegaCli -adpfacdefset -aALL

smartmontools

0. Получаем информацию о дисках
smartctl --scan


1. Настраиваем отправку на почту в случаи сбоя 
/etc/smartd.conf
!!! По умолчанию  smartd мониторит все диски
!!! Для изменения такого поведения комментируем строку, нужно закомментировать строку  DEVICESCAN
!!! # DEVICESCAN -d removable -n standby -m root -M exec /usr/share/smartmontools/smartd-runner


/dev/bus/0 -d megaraid,0 -S on -o on -a -I 194 -m root # /dev/bus/0 [megaraid_disk_00], SCSI device
/dev/bus/0 -d megaraid,1 -S on -o on -a -I 194 -m root # /dev/bus/0 [megaraid_disk_01], SCSI device
#/dev/bus/0 -d megaraid,2 -S on -o on -a -I 194 -m root # /dev/bus/0 [megaraid_disk_02], SCSI device #spare
/dev/bus/0 -d megaraid,3 -S on -o on -a -I 194 -m root # /dev/bus/0 [megaraid_disk_03], SCSI device
/dev/bus/0 -d megaraid,4 -S on -o on -a -I 194 -m root # /dev/bus/0 [megaraid_disk_04], SCSI device
/dev/bus/0 -d megaraid,5 -S on -o on -a -I 194 -m root # /dev/bus/0 [megaraid_disk_05], SCSI device
/dev/bus/0 -d megaraid,6 -S on -o on -a -I 194 -m root # /dev/bus/0 [megaraid_disk_06], SCSI device
#/dev/bus/0 -d megaraid,7 -S on -o on -a -I 194 -m root # /dev/bus/0 [megaraid_disk_07], SCSI device #spare

2. описание директив в /etc/smartd.conf
Первая колонка	- устройство, которое мы собираемся мониторить.
Директива -o 	включает автоматическое off-line тестирование.
Директива -S 	включает автозапись атрибутов.
Директива -m 	за которой следует e-mail указывает куда warning сообщения отсылать.
Директива -a 	указывает smartd мониторить все SMART параметры диска
smartd по умолчанию логирует изменение значений всех атрибутов.
Директива -I 194 означает игнорировать атрибут #194, (т.е. температуру), т.к. температура диска часто меняется и нет смысла ее логировать.
root - почта ( /etc/aliases, команда newaliases перечитает файл aliases )

0. Получаем информацию о дисках

smartctl --scan

1. Настраиваем отправку на почту в случаи сбоя

/etc/smartd.conf

!!! По умолчанию smartd мониторит все диски

!!! Для изменения такого поведения комментируем строку, нужно закомментировать строку DEVICESCAN

!!! # DEVICESCAN -d removable -n standby -m root -M exec /usr/share/smartmontools/smartd-runner

/dev/bus/0 -d megaraid,0 -S on -o on -a -I 194 -m root # /dev/bus/0 [megaraid_disk_00], SCSI device

/dev/bus/0 -d megaraid,1 -S on -o on -a -I 194 -m root # /dev/bus/0 [megaraid_disk_01], SCSI device

#/dev/bus/0 -d megaraid,2 -S on -o on -a -I 194 -m root # /dev/bus/0 [megaraid_disk_02], SCSI device #spare

/dev/bus/0 -d megaraid,3 -S on -o on -a -I 194 -m root # /dev/bus/0 [megaraid_disk_03], SCSI device

/dev/bus/0 -d megaraid,4 -S on -o on -a -I 194 -m root # /dev/bus/0 [megaraid_disk_04], SCSI device

/dev/bus/0 -d megaraid,5 -S on -o on -a -I 194 -m root # /dev/bus/0 [megaraid_disk_05], SCSI device

/dev/bus/0 -d megaraid,6 -S on -o on -a -I 194 -m root # /dev/bus/0 [megaraid_disk_06], SCSI device

#/dev/bus/0 -d megaraid,7 -S on -o on -a -I 194 -m root # /dev/bus/0 [megaraid_disk_07], SCSI device #spare

2. описание директив в /etc/smartd.conf

Первая колонка - устройство, которое мы собираемся мониторить.

Директива -o включает автоматическое off-line тестирование.

Директива -S включает автозапись атрибутов.

Директива -m за которой следует e-mail указывает куда warning сообщения отсылать.

Директива -a указывает smartd мониторить все SMART параметры диска

smartd по умолчанию логирует изменение значений всех атрибутов.

Директива -I 194 означает игнорировать атрибут #194, (т.е. температуру), т.к. температура диска часто меняется и нет смысла ее логировать.

root - почта ( /etc/aliases, команда newaliases перечитает файл aliases )

Диски и файловые системы

mdadm spare / hot spare / error / raid10 / raid1

Автор записи Автор: Evgeny Yakovlev
Дата записи 2021/06/24

Пример для raid10, raid1

!!! Без резервной копии дальше ни нагой.
!!! spateЗапасной диск с  автоматической подменой неисправного диска
0. cat /proc/mdadm - смотрим что у нас там за raid и какой диск вылетел
1. smartctl -a /dev/sda - отобразить подробную информацию об устройстве  /dev/sda (пригодится при поиски диска)
2. fdisk -l - показать все диски и разметку (пригодится при поиски диска)

3. Перед добавлением диск нужно подготовить
Таблица разделов:
!!! sgdisk - копирует таблицу разделов
sgdisk /dev/sdx -R /dev/sdz - копировать таблицу разделов с /dev/sdx на /dev/sdz
Загрузчик:
!!! пред этим определись что у тебя за диск GPT или MBR
!!! dd if=что of=куда
!!! dd if=/dev/hda of=/temp/backu_bmr.img bs=512 count=1 - создание копии MBR ( Master Boot Record ) с /dev/hda в файл /temp/backu_bmr.img
!!! dd if=/temp/backu_bmr.img of=/dev/hda bs=512 count=1 - восстановить MBR из файла /temp/backu_bmr.img на диск /dev/hda
!!! dd if=/dev/sdx1 of=/dev/sdz1 - копируем 512M раздел /dev/sdx1 в раздел /dev/sdz1 (в данном примере в этом разделе uefi) 

grub-install /dev/zdz -  можно установить вот так grub загрузчик
  

4. Добавление диска или раздела как spare
!!! Правильнее будет всё-таки добавлять раздел
!!! Рекомендуется создавать таблицу разделов на диске и добавлять раздел
!!! Работать будет и без таблицы разделов, но вот при сбои raid будет сложно починить
!!! В таблице разделов находится информация о массиве
mdadm --manage /dev/md22 --add-spare /dev/sdj - добавляем диск /dev/sdj как запасной (spare) в массив /dev/md22 
mdadm --manage /dev/md22 --add-spare /dev/sdv2 - добавляем диск /dev/sdv2 как запасной (spare) в массив /dev/md22

!!! Без резервной копии дальше ни нагой.

!!! spateЗапасной диск с автоматической подменой неисправного диска

0. cat /proc/mdadm - смотрим что у нас там за raid и какой диск вылетел

1. smartctl -a /dev/sda - отобразить подробную информацию об устройстве /dev/sda (пригодится при поиски диска)

2. fdisk -l - показать все диски и разметку (пригодится при поиски диска)

3. Перед добавлением диск нужно подготовить

Таблица разделов:

!!! sgdisk - копирует таблицу разделов

sgdisk /dev/sdx -R /dev/sdz - копировать таблицу разделов с /dev/sdx на /dev/sdz

Загрузчик:

!!! пред этим определись что у тебя за диск GPT или MBR

!!! dd if=что of=куда

!!! dd if=/dev/hda of=/temp/backu_bmr.img bs=512 count=1 - создание копии MBR ( Master Boot Record ) с /dev/hda в файл /temp/backu_bmr.img

!!! dd if=/temp/backu_bmr.img of=/dev/hda bs=512 count=1 - восстановить MBR из файла /temp/backu_bmr.img на диск /dev/hda

!!! dd if=/dev/sdx1 of=/dev/sdz1 - копируем 512M раздел /dev/sdx1 в раздел /dev/sdz1 (в данном примере в этом разделе uefi)

grub-install /dev/zdz - можно установить вот так grub загрузчик

4. Добавление диска или раздела как spare

!!! Правильнее будет всё-таки добавлять раздел

!!! Рекомендуется создавать таблицу разделов на диске и добавлять раздел

!!! Работать будет и без таблицы разделов, но вот при сбои raid будет сложно починить

!!! В таблице разделов находится информация о массиве

mdadm --manage /dev/md22 --add-spare /dev/sdj - добавляем диск /dev/sdj как запасной (spare) в массив /dev/md22

mdadm --manage /dev/md22 --add-spare /dev/sdv2 - добавляем диск /dev/sdv2 как запасной (spare) в массив /dev/md22

RAID развалился что делать?:

!!!Выполнять нужно с чистой головой, чтобы не затереть вообще все данные!!!
С первой проблемой с которой вы возможно можете столкнутся это система не загружается и вы проваливаетесь initramfs
0. Смотрим что там у нас с массивом 
cat /proc/mdstat
mdadm --detail /dev/md0
mdadm -E /dev/sd[abcd]2
1. Предположим мы знаем какой у нас raid, допустим raid10 и в mdadm диск sdb вылетел
-1- Помечаем раздел как сбойный:
mdadm --manage /dev/md0 --fail /dev/sdb1
-2- Отключаем раздел (удаляем из RAID1):
mdadm --manage /dev/md0 --remove /dev/sdb1
-3- Выключаем сервер и вставляем новый диск
-4- Производим различные проверки что бы убедится кокой диск новый 
fdisk -l
smartctl -a /dev/sdz 
-5- Копируем таблицу разделов
sgdisk /dev/sdx -R /dev/sdz
-6- Если требуется копируем загрузчик с помощью dd
-7-


2. Развалилось все нафиг
!!! Без архивных копий сюда ни нагой !!!
Предположим мы знаем какой у нас raid, допустим raid10 и в mdadm нету дисков или один торчит
Диски у нас разбиты следующим образом: GPT разметка, sd?1 - загрузчик UEFI, sd?2 - массив RAID10

-0- Можем попробовать собрать raid 10 снова
mdadm --stop - останавливаем raid
mdadm --create /dev/md0 --level=10 --raid-devices=4 /dev/sda2 /dev/sdb2 /dev/sdc2 /dev/sdd2

-1- Проверяем что там у нас с массивом 
mdadm --examine /dev/sd[a-d]1
mdadm --detail /dev/md0
cat /proc/mdadm

Возможно понадобится выполнить fsck

Как закончит ребилд пробуем загрузится CTRL+D (напоминаю мы все еще  initramfs)

-2- Если все загрузилось ставим первым делом загрузчик
grub-install /dev/vda
grub-install /dev/vdb
grub-install /dev/vdc
grub-install /dev/vdd



-3- Если перезагрузились и торчим в rescue grub
!!! https://www.supergrubdisk.org/ - можно воспользоваться этим диском загрузится в систему и далее установить загрузчик grub-install /dev/vdX

ls - показать все диски
set prefix=(md/0,gpt1)/boot/grub 
set root=(md/0,gpt1)
ls /boot/grub - убедились что есть загрузочные файлы
insmod ext2 - загрузили модуль ext2
insmod normal - загрузили модуль normal
normal - загружаемся в систему
Ставим загрузчик:
grub-install /dev/vda
grub-install /dev/vdb
grub-install /dev/vdc
grub-install /dev/vdd

!!!Выполнять нужно с чистой головой, чтобы не затереть вообще все данные!!!

С первой проблемой с которой вы возможно можете столкнутся это система не загружается и вы проваливаетесь initramfs

0. Смотрим что там у нас с массивом

cat /proc/mdstat

mdadm --detail /dev/md0

mdadm -E /dev/sd[abcd]2

1. Предположим мы знаем какой у нас raid, допустим raid10 и в mdadm диск sdb вылетел

-1- Помечаем раздел как сбойный:

mdadm --manage /dev/md0 --fail /dev/sdb1

-2- Отключаем раздел (удаляем из RAID1):

mdadm --manage /dev/md0 --remove /dev/sdb1

-3- Выключаем сервер и вставляем новый диск

-4- Производим различные проверки что бы убедится кокой диск новый

fdisk -l

smartctl -a /dev/sdz

-5- Копируем таблицу разделов

sgdisk /dev/sdx -R /dev/sdz

-6- Если требуется копируем загрузчик с помощью dd

-7-

2. Развалилось все нафиг

!!! Без архивных копий сюда ни нагой !!!

Предположим мы знаем какой у нас raid, допустим raid10 и в mdadm нету дисков или один торчит

Диски у нас разбиты следующим образом: GPT разметка, sd?1 - загрузчик UEFI, sd?2 - массив RAID10

-0- Можем попробовать собрать raid 10 снова

mdadm --stop - останавливаем raid

mdadm --create /dev/md0 --level=10 --raid-devices=4 /dev/sda2 /dev/sdb2 /dev/sdc2 /dev/sdd2

-1- Проверяем что там у нас с массивом

mdadm --examine /dev/sd[a-d]1

mdadm --detail /dev/md0

cat /proc/mdadm

Возможно понадобится выполнить fsck

Как закончит ребилд пробуем загрузится CTRL+D (напоминаю мы все еще initramfs)

-2- Если все загрузилось ставим первым делом загрузчик

grub-install /dev/vda

grub-install /dev/vdb

grub-install /dev/vdc

grub-install /dev/vdd

-3- Если перезагрузились и торчим в rescue grub

!!! https://www.supergrubdisk.org/ - можно воспользоваться этим диском загрузится в систему и далее установить загрузчик grub-install /dev/vdX

ls - показать все диски

set prefix=(md/0,gpt1)/boot/grub

set root=(md/0,gpt1)

ls /boot/grub - убедились что есть загрузочные файлы

insmod ext2 - загрузили модуль ext2

insmod normal - загрузили модуль normal

normal - загружаемся в систему

Ставим загрузчик:

grub-install /dev/vda

grub-install /dev/vdb

grub-install /dev/vdc

grub-install /dev/vdd

Замена диска, подключение диска, удаление диска, добавление запасной диск:

mdadm --manage --fail /dev/md100 /dev/sdb3 - в массиве /dev/md100 пометить диск /dev/sdb3 как сбойный
mdadm --remove /dev/md100 /dev/sdb3 - из массива /dev/md100 убрать диск /dev/sdb3
mdadm --add /dev/md0 /dev/sdf1 - добавить новый диск /dev/sdf1 в массив /dev/md0
mdadm --manage /dev/md22 --add-spare /dev/sdv2 - добавляем диск /dev/sdv2 как запасной (spare) в массив /dev/md22

mdadm --manage --fail /dev/md100 /dev/sdb3 - в массиве /dev/md100 пометить диск /dev/sdb3 как сбойный

mdadm --remove /dev/md100 /dev/sdb3 - из массива /dev/md100 убрать диск /dev/sdb3

mdadm --add /dev/md0 /dev/sdf1 - добавить новый диск /dev/sdf1 в массив /dev/md0

mdadm --manage /dev/md22 --add-spare /dev/sdv2 - добавляем диск /dev/sdv2 как запасной (spare) в массив /dev/md22

Сборка существующего массива:

Собрать существующий массив можно с помощью mdadm --assemble. 
Как дополнительный аргумент указывается, нужно ли выполнять сканирование устройств, и если нет, то какие устройства нужно собирать.
mdadm --assemble /dev/md0 /dev/hde1 /dev/hdf2 /dev/hdg1
mdadm --assemble --scan

Собрать существующий массив можно с помощью mdadm --assemble.

Как дополнительный аргумент указывается, нужно ли выполнять сканирование устройств, и если нет, то какие устройства нужно собирать.

mdadm --assemble /dev/md0 /dev/hde1 /dev/hdf2 /dev/hdg1

mdadm --assemble --scan

Таблицы разделвов:

Создание таблицы разделов:
fdisk /dev/vdX - создание таблицы разделов MBR
gsisk /dev/vdX - создание таблицы разделов MBR/GPT

Копирование таблицы разделов:
!!! fdisk не умеет работать с GPT
sfdisk -d /dev/sda | sfdisk /dev/sdb  - копирование таблицы разделов (MBR)
sgdisk /dev/sdx -R /dev/sdz - копирование таблицы разделов (MBR or GPT)

Копирование таблицы разделов sfdisk:
sfdisk -d /dev/sda > part_table - сохранить
sfdisk /dev/sda < part_table - восстановить


Копирование таблицы разделов с помощью dd:
dd if=/dev/sda of=partitiontable.bin bs=1 skip=446 count=64 # backup
dd if=partitiontable.bin of=/dev/sda bs=1 seek=446 count=64 # restore

Создание таблицы разделов:

fdisk /dev/vdX - создание таблицы разделов MBR

gsisk /dev/vdX - создание таблицы разделов MBR/GPT

Копирование таблицы разделов:

!!! fdisk не умеет работать с GPT

sfdisk -d /dev/sda | sfdisk /dev/sdb - копирование таблицы разделов (MBR)

sgdisk /dev/sdx -R /dev/sdz - копирование таблицы разделов (MBR or GPT)

Копирование таблицы разделов sfdisk:

sfdisk -d /dev/sda > part_table - сохранить

sfdisk /dev/sda < part_table - восстановить

Копирование таблицы разделов с помощью dd:

dd if=/dev/sda of=partitiontable.bin bs=1 skip=446 count=64 # backup

dd if=partitiontable.bin of=/dev/sda bs=1 seek=446 count=64 # restore

Установка загрузчика:

grub-install /dev/vdX - установка загрузчика

1	grub-install /dev/vdX - установка загрузчика

оффтоп

Типы разделов:
8300 - linux file system
FD00 - linux raid

Создание массивов:
mdadm --create /dev/md0 --level=10 --raid-devices=4 /dev/vd[a-d]1 - создание массива raid10
mdadm --create /dev/md1 --level=1 --raid-devices=2 /dev/vd[xz]1 -  создание массива raid1

Проверка состояния массивов:
cat /proc/mdstat - проверка состояния массива
mdadm --examine /dev/sdf
mdadm --examine /dev/sdf1
mdadm --detail /dev/md0

Сохранение настроек mdadm:
mdadm --detail --scan --verbose >> /etc/mdadm.conf - копирование конфигурации

Создание файловой системы ext4:
mkfs.ext4 /dev/md100 - создание файловой системы

Монтирование дисков:
lsblk - показать UUID диска
/etc/fstab - файл авто монтирования дисков при загрузке
maunt -a - перечитать файл /etc/fstab и примонтировать устройства


Пометка диска как сбойного:
mdadm /dev/md0 --fail /dev/hde1
mdadm /dev/md0 -f     /dev/hde1


Удаление сбойного диска:
mdadm /dev/md100 --remove /dev/hde1
mdadm /dev/md100 -r       /dev/hde1


Добавление нового диска:
mdadm /dev/md0 --add /dev/hde1
mdadm /dev/md0 -a    /dev/hde1

Типы разделов:

8300 - linux file system

FD00 - linux raid

Создание массивов:

mdadm --create /dev/md0 --level=10 --raid-devices=4 /dev/vd[a-d]1 - создание массива raid10

mdadm --create /dev/md1 --level=1 --raid-devices=2 /dev/vd[xz]1 - создание массива raid1

Проверка состояния массивов:

cat /proc/mdstat - проверка состояния массива

mdadm --examine /dev/sdf

mdadm --examine /dev/sdf1

mdadm --detail /dev/md0

Сохранение настроек mdadm:

mdadm --detail --scan --verbose >> /etc/mdadm.conf - копирование конфигурации

Создание файловой системы ext4:

mkfs.ext4 /dev/md100 - создание файловой системы

Монтирование дисков:

lsblk - показать UUID диска

/etc/fstab - файл авто монтирования дисков при загрузке

maunt -a - перечитать файл /etc/fstab и примонтировать устройства

Пометка диска как сбойного:

mdadm /dev/md0 --fail /dev/hde1

mdadm /dev/md0 -f /dev/hde1

Удаление сбойного диска:

mdadm /dev/md100 --remove /dev/hde1

mdadm /dev/md100 -r /dev/hde1

Добавление нового диска:

mdadm /dev/md0 --add /dev/hde1

mdadm /dev/md0 -a /dev/hde1

Ссылки:

http://xgu.ru/wiki/%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D1%8B%D0%B9_RAID_%D0%B2_Linux
https://valynkin.ru/shpargalka-po-mdraid.html

1 2	http://xgu.ru/wiki/%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D1%8B%D0%B9_RAID_%D0%B2_Linux https://valynkin.ru/shpargalka-po-mdraid.html

Диски и файловые системы

ceph

Автор записи Автор: Evgeny Yakovlev
Дата записи 2020/09/21

Использовал материал:

https://docs.ceph.com/docs/master/install/ceph-deploy/quick-start-preflight/#debian-ubuntu
https://docs.ceph.com/docs/hammer/rados/configuration/ceph-conf/

https://ceph.io/planet/installing-ceph-the-easy-peasy-way/
https://ceph.io/planet/hosting-a-web-site-in-radosgw/

https://habr.com/ru/post/313644/ 
https://habr.com/ru/post/315646/ 
https://habr.com/ru/company/oleg-bunin/blog/431536/
https://habr.com/ru/company/croccloudteam/blog/422905/
https://habr.com/ru/post/179823/
https://habr.com/ru/post/180415/

https://www.facebook.com/notes/hosterby/%D0%BE%D0%BF%D1%8B%D1%82-%D0%B2%D0%BD%D0%B5%D0%B4%D1%80%D0%B5%D0%BD%D0%B8%D1%8F-%D0%B8-%D1%8D%D0%BA%D1%81%D0%BF%D0%BB%D1%83%D0%B0%D1%82%D0%B0%D1%86%D0%B8%D0%B8-ceph/1931973293570283/
https://cloud.yandex.ru/docs/storage/tools/s3cmd - случано нашел прикольную инструкцию на русском +)
https://stackoverflow.com/questions/45012905/removing-pool-mon-allow-pool-delete-config-option-to-true-before-you-can-destro - удаление пула 
https://xakep.ru/2010/08/12/52949/ - s3cmd

https://b14esh.com

https://docs.ceph.com/docs/master/install/ceph-deploy/quick-start-preflight/#debian-ubuntu

https://docs.ceph.com/docs/hammer/rados/configuration/ceph-conf/

https://ceph.io/planet/installing-ceph-the-easy-peasy-way/

https://ceph.io/planet/hosting-a-web-site-in-radosgw/

https://habr.com/ru/post/313644/

https://habr.com/ru/post/315646/

https://habr.com/ru/company/oleg-bunin/blog/431536/

https://habr.com/ru/company/croccloudteam/blog/422905/

https://habr.com/ru/post/179823/

https://habr.com/ru/post/180415/

https://www.facebook.com/notes/hosterby/%D0%BE%D0%BF%D1%8B%D1%82-%D0%B2%D0%BD%D0%B5%D0%B4%D1%80%D0%B5%D0%BD%D0%B8%D1%8F-%D0%B8-%D1%8D%D0%BA%D1%81%D0%BF%D0%BB%D1%83%D0%B0%D1%82%D0%B0%D1%86%D0%B8%D0%B8-ceph/1931973293570283/

https://cloud.yandex.ru/docs/storage/tools/s3cmd - случано нашел прикольную инструкцию на русском +)

https://stackoverflow.com/questions/45012905/removing-pool-mon-allow-pool-delete-config-option-to-true-before-you-can-destro - удаление пула

https://xakep.ru/2010/08/12/52949/ - s3cmd

https://b14esh.com

Дано:

дистрибутив у нас lsb_release -a

No LSB modules are available.
Distributor ID: Ubuntu
Description:    Ubuntu 18.04.5 LTS
Release:        18.04
Codename:       bionic


Три виртуальные машины  с ip
10.0.0.4
10.0.0.5
10.0.0.6

дистрибутив у нас lsb_release -a

No LSB modules are available.

Distributor ID: Ubuntu

Description: Ubuntu 18.04.5 LTS

Release: 18.04

Codename: bionic

Три виртуальные машины с ip

10.0.0.4

10.0.0.5

10.0.0.6

Нужно сделать:

а) Необходимо создать кластер из трех нод с последней версией ceph
б) создать pool
в) создать s3 bucket
г) ceph -s - должен HEALTH_OK
д) положить в него что угодно (картинку, файл) и предоставить ссылку на его скачивание без пароля


Ну собственно что мы будем делать:
Подымем ceph; 
ceph -s - покажит HEALTH_OK;
подымим pool;
на одной из нод настроим rgw;
добавим в pool файл с помощью s3cmd;
установим haproxy и натравим его на rgw;
собственно подключимся по ip:80/bucket/filename и получим наш файл...

а) Необходимо создать кластер из трех нод с последней версией ceph

б) создать pool

в) создать s3 bucket

г) ceph -s - должен HEALTH_OK

д) положить в него что угодно (картинку, файл) и предоставить ссылку на его скачивание без пароля

Ну собственно что мы будем делать:

Подымем ceph;

ceph -s - покажит HEALTH_OK;

подымим pool;

на одной из нод настроим rgw;

добавим в pool файл с помощью s3cmd;

установим haproxy и натравим его на rgw;

собственно подключимся по ip:80/bucket/filename и получим наш файл...

0. Обновим ос

sudo su
apt update
sudo dpkg --configure -a
apt update
apt upgrade

sudo su

apt update

sudo dpkg --configure -a

apt update

apt upgrade

1. Переименуем хосты

sudo nano /etc/cloud/cloud.cfg  - и установить параметр "preserve_hostname" с false на true 
sudo hostnamectl set-hostname nod0.inc
sudo hostnamectl set-hostname nod1.inc
sudo hostnamectl set-hostname nod2.inc

sudo nano /etc/cloud/cloud.cfg - и установить параметр "preserve_hostname" с false на true

sudo hostnamectl set-hostname nod0.inc

sudo hostnamectl set-hostname nod1.inc

sudo hostnamectl set-hostname nod2.inc

2. DNS записи

Пожалуй просто добавим ip нод в /etc/hosts на всех нодах

nano /etc/hosts

10.0.0.4 nod0.inc
10.0.0.5 nod1.inc
10.0.0.6 nod2.inc

Пожалуй просто добавим ip нод в /etc/hosts на всех нодах

nano /etc/hosts

10.0.0.4 nod0.inc

10.0.0.5 nod1.inc

10.0.0.6 nod2.inc

3. Зададим пароль root

Ceph нужен root на нодах... Задаем пароль root на всех нодах
sudo su
passwd

Ceph нужен root на нодах... Задаем пароль root на всех нодах

sudo su

passwd

4. Разрешим подключаться root по ssh :(

Ceph нужен доступ root  по ssh. добавил на все серверы
nano /etc/ssh/sshd_config
добавим строку
PermitRootLogin yes

Ceph нужен доступ root по ssh. добавил на все серверы

nano /etc/ssh/sshd_config

добавим строку

PermitRootLogin yes

5. Необходимо генерировать сертификаты пользователю root для ssh на всех нодах:

Необходимо генерировать сертификаты пользователю root для ssh на всех нодах nod0,nod1,nod2 и скопируем их на другие ноды
sudo su

ssh-keygen
ssh-copy-id root@nod0.inc
ssh-copy-id root@nod1.inc
ssh-copy-id root@nod2.inc

Необходимо генерировать сертификаты пользователю root для ssh на всех нодах nod0,nod1,nod2 и скопируем их на другие ноды

sudo su

ssh-keygen

ssh-copy-id root@nod0.inc

ssh-copy-id root@nod1.inc

ssh-copy-id root@nod2.inc

6. Синхронизация времени

Для избежания проблем связанных со временем нужно установил пакеты синхронизации времени на все ноды
apt install ntp -y

1 2	Для избежания проблем связанных со временем нужно установил пакеты синхронизации времени на все ноды apt install ntp -y

7. Перезагрузим ноды

sudo reboot

1	sudo reboot

8. Добавим репозиторий ceph на все ноды

ключи:
#wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add -

репозиторий:
#список релизовhttps://docs.ceph.com/docs/master/releases/
#!!! вот тут внимание в строке ниже {ceph-stable-release} меняем на желаемую версию CEPH
# echo deb https://download.ceph.com/debian-{ceph-stable-release}/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list
# пример nautilus echo deb https://download.ceph.com/debian-nautilus/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list
# В моем случае я буду ставить последнию Octopus на данный момент  из https://docs.ceph.com/docs/master/releases/
# вот такая у меня будет строка echo deb https://download.ceph.com/debian-octopus/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list

Добавляем ключи репа и репозиторий:
wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add -
echo deb https://download.ceph.com/debian-octopus/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list

Проверим что все ок 
apt update

ключи:

#wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add -

репозиторий:

#список релизовhttps://docs.ceph.com/docs/master/releases/

#!!! вот тут внимание в строке ниже {ceph-stable-release} меняем на желаемую версию CEPH

# echo deb https://download.ceph.com/debian-{ceph-stable-release}/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list

# пример nautilus echo deb https://download.ceph.com/debian-nautilus/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list

# В моем случае я буду ставить последнию Octopus на данный момент из https://docs.ceph.com/docs/master/releases/

# вот такая у меня будет строка echo deb https://download.ceph.com/debian-octopus/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list

Добавляем ключи репа и репозиторий:

wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add -

echo deb https://download.ceph.com/debian-octopus/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list

Проверим что все ок

apt update

9. Пред установим на все ноды ceph-deploy

apt install python-minimal # в документации просили поставить 
apt install ceph-deploy -y

1 2	apt install python-minimal # в документации просили поставить apt install ceph-deploy -y

10. теперь самое главное, ради чего мы тут собрались:

Идем на сервер nod0, Заходим под root
sudo su

Создадим каталог туда будут складыватся конфиги и т.д.
mkdir /etc/ceph  

Зайдем в него
cd /etc/ceph

Создаем новый кластер
ceph-deploy new nod0.inc nod1.inc nod2.inc

Устанавливаем дистрибутив Ceph на машины
ceph-deploy install  nod0.inc nod1.inc nod2.inc 

Создаем мониторы, указанные при создании кластера
ceph-deploy mon create-initial 

# доставить мониторы
ceph-deploy mgr create nod0.inc nod1.inc nod2.inc
ceph-deploy mds create nod0.inc nod1.inc nod2.inc

Идем на сервер nod0, Заходим под root

sudo su

Создадим каталог туда будут складыватся конфиги и т.д.

mkdir /etc/ceph

Зайдем в него

cd /etc/ceph

Создаем новый кластер

ceph-deploy new nod0.inc nod1.inc nod2.inc

Устанавливаем дистрибутив Ceph на машины

ceph-deploy install nod0.inc nod1.inc nod2.inc

Создаем мониторы, указанные при создании кластера

ceph-deploy mon create-initial

# доставить мониторы

ceph-deploy mgr create nod0.inc nod1.inc nod2.inc

ceph-deploy mds create nod0.inc nod1.inc nod2.inc

11. Готовим диски

Смотрим что у нас там есть за диски 
fdisk -l
в моем случаем на каждой ноде есть по одному диску sdb

####ceph-deploy disk zap {cn1,cn2,cn3}:{sdb,sdc,sdd}
####ceph-deploy disk zap cn1:sdb cn1:sdc cn1:sdd cn2:sdb cn2:sdc cn2:sdd cn3:sdb cn3:sdc cn3:sdd 
####ceph-deploy osd create {cn1,cn2,cn3}:{sdb,sdc,sdd}


#Очищаем и готовим диски к добавлению в кластер
#ceph-deploy disk zap {nod0.inc,nod1.inc,nod2.inc}:{sdb}

#!!!!
# Я хз у меня перестало так работать при использовании масок  {cn1,cn2,cn3}:{sdb,sdc,sdd}
#Ошибки
#ssh: Could not resolve hostname nod0:sdb: Temporary failure in name resolution
#[ceph_deploy][ERROR ] RuntimeError: connecting to host: nod0:sdb resulted in errors: HostNotFound nod0:sdb
# даже имя пк к FQDN привел... Пос ssh подключается, пингуется и т.д

#выполнил так
ceph-deploy disk zap nod0.inc /dev/sdb
ceph-deploy disk zap nod1.inc /dev/sdb
ceph-deploy disk zap nod2.inc /dev/sdb

Превращаем диски в OSD и создаем соответствующие демоны
# и вот так больше не работает..... чднт?
#ceph-deploy osd create nod0.inc:sdb nod1.inc:sdb nod2.inc:sdb
# ну ок из инструкции.... https://docs.ceph.com/docs/master/install/ceph-deploy/quick-ceph-deploy/
ceph-deploy osd create --data /dev/sdb nod0.inc
ceph-deploy osd create --data /dev/vdb nod0.inc
ceph-deploy osd create --data /dev/vdb nod0.inc

Проверяем:
root@nod0:/etc/ceph# ceph -s
  cluster:
    id:     103840c7-2115-4b20-839b-60bed7446aba
    health: HEALTH_WARN
            no active mgr

  services:
    mon: 3 daemons, quorum nod0,nod1,nod2
    mgr: no daemons active
    osd: 3 osds: 3 up, 3 in

  data:
    pools:   0 pools, 0 pgs
    objects: 0  objects, 0 B
    usage:   0 B used, 0 B / 0 B avail
    pgs:

Ожидание:
Проверяем его состояние командой ceph -s или ceph status
Ключевая строка в этом отчете — это health, и оно находится в состоянии HEALTH_WARN. 
Это лучше, чем HEALTH_ERR, потому что так у нас хотя бы кластер работает, хотя и не очень. 
А сразу под HEALTH_WARN написано, почему же оно _WARN, а именно: «too few PGs per OSD (21 < min 30)», 
что говорит нам о необходимости увеличить количество плейсмент-групп так, чтобы на один OSD приходилось минимум 21 PG. 
Тогда умножаем 9 OSD на 21 и получаем 189, затем округляем до ближайшей степени двойки и получаем 256. 
В то время как текущее количество PG=64, что ясно видно в строке pgmap. Все это описано в документации Ceph. https://docs.ceph.com/docs/master/

Видим две проблемы:
health: HEALTH_WARN
            no active mgr
mgr: no daemons active


И еще:
ceph health
HEALTH_WARN no active mgr

Смотрим что у нас там есть за диски

fdisk -l

в моем случаем на каждой ноде есть по одному диску sdb

####ceph-deploy disk zap {cn1,cn2,cn3}:{sdb,sdc,sdd}

####ceph-deploy disk zap cn1:sdb cn1:sdc cn1:sdd cn2:sdb cn2:sdc cn2:sdd cn3:sdb cn3:sdc cn3:sdd

####ceph-deploy osd create {cn1,cn2,cn3}:{sdb,sdc,sdd}

#Очищаем и готовим диски к добавлению в кластер

#ceph-deploy disk zap {nod0.inc,nod1.inc,nod2.inc}:{sdb}

#!!!!

# Я хз у меня перестало так работать при использовании масок {cn1,cn2,cn3}:{sdb,sdc,sdd}

#Ошибки

#ssh: Could not resolve hostname nod0:sdb: Temporary failure in name resolution

#[ceph_deploy][ERROR ] RuntimeError: connecting to host: nod0:sdb resulted in errors: HostNotFound nod0:sdb

# даже имя пк к FQDN привел... Пос ssh подключается, пингуется и т.д

#выполнил так

ceph-deploy disk zap nod0.inc /dev/sdb

ceph-deploy disk zap nod1.inc /dev/sdb

ceph-deploy disk zap nod2.inc /dev/sdb

Превращаем диски в OSD и создаем соответствующие демоны

# и вот так больше не работает..... чднт?

#ceph-deploy osd create nod0.inc:sdb nod1.inc:sdb nod2.inc:sdb

# ну ок из инструкции.... https://docs.ceph.com/docs/master/install/ceph-deploy/quick-ceph-deploy/

ceph-deploy osd create --data /dev/sdb nod0.inc

ceph-deploy osd create --data /dev/vdb nod0.inc

Проверяем:

root@nod0:/etc/ceph# ceph -s

cluster:

id: 103840c7-2115-4b20-839b-60bed7446aba

health: HEALTH_WARN

no active mgr

services:

mon: 3 daemons, quorum nod0,nod1,nod2

mgr: no daemons active

osd: 3 osds: 3 up, 3 in

data:

pools: 0 pools, 0 pgs

objects: 0 objects, 0 B

usage: 0 B used, 0 B / 0 B avail

pgs:

Ожидание:

Проверяем его состояние командой ceph -s или ceph status

Ключевая строка в этом отчете — это health, и оно находится в состоянии HEALTH_WARN.

Это лучше, чем HEALTH_ERR, потому что так у нас хотя бы кластер работает, хотя и не очень.

А сразу под HEALTH_WARN написано, почему же оно _WARN, а именно: «too few PGs per OSD (21 < min 30)»,

что говорит нам о необходимости увеличить количество плейсмент-групп так, чтобы на один OSD приходилось минимум 21 PG.

Тогда умножаем 9 OSD на 21 и получаем 189, затем округляем до ближайшей степени двойки и получаем 256.

В то время как текущее количество PG=64, что ясно видно в строке pgmap. Все это описано в документации Ceph. https://docs.ceph.com/docs/master/

Видим две проблемы:

health: HEALTH_WARN

no active mgr

mgr: no daemons active

И еще:

ceph health

HEALTH_WARN no active mgr

12. Добавляем менеджеров….

ceph-deploy mgr create nod0.inc nod1.inc nod2.inc

Проверяем:
ceph health
HEALTH_OK

Еще:

root@nod0:/etc/ceph# ceph health
HEALTH_OK
root@nod0:/etc/ceph# ceph -s
  cluster:
    id:     103840c7-2115-4b20-839b-60bed7446aba
    health: HEALTH_OK

  services:
    mon: 3 daemons, quorum nod0,nod1,nod2
    mgr: nod0.inc(active), standbys: nod1.inc, nod2.inc
    osd: 3 osds: 3 up, 3 in

  data:
    pools:   0 pools, 0 pgs
    objects: 0  objects, 0 B
    usage:   3.0 GiB used, 63 GiB / 66 GiB avail
    pgs:

ceph-deploy mgr create nod0.inc nod1.inc nod2.inc

Проверяем:

ceph health

HEALTH_OK

Еще:

root@nod0:/etc/ceph# ceph health

HEALTH_OK

root@nod0:/etc/ceph# ceph -s

cluster:

id: 103840c7-2115-4b20-839b-60bed7446aba

health: HEALTH_OK

services:

mon: 3 daemons, quorum nod0,nod1,nod2

mgr: nod0.inc(active), standbys: nod1.inc, nod2.inc

osd: 3 osds: 3 up, 3 in

data:

pools: 0 pools, 0 pgs

objects: 0 objects, 0 B

usage: 3.0 GiB used, 63 GiB / 66 GiB avail

pgs:

13. Ceph tool

ceph osd tree - посмотреть состояние дисков
ceph -s - посмотреть состояне ceph
ceph quorum_status --format json-pretty - еще одна проверка

ntpdate ru.pool.ntp.org - синхронизация времени может пригодится ...

ceph osd pool stats [{pool-name}]  - посмотреть статус пулов 
ceph osd pool stats - посмотреть статус пулов 
sudo ceph osd lspools - посмотреть пулы

ceph -w - проверить работа способность кластера
 	   
ceph mon dump - проверить состояние кворума монитора Ceph
 	   
ceph df - проверьте состояние применения кластера

ceph osd lspools - вывести список ваших пулов Ceph
 	   
ceph osd tree - просмотреть карту CRUSH OSD

ceph-authtool --name client.admin /etc/ceph/ceph.client.admin.keyring --print-key - показать ключ админа
ceph-authtool --name client.admin /etc/ceph/ceph.client.admin.keyring --print-key  | tee /etc/ceph/admin.secret - показать ключ админа и сохронить в файл /etc/ceph/admin.secret


Проконтролировать статистику ваших мониторов, OSD и групп размещения Ceph:
# ceph mon stat
# ceph osd stat
# ceph pg stat

ceph osd tree - посмотреть состояние дисков

ceph -s - посмотреть состояне ceph

ceph quorum_status --format json-pretty - еще одна проверка

ntpdate ru.pool.ntp.org - синхронизация времени может пригодится ...

ceph osd pool stats [{pool-name}] - посмотреть статус пулов

ceph osd pool stats - посмотреть статус пулов

sudo ceph osd lspools - посмотреть пулы

ceph -w - проверить работа способность кластера

ceph mon dump - проверить состояние кворума монитора Ceph

ceph df - проверьте состояние применения кластера

ceph osd lspools - вывести список ваших пулов Ceph

ceph osd tree - просмотреть карту CRUSH OSD

ceph-authtool --name client.admin /etc/ceph/ceph.client.admin.keyring --print-key - показать ключ админа

ceph-authtool --name client.admin /etc/ceph/ceph.client.admin.keyring --print-key | tee /etc/ceph/admin.secret - показать ключ админа и сохронить в файл /etc/ceph/admin.secret

Проконтролировать статистику ваших мониторов, OSD и групп размещения Ceph:

# ceph mon stat

# ceph osd stat

# ceph pg stat

PG-NUM

PGP это группы размещения для целей расположения (Placement Group for Placement purpose), которое должно оставаться равным общему числу групп размещения (pg_num). 
Если вы увеличивает число групп размещения для пула Ceph, то есть pg_num, то вы должны также увеличить pgp_num до того же целочисленного значения, равного pg_num, 
следовательно кластер начнет процесс ребалансировки. 
Скрытый механизм ребалансировки можно пояснить следующим образом.
Значение pg_num определяет число групп размещения, которое отображается на OSD (устройства хранения объектов). 
Когда значение pg_num увеличивается для любого пула, каждая PG этого пула разделяется пополам, однако они все по прежнему отображаются на свои родительские OSD. 
До этого момента времени Ceph не начинает ребалансировку. 
Теперь, когда вы увеличиваете значение pgp_num для того же самого пула, PG начинают миграцию с родительских на некоторые другие OSD и начинается ребалансировка. 
Таким образом, PGP играет важную роль в ребалансировке кластера. 


####.Расчет общего количества групп размещения.
             (OSD * 100)
Всего PG = ------------
              размер бассейна
Например, предположим, что в вашем кластере 9 OSD, а размер пула по умолчанию равен 3. Таким образом, ваши PG будут

             9 * 100
Всего PG = ------------ = 300

PGP это группы размещения для целей расположения (Placement Group for Placement purpose), которое должно оставаться равным общему числу групп размещения (pg_num).

Если вы увеличивает число групп размещения для пула Ceph, то есть pg_num, то вы должны также увеличить pgp_num до того же целочисленного значения, равного pg_num,

следовательно кластер начнет процесс ребалансировки.

Скрытый механизм ребалансировки можно пояснить следующим образом.

Значение pg_num определяет число групп размещения, которое отображается на OSD (устройства хранения объектов).

Когда значение pg_num увеличивается для любого пула, каждая PG этого пула разделяется пополам, однако они все по прежнему отображаются на свои родительские OSD.

До этого момента времени Ceph не начинает ребалансировку.

Теперь, когда вы увеличиваете значение pgp_num для того же самого пула, PG начинают миграцию с родительских на некоторые другие OSD и начинается ребалансировка.

Таким образом, PGP играет важную роль в ребалансировке кластера.

####.Расчет общего количества групп размещения.

(OSD * 100)

Всего PG = ------------

размер бассейна

Например, предположим, что в вашем кластере 9 OSD, а размер пула по умолчанию равен 3. Таким образом, ваши PG будут

9 * 100

Всего PG = ------------ = 300

14. Создаем pool / где то надо данные то хранить =)

Pool создается в два действия.
Первое действие его нужно создать.
Второе действие его нужно привязать к приложению.


У нас три варианта pool. RDB, RGW, CEPHFS.
RDB - блочные устройства \ диски для виртуалок и тд
RGW - доступ по http  \ S3
СEPHFS - без комментариев... 
RADOS

Создаем pool
# Как правильно считать pg-num я не знаю, смотрите документацию ceph, так же у этой опции есть autoscaling....
#ceph osd pool create {pool-name} {pg-num}
ceph osd pool create img 100  - создали pool с именем img и pg-num=100

 
#Перед использованием пулы должны быть связаны с приложением. 
#Пулы, которые будут использоваться с CephFS, или пулы, автоматически созданные RGW, автоматически связываются.

#--- Ceph Filesystem ---
#$ sudo ceph osd pool application enable <pool-name> cephfs


#--- Ceph Block Device ---
#$ sudo ceph osd pool application enable <pool-name> rbd


#--- Ceph Object Gateway ---
# $ sudo ceph osd pool application enable <pool-name> rgw


#Пример:
#$ sudo ceph osd pool application enable k8s-uat-rbd rbd
#enabled application 'rbd' on pool 'k8s-uat-rbd'

#Пулы, предназначенные для использования с RBD, следует инициализировать с помощью  rbd инструмента:
#sudo rbd pool init k8s-uat-rbd

#Чтобы отключить приложение, используйте:
#ceph osd pool application disable <poolname> <app> {--yes-i-really-mean-it}

#Чтобы получить информацию о вводе-выводе для определенного пула или всего, выполните:
#$ sudo ceph osd pool stats [{pool-name}]

#Пулы, предназначенные для использования с RBD, должны быть инициализированы с использованием инструмента rbd:
#sudo rbd pool init k8s-uat-rbd


sudo ceph osd pool application enable img rgw  - Связали пул img с приложением RGW

Pool создается в два действия.

Первое действие его нужно создать.

Второе действие его нужно привязать к приложению.

У нас три варианта pool. RDB, RGW, CEPHFS.

RDB - блочные устройства \ диски для виртуалок и тд

RGW - доступ по http \ S3

СEPHFS - без комментариев...

RADOS

Создаем pool

# Как правильно считать pg-num я не знаю, смотрите документацию ceph, так же у этой опции есть autoscaling....

#ceph osd pool create {pool-name} {pg-num}

ceph osd pool create img 100 - создали pool с именем img и pg-num=100

#Перед использованием пулы должны быть связаны с приложением.

#Пулы, которые будут использоваться с CephFS, или пулы, автоматически созданные RGW, автоматически связываются.

#--- Ceph Filesystem ---

#$ sudo ceph osd pool application enable <pool-name> cephfs

#--- Ceph Block Device ---

#$ sudo ceph osd pool application enable <pool-name> rbd

#--- Ceph Object Gateway ---

# $ sudo ceph osd pool application enable <pool-name> rgw

#Пример:

#$ sudo ceph osd pool application enable k8s-uat-rbd rbd

#enabled application 'rbd' on pool 'k8s-uat-rbd'

#Пулы, предназначенные для использования с RBD, следует инициализировать с помощью rbd инструмента:

#sudo rbd pool init k8s-uat-rbd

#Чтобы отключить приложение, используйте:

#ceph osd pool application disable <poolname> <app> {--yes-i-really-mean-it}

#Чтобы получить информацию о вводе-выводе для определенного пула или всего, выполните:

#$ sudo ceph osd pool stats [{pool-name}]

#Пулы, предназначенные для использования с RBD, должны быть инициализированы с использованием инструмента rbd:

#sudo rbd pool init k8s-uat-rbd

sudo ceph osd pool application enable img rgw - Связали пул img с приложением RGW

15. RGW (Ceph Object Gateway)

ceph-deploy rgw create nod0.inc

#Порт RGW по умолчанию 7480. 
#Его можно изменить в файле ceph.conf (на ноде откуда запустили)
---ceph.conf---
[client]
rgw frontends = civetweb port=80
---------------

ceph-deploy rgw create nod0.inc

#Порт RGW по умолчанию 7480.

#Его можно изменить в файле ceph.conf (на ноде откуда запустили)

---ceph.conf---

[client]

rgw frontends = civetweb port=80

---------------

15.1 Пример из документации создание pool RGW, добавление данных и удаление pool

Хранение объектов с применением шлюза Ceph RADOS
radosgw-admin
radosgw-admin --help

# Тест из docs
ceph osd pool create mytest 10
rados put test-object-1 testfile.txt --pool=mytest
rados -p mytest ls
ceph osd map mytest test-object-1
rados rm test-object-1 --pool=mytest
ceph osd pool rm mytest
ceph osd pool rm mytest --yes-i-really-really-mean-it
ceph osd pool rm mytest mytest --yes-i-really-really-mean-it

Хранение объектов с применением шлюза Ceph RADOS

radosgw-admin

radosgw-admin --help

# Тест из docs

ceph osd pool create mytest 10

rados put test-object-1 testfile.txt --pool=mytest

rados -p mytest ls

ceph osd map mytest test-object-1

rados rm test-object-1 --pool=mytest

ceph osd pool rm mytest

ceph osd pool rm mytest --yes-i-really-really-mean-it

ceph osd pool rm mytest mytest --yes-i-really-really-mean-it

15.2 Удаление pool / пуллов

Удаление пула происходит в несколько шагов.
Сначала надо отключить аппликацию этого пула.
После отключения его можно будет удалить.

В теории достаточно трех команд ниже:
ceph osd pool application disable <poolname> <app> {--yes-i-really-mean-it}
sudo ceph osd pool stats [{pool-name}]
sudo ceph osd pool delete {pool-name} [{pool-name} --yes-i-really-really-mean-it]

Но на практике удаление еще нужно разрешить...

ceph osd lspools - выведет список пулов
ceph osd pool application disable ЧТО_ХОТИМ_УДАЛИТЬ cephfs --yes-i-really-mean-it - отключаем pool
ceph osd pool delete ЧТО_ХОТИМ_УДАЛИТЬ ЧТО_ХОТИМ_УДАЛИТЬ  --yes-i-really-really-mean-it - удаление пула :)

ceph tell mon.\* injectargs '--mon-allow-pool-delete=true' - задаем параметр для возможности удаления пулов
!!! ceph config set mon mon_allow_pool_delete true - аналогичная cli команда, задаем параметр для возможности удаления пулов


ceph osd pool delete ЧТО_ХОТИМ_УДАЛИТЬ ЧТО_ХОТИМ_УДАЛИТЬ  --yes-i-really-really-mean-it - вот теперь точно удалим  (!!! два раза требует команда удаления ЧТО_ХОТИМ_УДАЛИТЬ)

Удаление пула происходит в несколько шагов.

Сначала надо отключить аппликацию этого пула.

После отключения его можно будет удалить.

В теории достаточно трех команд ниже:

ceph osd pool application disable <poolname> <app> {--yes-i-really-mean-it}

sudo ceph osd pool stats [{pool-name}]

sudo ceph osd pool delete {pool-name} [{pool-name} --yes-i-really-really-mean-it]

Но на практике удаление еще нужно разрешить...

ceph osd lspools - выведет список пулов

ceph osd pool application disable ЧТО_ХОТИМ_УДАЛИТЬ cephfs --yes-i-really-mean-it - отключаем pool

ceph osd pool delete ЧТО_ХОТИМ_УДАЛИТЬ ЧТО_ХОТИМ_УДАЛИТЬ --yes-i-really-really-mean-it - удаление пула :)

ceph tell mon.\* injectargs '--mon-allow-pool-delete=true' - задаем параметр для возможности удаления пулов

!!! ceph config set mon mon_allow_pool_delete true - аналогичная cli команда, задаем параметр для возможности удаления пулов

ceph osd pool delete ЧТО_ХОТИМ_УДАЛИТЬ ЧТО_ХОТИМ_УДАЛИТЬ --yes-i-really-really-mean-it - вот теперь точно удалим (!!! два раза требует команда удаления ЧТО_ХОТИМ_УДАЛИТЬ)

16. монтирование CephFS

apt-get install ceph-fuse - ставим

Создайте каталог точки монтирования:
# mkdir /mnt/kernel_cephfs

Запишите секретный ключ администратора:
# cat /etc/ceph/ceph.client.admin.keyring

#У меня это ....
client.admin]
        key = AQCzKE9f0x/DARAAFbJfwyAAIMgRoFSFVEJObw==

# Пример монтирования:
mount -t ceph 10.0.0.5:6789:/ /mnt/cephfs -o name=admin,secret=AQCzKE9f0x/DARAAFbJfwyAAIMgRoFSFVEJObw==

# Пример монтирования не показывать пароль:
mount -t ceph nod0.inc:6789:/ /mnt/cephfs -o name=admin,secretfile=/etc/ceph/adminkey

mount -t ceph nod1:6789,nod2:6789,nod0:6789:/ /mnt/cephfs -o name=admin,secretfile=/etc/ceph/admin.secret,noatime

# С использование ceph-fuse
sudo ceph-fuse -k /etc/ceph/ceph.client.admin.keyring -m nod0.inc:6789 /mnt/cephfs
sudo ceph-fuse -k /etc/ceph/ceph.client.admin.keyring -m 78.140.237.74:6789 /mnt/cephfs


###fstab
#10.0.0.5:6789:/     /mnt/cephfs    ceph    name=admin,secretfile=/etc/ceph/adminkey,noatime,_netdev    0       2
#id=admin,conf=/etc/ceph/ceph.conf /opt/mycephfs fuse.ceph defaults,_netdev 0 0

apt-get install ceph-fuse - ставим

Создайте каталог точки монтирования:

# mkdir /mnt/kernel_cephfs

Запишите секретный ключ администратора:

# cat /etc/ceph/ceph.client.admin.keyring

#У меня это ....

client.admin]

key = AQCzKE9f0x/DARAAFbJfwyAAIMgRoFSFVEJObw==

# Пример монтирования:

mount -t ceph 10.0.0.5:6789:/ /mnt/cephfs -o name=admin,secret=AQCzKE9f0x/DARAAFbJfwyAAIMgRoFSFVEJObw==

# Пример монтирования не показывать пароль:

mount -t ceph nod0.inc:6789:/ /mnt/cephfs -o name=admin,secretfile=/etc/ceph/adminkey

mount -t ceph nod1:6789,nod2:6789,nod0:6789:/ /mnt/cephfs -o name=admin,secretfile=/etc/ceph/admin.secret,noatime

# С использование ceph-fuse

sudo ceph-fuse -k /etc/ceph/ceph.client.admin.keyring -m nod0.inc:6789 /mnt/cephfs

sudo ceph-fuse -k /etc/ceph/ceph.client.admin.keyring -m 78.140.237.74:6789 /mnt/cephfs

###fstab

#10.0.0.5:6789:/ /mnt/cephfs ceph name=admin,secretfile=/etc/ceph/adminkey,noatime,_netdev 0 2

#id=admin,conf=/etc/ceph/ceph.conf /opt/mycephfs fuse.ceph defaults,_netdev 0 0

17. dashboard и всякая гадость

Хочу dashboard потом посмотрим.... 
Enable Ceph Dashboard
Enable the Ceph Dashboard module:

sudo ceph mgr module enable dashboard
sudo ceph mgr module ls

Generate self signed certificates for the dashboard:
sudo ceph dashboard create-self-signed-cert

Create a user for Dashboard:
sudo ceph dashboard ac-user-create admin 'LBPbQ9w9nFQnknfn!' administrator

Enabling the Object Gateway Management Frontend:
sudo radosgw-admin user create --uid=admin --display-name='Ceph Admin' --system

Finally, provide the credentials to the dashboard:
sudo ceph dashboard set-rgw-api-access-key <api-access-key>
sudo ceph dashboard set-rgw-api-secret-key <api-secret-key>

If you are using a self-signed certificate in your Object Gateway setup, then you should disable certificate verification:
sudo ceph dashboard set-rgw-api-ssl-verify False

Хочу dashboard потом посмотрим....

Enable Ceph Dashboard

Enable the Ceph Dashboard module:

sudo ceph mgr module enable dashboard

sudo ceph mgr module ls

Generate self signed certificates for the dashboard:

sudo ceph dashboard create-self-signed-cert

Create a user for Dashboard:

sudo ceph dashboard ac-user-create admin 'LBPbQ9w9nFQnknfn!' administrator

Enabling the Object Gateway Management Frontend:

sudo radosgw-admin user create --uid=admin --display-name='Ceph Admin' --system

Finally, provide the credentials to the dashboard:

sudo ceph dashboard set-rgw-api-access-key <api-access-key>

sudo ceph dashboard set-rgw-api-secret-key <api-secret-key>

If you are using a self-signed certificate in your Object Gateway setup, then you should disable certificate verification:

sudo ceph dashboard set-rgw-api-ssl-verify False

18. если нужно будет все снести

ceph-deploy purge {ceph-node} [{ceph-node}]
ceph-deploy purgedata {ceph-node} [{ceph-node}]
ceph-deploy forgetkeys
rm ceph.*

ceph-deploy purge {ceph-node} [{ceph-node}]

ceph-deploy purgedata {ceph-node} [{ceph-node}]

ceph-deploy forgetkeys

rm ceph.*

19. s3 bucket — пользователь

sudo radosgw-admin user create --uid="testuser" --display-name="First User" - добавить пользователя


{
    "user_id": "testuser",
    "display_name": "First User",
    "email": "",
    "suspended": 0,
    "max_buckets": 1000,
    "auid": 0,
    "subusers": [],
    "keys": [
        {
            "user": "testuser",
            "access_key": "3ZLDRWY8EP0ZWQCDYWEJ",
            "secret_key": "YRzxIzqWGs7CoavSaWM2UOmZXitJKpKjqUKCTQkr"
        }
    ],
    "swift_keys": [],
    "caps": [],
    "op_mask": "read, write, delete",
    "default_placement": "",
    "placement_tags": [],
    "bucket_quota": {
        "enabled": false,
        "check_on_raw": false,
        "max_size": -1,
        "max_size_kb": 0,
        "max_objects": -1
    },
    "user_quota": {
        "enabled": false,
        "check_on_raw": false,
        "max_size": -1,
        "max_size_kb": 0,
        "max_objects": -1
    },
    "temp_url_keys": [],
    "type": "rgw",
    "mfa_ids": []
}

sudo radosgw-admin user create --uid="testuser" --display-name="First User" - добавить пользователя

{

"user_id": "testuser",

"display_name": "First User",

"email": "",

"suspended": 0,

"max_buckets": 1000,

"auid": 0,

"subusers": [],

"keys": [

{

"user": "testuser",

"access_key": "3ZLDRWY8EP0ZWQCDYWEJ",

"secret_key": "YRzxIzqWGs7CoavSaWM2UOmZXitJKpKjqUKCTQkr"

}

"swift_keys": [],

"caps": [],

"op_mask": "read, write, delete",

"default_placement": "",

"placement_tags": [],

"bucket_quota": {

"enabled": false,

"check_on_raw": false,

"max_size": -1,

"max_size_kb": 0,

"max_objects": -1

"user_quota": {

"enabled": false,

"check_on_raw": false,

"max_size": -1,

"max_size_kb": 0,

"max_objects": -1

"temp_url_keys": [],

"type": "rgw",

"mfa_ids": []

}

20. python и s3bucket

sudo apt install python-boto  - установим python-boto

vi s3test.py -  создадим скрипт 
--------------------------------
import boto.s3.connection

access_key = 'I0PJDPCIYZ665MW88W9R'
secret_key = 'dxaXZ8U90SXydYzyS5ivamEP20hkLSUViiaR+ZDA'
conn = boto.connect_s3(
        aws_access_key_id=access_key,
        aws_secret_access_key=secret_key,
        host='{hostname}', port={port},
        is_secure=False, calling_format=boto.s3.connection.OrdinaryCallingFormat(),
       )

bucket = conn.create_bucket('my-new-bucket')
for bucket in conn.get_all_buckets():
    print "{name} {created}".format(
        name=bucket.name,
        created=bucket.creation_date,
    )
--------------------------------

У меня вышло вот так 
import boto.s3.connection



access_key = '3ZLDRWY8EP0ZWQCDYWEJ'
secret_key = 'YRzxIzqWGs7CoavSaWM2UOmZXitJKpKjqUKCTQkr'
hostname = '10.0.0.4'
portnamber = 80


ceph.example.com

conn = boto.connect_s3(
        aws_access_key_id=access_key,
        aws_secret_access_key=secret_key,
        host=hostname, port=portnamber,
        is_secure=False, calling_format=boto.s3.connection.OrdinaryCallingFormat(),
       )

bucket = conn.create_bucket('my-new-bucket')
for bucket in conn.get_all_buckets():
    print "{name} {created}".format(
        name=bucket.name,
        created=bucket.creation_date,
    )


Выполнил:
python s3test.py

Ответ:
my-new-bucket 2020-09-03T10:42:41.238Z

sudo apt install python-boto - установим python-boto

vi s3test.py - создадим скрипт

--------------------------------

import boto.s3.connection

access_key = 'I0PJDPCIYZ665MW88W9R'

secret_key = 'dxaXZ8U90SXydYzyS5ivamEP20hkLSUViiaR+ZDA'

conn = boto.connect_s3(

aws_access_key_id=access_key,

aws_secret_access_key=secret_key,

host='{hostname}', port={port},

is_secure=False, calling_format=boto.s3.connection.OrdinaryCallingFormat(),

)

bucket = conn.create_bucket('my-new-bucket')

for bucket in conn.get_all_buckets():

print "{name} {created}".format(

name=bucket.name,

created=bucket.creation_date,

)

--------------------------------

У меня вышло вот так

import boto.s3.connection

access_key = '3ZLDRWY8EP0ZWQCDYWEJ'

secret_key = 'YRzxIzqWGs7CoavSaWM2UOmZXitJKpKjqUKCTQkr'

hostname = '10.0.0.4'

portnamber = 80

ceph.example.com

conn = boto.connect_s3(

aws_access_key_id=access_key,

aws_secret_access_key=secret_key,

host=hostname, port=portnamber,

is_secure=False, calling_format=boto.s3.connection.OrdinaryCallingFormat(),

)

bucket = conn.create_bucket('my-new-bucket')

for bucket in conn.get_all_buckets():

print "{name} {created}".format(

name=bucket.name,

created=bucket.creation_date,

)

Выполнил:

python s3test.py

Ответ:

my-new-bucket 2020-09-03T10:42:41.238Z

21. s3cmd — клиент подключения / управления bucket

s3cmd
s3cmd --configure - настройка конфига (в каталоге пользователя у нас будет создан файл .s3cfg)

s3cmd mb s3://bucket_name - создать backet
s3cmd put --acl-public file_name.txt s3://bucket_name - отправить файл file_name.txt в bucket_name  который будет доступен всем


s3cmd ls - получить список bucket
s3cmd ls s3://name_bucket - получить список объектов в name_bucket

s3cmd del s3://bucket/object - удалить объект




Пример для бекапа \ sync:
s3cmd --acl-private --bucket-location=EU mb s3://bucket_name - создать backet
s3cmd get s3://name_bucket/file_name.txt my_local_file.txt - выгрузить объект s3://name_bucket/file_name.txt и сохранит в текущем каталоге с именем my_local_file.txt 

s3cmd --acl-private --bucket-location=EU --guess-mime-type --delete-removed sync /local/backup/ s3://bucket_name/backupfromserv1
Ключ -"-acl-private" означает, что доступ к файлам будет только у нас. 
С помощью "--bucket-location=EU" мы указываем регион (в данном случае Европу, аточнее Ирландию). 
Опция "--guess-mime-type" обозначает, что MIME-тип содержимого будет подбираться автоматически, исходя из расширения файла. 
А чтобы файлы сами удалились из S3-хранилища, если они исчезают в локальной папке, используется ключ "--delete-removed". 


s3cmd sync s3://bucket_name/backupfromserv1 /local/backup/ - восстановить из резервной копии

s3cmd ls s3://bucket_name - посмотреть, что хранится в bucket'е

Добавляем команду на бэкап в cron и наслаждаемся самым надежным бэкапом, который только можно представить.

s3cmd

s3cmd --configure - настройка конфига (в каталоге пользователя у нас будет создан файл .s3cfg)

s3cmd mb s3://bucket_name - создать backet

s3cmd put --acl-public file_name.txt s3://bucket_name - отправить файл file_name.txt в bucket_name который будет доступен всем

s3cmd ls - получить список bucket

s3cmd ls s3://name_bucket - получить список объектов в name_bucket

s3cmd del s3://bucket/object - удалить объект

Пример для бекапа \ sync:

s3cmd --acl-private --bucket-location=EU mb s3://bucket_name - создать backet

s3cmd get s3://name_bucket/file_name.txt my_local_file.txt - выгрузить объект s3://name_bucket/file_name.txt и сохранит в текущем каталоге с именем my_local_file.txt

s3cmd --acl-private --bucket-location=EU --guess-mime-type --delete-removed sync /local/backup/ s3://bucket_name/backupfromserv1

Ключ -"-acl-private" означает, что доступ к файлам будет только у нас.

С помощью "--bucket-location=EU" мы указываем регион (в данном случае Европу, аточнее Ирландию).

Опция "--guess-mime-type" обозначает, что MIME-тип содержимого будет подбираться автоматически, исходя из расширения файла.

А чтобы файлы сами удалились из S3-хранилища, если они исчезают в локальной папке, используется ключ "--delete-removed".

s3cmd sync s3://bucket_name/backupfromserv1 /local/backup/ - восстановить из резервной копии

s3cmd ls s3://bucket_name - посмотреть, что хранится в bucket'е

Добавляем команду на бэкап в cron и наслаждаемся самым надежным бэкапом, который только можно представить.

haproxy

nano /etc/haproxy/haproxy.cfg
-----------------------------
frontend ceph_front
    bind 0.0.0.0:80
    default_backend ceph_back

backend ceph_back
    balance source
    server radosgw01 127.0.0.1:7480 check
-----------------------------

nano /etc/haproxy/haproxy.cfg

-----------------------------

frontend ceph_front

bind 0.0.0.0:80

default_backend ceph_back

backend ceph_back

balance source

server radosgw01 127.0.0.1:7480 check

-----------------------------

Диски и файловые системы

hdd tools

Автор записи Автор: Evgeny Yakovlev
Дата записи 2019/10/02

gsmartcontrol - графическая программа проверки диска (SMART)
smartmontools - консольная программа для проверки и контроля диска (SMART)
parted - работа с таблицей разделов, аналог fdisk (еще есть partx)
partman - разметка диска (поддерживает LVM) (Это предпочтительная утилита)
partitioner - разметить диск
fdisk - разметка диска 
ls -l /dev/disk/by-uuid - вот так узнать UUID жесткого диска для файла /etc/fstab
blkid - вот так узнать UUID жесткого диска для файла /etc/fstab
cat /proc/partitions - Все зарегистрированные разделы (Linux)
mount - Смонтированные файловые системы
mount | column -t  - Смонтированные файловые системы
df - Свободное пространство на дисках

gsmartcontrol - графическая программа проверки диска (SMART)

smartmontools - консольная программа для проверки и контроля диска (SMART)

parted - работа с таблицей разделов, аналог fdisk (еще есть partx)

partman - разметка диска (поддерживает LVM) (Это предпочтительная утилита)

partitioner - разметить диск

fdisk - разметка диска

ls -l /dev/disk/by-uuid - вот так узнать UUID жесткого диска для файла /etc/fstab

blkid - вот так узнать UUID жесткого диска для файла /etc/fstab

cat /proc/partitions - Все зарегистрированные разделы (Linux)

mount - Смонтированные файловые системы

mount | column -t - Смонтированные файловые системы

df - Свободное пространство на дисках

Диски и файловые системы

mkfs \ файловые системы (ФС)

Автор записи Автор: Evgeny Yakovlev
Дата записи 2019/10/02

mkfs, mkfs.cramfs, mkfs.ext3, mkfs.ext4dev, mkfs.bfs, mkfs.ext2, mkfs.ext4, mkfs.minix
ext2 - не журналируемая фс
ext3,4 - журналируемая фс
mkfs.ext4 /dev/sdx1 - форматируем файловую систему ext4

mkfs, mkfs.cramfs, mkfs.ext3, mkfs.ext4dev, mkfs.bfs, mkfs.ext2, mkfs.ext4, mkfs.minix

ext2 - не журналируемая фс

ext3,4 - журналируемая фс

mkfs.ext4 /dev/sdx1 - форматируем файловую систему ext4

Диски и файловые системы

smartctl \ S.M.A.R.T. (SMART, жизнь диска)

Автор записи Автор: Evgeny Yakovlev
Дата записи 2019/10/02

S.M.A.R.T. (SMART, жизнь диска)

smartctl --scan - показать все доступные устройства
smartctl -a /dev/ad2 - Отобразить информацию SMART
smartctl -A /dev/hda - S.M.A.R.T (smartmontools - нужен пакет (еще есть gsmartcontrol+smartmontools+libatasmart))
smartctl -s on -a /dev/sda - проверить состояние диска  S.M.A.R.T.

smartctl --scan - показать все доступные устройства

smartctl -a /dev/ad2 - Отобразить информацию SMART

smartctl -A /dev/hda - S.M.A.R.T (smartmontools - нужен пакет (еще есть gsmartcontrol+smartmontools+libatasmart))

smartctl -s on -a /dev/sda - проверить состояние диска S.M.A.R.T.

Для проверки ssd используют

Для windows:
wmic diskdrive get status - напишет ок если все в порядке с диском

Для linux:
sudo smartctl -i -a /dev/sda - напишет информацию о состоянии диска

Для windows:

wmic diskdrive get status - напишет ок если все в порядке с диском

Для linux:

sudo smartctl -i -a /dev/sda - напишет информацию о состоянии диска

RocketRAID

https://www.smartmontools.org/wiki/Supported_RAID-Controllers
HighPoint RocketRAID SATA RAID controller	

smartctl -a -d hpt,L/M/N /dev/sdX

https://www.smartmontools.org/wiki/Supported_RAID-Controllers

HighPoint RocketRAID SATA RAID controller

smartctl -a -d hpt,L/M/N /dev/sdX

HP/Compaq

https://www.smartmontools.org/wiki/Supported_RAID-Controllers
CCISS (HP/Compaq Smart Array Controller)	
smartctl -a -d cciss,N /dev/cciss/cXd0 	

smartctl -a -d cciss,4 /dev/sg0

hpacucli ctrl all show config

ssacli ctrl all show config
ssacli ctrl all show config detail

https://www.smartmontools.org/wiki/Supported_RAID-Controllers

CCISS (HP/Compaq Smart Array Controller)

smartctl -a -d cciss,N /dev/cciss/cXd0

smartctl -a -d cciss,4 /dev/sg0

hpacucli ctrl all show config

ssacli ctrl all show config

ssacli ctrl all show config detail

MegaRAID \ Dell PERC

https://www.smartmontools.org/wiki/Supported_RAID-Controllers
LSI MegaRAID SAS RAID controller
Dell PERC 5/i,6/i controller	            

smartctl -a -d megaraid,N /dev/sdX

https://www.smartmontools.org/wiki/Supported_RAID-Controllers

LSI MegaRAID SAS RAID controller

Dell PERC 5/i,6/i controller

smartctl -a -d megaraid,N /dev/sdX

Intel ICHxR RAID

https://www.smartmontools.org/wiki/Supported_RAID-Controllers
Intel ICHxR RAID (Intel Rapid/Matrix Storage)	

smartclt -a /dev/sdX

https://www.smartmontools.org/wiki/Supported_RAID-Controllers

Intel ICHxR RAID (Intel Rapid/Matrix Storage)

smartclt -a /dev/sdX

Adaptec SAS RAID controller

https://www.smartmontools.org/wiki/Supported_RAID-Controllers
Adaptec SAS RAID controller (devices supported by aacraid driver)

smartctl -a -d aacraid,H,L,ID /dev/sdX

https://www.smartmontools.org/wiki/Supported_RAID-Controllers

Adaptec SAS RAID controller (devices supported by aacraid driver)

smartctl -a -d aacraid,H,L,ID /dev/sdX

Диски и файловые системы

hdparm \ Работа с дисками (SMART, блокировка, изменение и т.д.)

Автор записи Автор: Evgeny Yakovlev
Дата записи 2019/10/02

hdparm -I /dev/sda - Информация о IDE/ATA (Linux)
hdparm -i /dev/sda - вывести характеристики жесткого диска серийный номер диска и тд
hdparm -t /dev/sda - протестировать производительность чтения данных с жесткого диска
hdparm -tT /dev/sda - протестировать производительность чтения данных с жесткого диска
hdparm -d 1 /dev/hdX - проверить режим дма (ускорит работу харда)
hdparm -k 1 /dev/hdX - задать режим дма (ускорит работу харда)

hdparm --dco-restore /dev/sdXXXX - ОСОБО ОПАСНАЯ и НЕ ЗАПУСКАТЬ сброс установок диска к заводским

hdparm -I /dev/sda - Информация о IDE/ATA (Linux)

hdparm -i /dev/sda - вывести характеристики жесткого диска серийный номер диска и тд

hdparm -t /dev/sda - протестировать производительность чтения данных с жесткого диска

hdparm -tT /dev/sda - протестировать производительность чтения данных с жесткого диска

hdparm -d 1 /dev/hdX - проверить режим дма (ускорит работу харда)

hdparm -k 1 /dev/hdX - задать режим дма (ускорит работу харда)

hdparm --dco-restore /dev/sdXXXX - ОСОБО ОПАСНАЯ и НЕ ЗАПУСКАТЬ сброс установок диска к заводским

Диски и файловые системы

hdparm \ изменение доступного пространства диска (SSD Over-provisioning)

Автор записи Автор: Evgeny Yakovlev
Дата записи 2019/10/02

!!!Говорят так можно увеличить жизнь SSD... но не стоит этого делать
hdparm -N /dev/sdb - узнаем количество доступных секторов для диска (max sectors  = 312581808/312581808, HPA is disabled)
hdparm -Np281323627 /dev/sdb - задаем нужное количество секторов которое будет доступно для разметки  (max sectors   = 281323627/312581808, HPA is enabled)
hdparm -Np312581808 /dev/sdb - вернем все обратно (max sectors  = 312581808/312581808, HPA is disabled)
cat /sys/module/libata/parameters/ignore_hpa - узнаем что у нас с HPA is enabled/disabled. Linux может игнорировать такую настройку диска.

!!!Говорят так можно увеличить жизнь SSD... но не стоит этого делать

hdparm -N /dev/sdb - узнаем количество доступных секторов для диска (max sectors = 312581808/312581808, HPA is disabled)

hdparm -Np281323627 /dev/sdb - задаем нужное количество секторов которое будет доступно для разметки (max sectors = 281323627/312581808, HPA is enabled)

hdparm -Np312581808 /dev/sdb - вернем все обратно (max sectors = 312581808/312581808, HPA is disabled)

cat /sys/module/libata/parameters/ignore_hpa - узнаем что у нас с HPA is enabled/disabled. Linux может игнорировать такую настройку диска.

Диски и файловые системы

hdparm / удаление пароля с диска SSD/HDD

Автор записи Автор: Evgeny Yakovlev
Дата записи 2019/10/02

hdparm -I /dev/sda - информация о диске
hdparm —security-unlock "" /dev/sda - разблокировать
echo -n mem > /sys/power/state - Отправить пк в сон (снимет/отключит с диска "frozen")
hdparm --user-master u --security-set-pass NULL /dev/sda - изменить пароль пользователя на NULL
hdparm --user-master u --security-erase NULL /dev/sda - выполнить security-erase (очистку диска)

hdparm -I /dev/sda - информация о диске

hdparm —security-unlock "" /dev/sda - разблокировать

echo -n mem > /sys/power/state - Отправить пк в сон (снимет/отключит с диска "frozen")

hdparm --user-master u --security-set-pass NULL /dev/sda - изменить пароль пользователя на NULL

hdparm --user-master u --security-erase NULL /dev/sda - выполнить security-erase (очистку диска)

Диски и файловые системы

dd / клонирование

Автор записи Автор: Evgeny Yakovlev
Дата записи 2019/10/02

dd if=/dev/sda of=/dev/sdb bs=16M (if что of куда bs размер блока count сколько раз записывать)
dd if=/dev/sda of=/zxc/mbr.back bs=512 count=1 (backup mbr)
dd if=/zxc/mbr.back of=/dev/sda bs=512 count=1 (восстановления из backup)
xz -dc dmn-armbian-napi2-wgraph.img.xz | sudo dd of=/dev/sdd bs=2M status=progress  (распаковка и запись на диск sdd)
______________________________________________________________
Сколько времени осталось
pgrep -l '^dd$'
watch -n 10 kill -USR1 PID

dd if=/dev/sda of=/dev/sdb bs=16M (if что of куда bs размер блока count сколько раз записывать)

dd if=/dev/sda of=/zxc/mbr.back bs=512 count=1 (backup mbr)

dd if=/zxc/mbr.back of=/dev/sda bs=512 count=1 (восстановления из backup)

xz -dc dmn-armbian-napi2-wgraph.img.xz | sudo dd of=/dev/sdd bs=2M status=progress (распаковка и запись на диск sdd)

______________________________________________________________

Сколько времени осталось

pgrep -l '^dd$'

watch -n 10 kill -USR1 PID

Диски и файловые системы

dd / создание ISO образа

Автор записи Автор: Evgeny Yakovlev
Дата записи 2019/10/02

dd if=/dev/hdc of=/tmp/mycd.iso bs=2048 conv=notrunc - Создание ISO образа

1	dd if=/dev/hdc of=/tmp/mycd.iso bs=2048 conv=notrunc - Создание ISO образа

Диски и файловые системы

dd / конвертируем Nero

Автор записи Автор: Evgeny Yakovlev
Дата записи 2019/10/02

dd bs=1k if=imagefile.nrg of=imagefile.iso skip=300 - Конвертируем Nero .nrg файл в .iso 
Nero просто добавляет 300Kb заголовок к нормальному iso

1 2	dd bs=1k if=imagefile.nrg of=imagefile.iso skip=300 - Конвертируем Nero .nrg файл в .iso Nero просто добавляет 300Kb заголовок к нормальному iso

Диски и файловые системы

dd / делаем архив

Автор записи Автор: Evgeny Yakovlev
Дата записи 2019/10/02

umount /dev/hda1
dd if=/dev/hdal | gzip > bootpart.gz

1 2	umount /dev/hda1 dd if=/dev/hdal \| gzip > bootpart.gz

Диски и файловые системы

mdadm / raid / проверка

Автор записи Автор: Evgeny Yakovlev
Дата записи 2019/10/02

mdadm

mdadm -Q /dev/md1 - проверка софт raid
mdadn -Q /dev/sdb3 - проверка диска не является ли он частью raid 

cat /proc/mdstat

mdadm -Q /dev/md1 - проверка софт raid

mdadn -Q /dev/sdb3 - проверка диска не является ли он частью raid

cat /proc/mdstat

Диски и файловые системы

df / отобразит занятое место

Автор записи Автор: Evgeny Yakovlev
Дата записи 2019/10/02

df -hl - отображает занятое дисковое пространство локальными  ФС
df -hT - отображает занятое место плюс тип ФС

1 2	df -hl - отображает занятое дисковое пространство локальными ФС df -hT - отображает занятое место плюс тип ФС

Диски и файловые системы

du / занятое место файлами / каталогами

Автор записи Автор: Evgeny Yakovlev
Дата записи 2019/10/02

du -sch /home /var - отобразит занятое место каталогов
du -sh --exclude='*.iso' /home/my - отобразит занятое место с исключением *.iso
du -h --max-depth=1 /home - определит использование дискового пространства до первого уровня вложенных каталогов

du -sch /home /var - отобразит занятое место каталогов

du -sh --exclude='*.iso' /home/my - отобразит занятое место с исключением *.iso

du -h --max-depth=1 /home - определит использование дискового пространства до первого уровня вложенных каталогов

Диски и файловые системы

fstab / автоматическое монтирование дисков при загрузке системы

Автор записи Автор: Evgeny Yakovlev
Дата записи 2019/10/02

/etc/fstab
Поле   Описание
1      По умолчанию данное поле содержит имя устройства 
       раздела для монтирования (например, /dev/sdal), 
       однако значение этого поля также может быть равно 
       LABEL или содержать уникальный идентификатор (UUID).

2      Указывает точку монтирования.

3      Указывает тип файловой системы.

4      Содержит параметры команды mount, среди которых можно 
       отметить noauto (используется для предотвращения 
       монтирования файловой системы во время загрузки) 
       и ro (монтирует файловую систему, предназначенную только для чтения). 
       Чтобы дать возможность всем пользователям монтировать файловую систему, 
       добавьте в это поле параметр user (пользователь) или owner (владелец). 
       Параметры должны быть разделены запятыми.

5      Данное поле содержит значение только в том случае, если вы использовали
       для выполнения резервного копирования данных команду dump. 
       1 - выполнять 
       0 — невыполнять. 

6	   Число в этом поле определяет, должна ли файловая система быть проверена 
       с помощью команды fsck.  
       0 - не проверять фс. 
       1 - проверить в первую очередь  
       2 - файловая система может быть проверена после завершения проверки корневой фс.


noatime - не обновляет время доступа к файлам
поехес - предотвращает выполнение бинарных файлов
remount - изменяет параметры монтированной файловой системы
bind - монтирует существующую файловую систему, используя другую точку монтирования
move - перемещает файловую систему из одной точки монтирования в другую


mount -v -t iso9660 -o loop /tmp/myimage.iso /mnt/mymount/ - и монтировании файла-образа компакт-диска
mount -v -о loop /tmp/diskboot.img /mnt/mymount - монтирования загрузочного образа

losetup /dev/loop0 - отображает список смонтированных петлевых устройств
losetup -d /dev/loopl - принудительное демонтирование смонтированного петлевого устройства

mount -a - прочитать файл /etc/fstab и произвести монтирование устройств ( полезно выполнять при изменении файла fstab до перезагрузки системы)

/etc/fstab

Поле Описание

1 По умолчанию данное поле содержит имя устройства

раздела для монтирования (например, /dev/sdal),

однако значение этого поля также может быть равно

LABEL или содержать уникальный идентификатор (UUID).

2 Указывает точку монтирования.

3 Указывает тип файловой системы.

4 Содержит параметры команды mount, среди которых можно

отметить noauto (используется для предотвращения

монтирования файловой системы во время загрузки)

и ro (монтирует файловую систему, предназначенную только для чтения).

Чтобы дать возможность всем пользователям монтировать файловую систему,

добавьте в это поле параметр user (пользователь) или owner (владелец).

Параметры должны быть разделены запятыми.

5 Данное поле содержит значение только в том случае, если вы использовали

для выполнения резервного копирования данных команду dump.

1 - выполнять

0 — невыполнять.

6 Число в этом поле определяет, должна ли файловая система быть проверена

с помощью команды fsck.

0 - не проверять фс.

1 - проверить в первую очередь

2 - файловая система может быть проверена после завершения проверки корневой фс.

noatime - не обновляет время доступа к файлам

поехес - предотвращает выполнение бинарных файлов

remount - изменяет параметры монтированной файловой системы

bind - монтирует существующую файловую систему, используя другую точку монтирования

move - перемещает файловую систему из одной точки монтирования в другую

mount -v -t iso9660 -o loop /tmp/myimage.iso /mnt/mymount/ - и монтировании файла-образа компакт-диска

mount -v -о loop /tmp/diskboot.img /mnt/mymount - монтирования загрузочного образа

losetup /dev/loop0 - отображает список смонтированных петлевых устройств

losetup -d /dev/loopl - принудительное демонтирование смонтированного петлевого устройства

mount -a - прочитать файл /etc/fstab и произвести монтирование устройств ( полезно выполнять при изменении файла fstab до перезагрузки системы)

Диски и файловые системы

mount / монтирование файловых систем

Автор записи Автор: Evgeny Yakovlev
Дата записи 2019/10/02

mount /dev/hda2 /mnt/hda2 - монтирует раздел 'hda2' в точку монтирования '/mnt/hda2'. Убедитесь в наличии директории-точки монтирования '/mnt/hda2'
umount /dev/hda2 - размонтирует раздел 'hda2'. Перед выполнением, покиньте '/mnt/hda2'
fuser -km /mnt/hda2 - принудительное размонтирование раздела. Применяется в случае, когда раздел занят каким-либо пользователем
umount -n /mnt/hda2 - выполнить размонитрование без занесения информации в /etc/mtab. Полезно когда файл имеет атрибуты "только чтение" или недостаточно места на диске

mount /dev/fd0 /mnt/floppy - монтировать флоппи-диск
mount /dev/cdrom /mnt/cdrom - монтировать CD или DVD
mount /dev/hdc /mnt/cdrecorder - монтировать CD-R/CD-RW или DVD-R/DVD-RW(+-)
mount -o loop file.iso /mnt/cdrom - смонтировать ISO-образ
mount -t vfat /dev/hda5 /mnt/hda5 - монтировать файловую систему Windows FAT32
mount -t smbfs -o username=user,password=pass //winclient/share /mnt/share - монтировать сетевую файловую систему Windows (SMB/CIFS)

mount -o bind /home/user/prg /var/ftp/user - "монтирует" директорию в директорию (binding). 
Доступна с версии ядра 2.4.0. 
Полезна, например, для предоставления содержимого пользовательской директории через ftp при работе ftp-сервера в "песочнице" (chroot), 
когда симлинки сделать невозможно. 
Выполнение данной команды сделает копию содержимого /home/user/prg в /var/ftp/user

mount /dev/hda2 /mnt/hda2 - монтирует раздел 'hda2' в точку монтирования '/mnt/hda2'. Убедитесь в наличии директории-точки монтирования '/mnt/hda2'

umount /dev/hda2 - размонтирует раздел 'hda2'. Перед выполнением, покиньте '/mnt/hda2'

fuser -km /mnt/hda2 - принудительное размонтирование раздела. Применяется в случае, когда раздел занят каким-либо пользователем

umount -n /mnt/hda2 - выполнить размонитрование без занесения информации в /etc/mtab. Полезно когда файл имеет атрибуты "только чтение" или недостаточно места на диске

mount /dev/fd0 /mnt/floppy - монтировать флоппи-диск

mount /dev/cdrom /mnt/cdrom - монтировать CD или DVD

mount /dev/hdc /mnt/cdrecorder - монтировать CD-R/CD-RW или DVD-R/DVD-RW(+-)

mount -o loop file.iso /mnt/cdrom - смонтировать ISO-образ

mount -t vfat /dev/hda5 /mnt/hda5 - монтировать файловую систему Windows FAT32

mount -t smbfs -o username=user,password=pass //winclient/share /mnt/share - монтировать сетевую файловую систему Windows (SMB/CIFS)

mount -o bind /home/user/prg /var/ftp/user - "монтирует" директорию в директорию (binding).

Доступна с версии ядра 2.4.0.

Полезна, например, для предоставления содержимого пользовательской директории через ftp при работе ftp-сервера в "песочнице" (chroot),

когда симлинки сделать невозможно.

Выполнение данной команды сделает копию содержимого /home/user/prg в /var/ftp/user

Диски и файловые системы

mount \ основные параметры команды mount:

Автор записи Автор: Evgeny Yakovlev
Дата записи 2019/10/02

defaults	Использование параметров, заданных по умолчанию
dev	Интерпретация обозначений символьных и блочных устройств
discard	Активизация SSD-Trim (ext4, btrfs, xfs и swap)
exec	Разрешение выполнения программ (например, для CD/DVD-приводов)
noauto	Запрет подключения носителя данных к дереву каталогов при запуске системы
nodev	Игнорирование обозначений символьных и блочных устройств
noexec	Запрет на выполнение программ
nosuid	Запрет интерпретации битов доступа suid и guid
ro	Только для чтения (защита от внесения изменений)
sw	Своп (файл или раздел подкачки)
suid	Интерпретация битов доступа suid и guid

defaults Использование параметров, заданных по умолчанию

dev Интерпретация обозначений символьных и блочных устройств

discard Активизация SSD-Trim (ext4, btrfs, xfs и swap)

exec Разрешение выполнения программ (например, для CD/DVD-приводов)

noauto Запрет подключения носителя данных к дереву каталогов при запуске системы

nodev Игнорирование обозначений символьных и блочных устройств

noexec Запрет на выполнение программ

nosuid Запрет интерпретации битов доступа suid и guid

ro Только для чтения (защита от внесения изменений)

sw Своп (файл или раздел подкачки)

suid Интерпретация битов доступа suid и guid