Wojciech Błaszkowski » Linux

mdadm – kiedy brak kontrolera

Wojtosz — Fri, 14 May 2010 07:20:03 +0000

Urzywanie macierzy dyskowych nie jest czymś niecodziennym. Obecnie, nawet w laptopach spotykane są miejsca na 2 dyski.

O ile przepisów na stworzenie macierzy z użyciem mdadm są w sieci tysiące, o tyle chciałbym zwrócić uwagę na 3 istotne fakty. W tej chwili mam do zagospodarowania 4 dyski SATA 1TB w serwerze 1U. Postanowiono, że wykorzystane to będzie pod swap (4GB), /boot (500 MB), / (50GB) oraz /home (reszta). Zabawmy się zatem.

1. Tworzenie partycji.

Warto, aby każda z patrycji miała ustawiony typ “raid autodetect”. Pomaga to przy późniejszej identyfikacji i składaniu macierzy.

# fdisk -l /dev/sda

Disk /dev/sda: 1000.2 GB, 1000204886016 bytes
255 heads, 63 sectors/track, 121601 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0×30f6ea17

Device Boot      Start         End      Blocks   Id System
/dev/sda1               1         249     2000061   fd Linux raid autodetect
/dev/sda2   *         250         312      506047+ fd Linux raid autodetect
/dev/sda3             313        3473    25390732+ fd Linux raid autodetect
/dev/sda4            3474      121601   948863160   fd Linux raid autodetect

2. Jak najwięcej danych dotyczących samej macierzy powinno zostać zduplikowanych.

Pamiętajcie o opcji bitmap, dobrze jest ustawić ją na internal. Wówczas dane odnośnie samej macierzy uywane przy jej składaniu są przechowywane w metadanych tej macierzy i zreplikowane na wszystkie urządzenia wchodzące w skład macierzy.

mdadm -C /dev/md1 –level=10 –bitmap=internal -n 4 /dev/sd{a,b,c,d}1
mdadm -C /dev/md2 –level=1 –bitmap=internal -n 4 /dev/sd{a,b,c,d}2
mdadm -C /dev/md3 –level=10 –bitmap=internal -n 4 /dev/sd{a,b,c,d}3
mdadm -C /dev/md4 –level=10 –bitmap=internal -n 4 /dev/sd{a,b,c,d}4

3. RAID 5 czy RAID 10 ?

Dotychczas mając do dyspozycji 3 lub 4 dyski wybierałem RAID 5. Więcej miejsca niż w 10, ale też i o wiele dłuższy czas ewentualnego rebuildu macierzy po padzie zasilania w stosunku do RAID10. Dlatego też dziś chętnie wybieram ten drugi wariant. Dyski są duże i tanie, a więc nie żal jest miejsca, jeśli chodzi o bezpieczeństwo danych. No i oczywiście prętkość :) Ta macierz będzie składać się do końca z prętkoscią rzędu 200000K/sec.

# cat /proc/mdstat
Personalities : [raid10] [raid1]
md4 : active raid10 sdd4[3] sdc4[2] sdb4[1] sda4[0]
1897726080 blocks 64K chunks 2 near-copies [4/4] [UUUU]
[>....................] resync = 1.6% (31655168/1897726080) finish=153.5min speed=202512K/sec
bitmap: 224/227 pages [896KB], 4096KB chunk

md3 : active raid10 sdd3[3] sdc3[2] sdb3[1] sda3[0]
50781312 blocks 64K chunks 2 near-copies [4/4] [UUUU]
bitmap: 5/194 pages [20KB], 128KB chunk

md2 : active raid1 sdd2[3] sdc2[2] sdb2[1] sda2[0]
505920 blocks [4/4] [UUUU]
bitmap: 0/62 pages [0KB], 4KB chunk

md1 : active raid10 sdd1[3] sdc1[2] sdb1[1] sda1[0]
3999872 blocks 64K chunks 2 near-copies [4/4] [UUUU]
bitmap: 0/123 pages [0KB], 16KB chunk

unused devices:

OpenSSL 1.0 – czyli przeinstalowanie połowy systemu

Wojtosz — Fri, 30 Apr 2010 09:43:49 +0000

Od ponad miesiąca dostępna jest wersja OpenSSL 1.0. Administratorów czeka zatem przeinstalowanie lwiej części oprogramowania, o ile deweloperom udało się już je przekompilować.

Dla PLD Linux samo OpenSSL w nowej wersji jak i przekompilowane paczki są już dostępne, a zabawę zapewnią nam:

links, ekg, tcpdump, rdesktop, squid, wget, syslog-ng, lynx, net-snmp(-libs), rsync, openldap-libs, exim, nagios-nrpe, pure-ftpd, poldek-libs, bind-libs, apache(-tools), mysql(-libs), i inne,

libcap i korzystające z niej: tcpflow, dsniff, arpwatch, trafshow, nmap, iftop, i inne,

heimdal-libs i reszta zależnych od Kerberosa paczek; postgresql-libs, cups-lib, openssh-server, i inne.

Dla posiadaczy desktopów (z kartą nVidia) możemy upgradnąć serwer X’ów do wersji xorg-xserver-server-1.8.0 wraz z xorg-driver-video-nvidia-195.36.24. Driver ten wspiera już OpenSSL 1.0.

Majowy weekend zapowiadany jest jako deszczowy, więc bez żalu można będzie przysiąść i upgradnąć to i owo. Have fun.

cfdisk, parted i duże partycje

Wojtosz — Wed, 02 Sep 2009 05:46:22 +0000

Próbowałem ostatnio utworzyć patrycję nieco większą niż zwykle, 2,3TB. Tradycyjnie do pracy został zagoniony cfdisk, w końcu od tego jest – pomyślałem. Z jakichś przyczyn jednak cfdisk w wersji z paczki util-linux-ng-2.16 zamiast utworzyć rządaną przezemnie partycję, utworzył ją w wielkości 300GB. Doczytałem, że cfdisk nie obsłuży patrycji powyżej 2TB, co nie zmienia faktu, że powinien zakrzyczeć o tym fakcie. Użyłem parted który poradził sobie z problemem wyśmienicie.

Zrobienie patrycji na całej dostępnej przestrzeni dysku:

# mkpart primary 0 -0

Warto zaznaczyć, że parted nie jest programem do zabawy – zmiany zapisywane są na dysk bez zatwierdzania, zaraz po ich “nakazaniu”.

importing large dumps in MySQL

Wojtosz — Mon, 06 Jul 2009 08:26:15 +0000

Last week I have to import a large (above 4 GB) MySQL dump, wich includes InnoDB tables. The dump was made with –extended-insert=false, so we have many single operations to do. It takes me above 50 hours (sic !) by doing a simple source datadump.sql in the MySQL console. Load on the machine was near 1,02.

Next time I will do it like that:

create database DATABASE charset=CHARSET;
use DATABASE;
set names CHARSET;
set FOREIGN_KEY_CHECKS=0;
set AUTOCOMMIT=0;
source datadump.sql;
COMMIT;

While inserting data with above example, the load skips up to 4,90 – 5,30, so the 2-core machine was not boring.
It is realy fast :)

upgrading guest vserver Debian etch to lenny

Wojtosz — Thu, 26 Feb 2009 11:59:12 +0000

Having a simple LAMP guest Linux Vserver Debian etch we can do a dist-upgrade in minutes.
1. Stop the guest vserver, and make a copy of it. Just in case if something goes wrong.
2. Start the guest vserver, and enter it. Type as root:

# sed -i -e “s#etch#lenny#g” /etc/apt/sources.list

your file will look some like this:

deb http://ftp.pl.debian.org/debian/ lenny main
deb-src http://ftp.pl.debian.org/debian/ lenny main
deb http://security.debian.org lenny/updates main

3. Do: apt-get update
4. Start praying ;-) and type: apt-get dist-upgrade
5. Done ?

You probably have a syslog-ng daemon, and if it wouldn’t run, chceck the config files. In a Linux guest vserver you should comment line:

file(”/proc/kmsg” log_prefix(”kernel: “));

and then start your syslog-ng daemon.
It take me 10 minutes to upgrade my Debian guest vserver on my notebook :)

kernel 2.6.27.4 + grsecurity + AppArmor + Vserver

Wojtosz — Thu, 30 Oct 2008 23:16:11 +0000

Tak, proszę państwa – takie cudo jest możliwe w PLD Linux ! :) Autorem cuda jest Zbyniu.

Jeśli ktoś nie śledzi pld-kernel-pl czy pld-devel (a warto), to i tak zachęcam do testowania. Gotowe paczki dostępne są w sieci (linki poniżej). Testuję arch x86_64 na lapku (+ nvidia) i działa pięknie.

i686: http://carme.pld-linux.org/~arekm/aa/
x86_64: ftp://pld-mirror.domainmaker.pl/various/

PLD mirror

Wojtosz — Mon, 01 Sep 2008 10:36:18 +0000

Od kilkudziesięciu dni pracuje nowy, publiczny mirror PLD Linux.

adres: ftp://pld-mirror.domainmaker.pl/ (i ten adres podmieniamy w /etc/poldek/repos.d/pld.conf w miejsce domyślnego ftp.th.pld-linux.org)

Na maszynie dostępne są:
Th – i686, noarch, x86_64, ppc
Ac – i686 amd64 noarch i386
RescueCD, Live CD 2.0.

Aktualny limit łącza: ~20 Mbps
Mirror rpm Ac i Th synchronizowany jest z ep09 (ftp.th.pld-linux.org) co godzinę, via rsync.

Zasoby sprzętowe dzięki uprzejmości:

DomainMaker Sp. z o.o.
85-022 Bydgoszcz, ul. Gdańska 107
www.domainmaker.pl

Adaptec 3405 – remote array creating

Wojtosz — Tue, 10 Jun 2008 12:30:45 +0000

The mission:
Add 2 SATA II disks in machine with Adaptec 3405, upgrade controller’s firmware/BIOS too.

The hardware:
Adaptec 3405 with 2 SAS MAX3147RC disks as RAID 1, I added 2 WD7500AYYS-01RCA SATA disks wich we need to merge on RAID 1 as let’s say a backup place.

Notice:
As usually, exaple will be made on machine powerd by PLD Linux ;-)

Build/install package arcconf. In my example: arcconf-5.30-1.x86_64.rpm and check what we’ve got on board.
# arcconf GETVERSION Controllers found: 1 Controller #1 ============== Firmware : 5.2-0 (15611) Staged Firmware : 5.2-0 (15611) BIOS : 5.2-0 (15611) Driver : 1.1-5 (2437) Boot Flash : 5.2-0 (15611)

Command completed successfully. So, we’ve got one Adaptec 3405 device, it’s ID is 1. That ID will be useful later. Check device status:

# arcconf GETSTATUS 1 Controllers found: 1 Logical device Task: Logical device : 0 Task ID : 100 Current operation : Rebuild Status : In Progress Priority : High Percentage complete : 28 Command completed successfully.

To make things more interesting, I purposefully removed out one of the SAS disks for a feew seconds ;-) Simulation of array damage. Let’s put SATA disks, and upgrade controller’s software.

# wget http://download.adaptec.com/raid/asr/fw_bios/3405_fw_b15728.exe # unzip 3405_fw_b15728.exe # ls -lh razem 2,5M -rw-r--r-- 1 root root 256K kwi 1 17:44 acusas.exe -rw-r--r-- 1 root root 196K kwi 1 17:44 afu.exe -rw-r--r-- 1 root root 629K kwi 1 17:44 as340501.ufi -rw-r--r-- 1 root root 1,4M kwi 1 17:44 as340502.ufi -rw-r--r-- 1 root root 2,9K kwi 5 18:12 Relnotes.txt -rw-r--r-- 1 root root 82 cze 11 00:32 UcliEvt.log

OK, let’s do it !
# arcconf ROMUPDATE 1 as3405 Controllers found: 1 You must restart the system for firmware updates to take effect. Are you sure you want to continue? Press y, then ENTER to continue or press ENTER to abort: y Updating controller 1 firmware...Succeeded A new software image has been applied to controller 1. Command completed successfully.

What was done ?
# arcconf GETVERSION 1 Controllers found: 1 Controller #1 ============== Firmware : 5.2-0 (15611) Staged Firmware : 5.2-0 (15728) BIOS : 5.2-0 (15611) Driver : 1.1-5 (2437) Boot Flash : 5.2-0 (15728) Command completed successfully.

We need to reboot our machine to set the changes, will do that later. Let’s check added disks.

# arcconf GETCONFIG 1 Device #2 Device is a Hard drive State : Ready Supported : Yes Transfer Speed : SATA 3.0 Gb/s Reported Channel,Device : 0,2 Reported Location : Connector 0, Device 2 Vendor : WDC Model : WD7500AYYS-01RCA Firmware : 30.04G30 Serial number : WD-WCAPT0615906 Size : 715404 MB Write Cache : Unknown FRU : None S.M.A.R.T. : No Device #3 Device is a Hard drive State : Ready Supported : Yes Transfer Speed : SATA 3.0 Gb/s Reported Channel,Device : 0,3 Reported Location : Connector 0, Device 3 Vendor : WDC Model : WD7500AYYS-01RCA Firmware : 30.04G30 Serial number : WD-WCAPT0636669 Size : 715404 MB Write Cache : Unknown FRU : None S.M.A.R.T. : No
All OK, since now, we can create new array. The arcconf’s help, suggests to type:

arcconf CREATE 1 LOGICALDRIVE Name BACKUP Rcache RON Wcache WB Size MAX Raid1 Channel0 ID2 Channel0 ID3

so, we type:
# arcconf CREATE 1 LOGICALDRIVE Name BACKUP MAX 1 0 2 0 3 Controllers found: 1 Do you want to add a logical device to the configuration? Press y, then ENTER to continue or press ENTER to abort: y Creating logical device: BACKUP Command completed successfully.

The dmesg will tell us, that there is a new device added, in my example it was /dev/sdb – all done ;)

reaktywacja mdadm

Wojtosz — Mon, 28 Apr 2008 12:35:10 +0000

Po aktualizacji kernela dla PLD Ac do kernel-grsecurity-2.6.16.60-10.i686 przyszedł mail z informacją od mdadm – wyleciał jeden z dysków. Co zrobić ?

# cat /proc/mdstat Personalities : [raid1] md0 : active raid1 hdb1[0] hda1[1] 96256 blocks [2/2] [UU] md1 : active raid1 hda3[1] 38523776 blocks [2/1] [_U] unused devices:

Reakcja:
# mdadm /dev/md1 -a /dev/hdb3 mdadm: re-added /dev/hdb3 # cat /proc/mdstat Personalities : [raid1] md0 : active raid1 hdb1[0] hda1[1] 96256 blocks [2/2] [UU]md1 : active raid1 hdb3[2] hda3[1] 38523776 blocks [2/1] [_U] [>....................] recovery = 0.0% (3328/38523776) finish=377.6min speed=1664K/sec unused devices:
Rebuild raida nie zajął więcej niż 120 minut.

Szukamy winnego:
w /var/log/kernel znajduję:

Apr 27 09:13:17 exploder kernel: hda: hda1 hda2 hda3 Apr 27 09:13:17 exploder kernel: hdb: max request size: 512KiB Apr 27 09:13:17 exploder kernel: hdb: 78242976 sectors (40060 MB) w/2048KiB Cache, CHS=16383/255/63, UDMA(100) Apr 27 09:13:17 exploder kernel: hdb: cache flushes supported Apr 27 09:13:17 exploder kernel: hdb: hdb1 hdb2 hdb3 Apr 27 09:13:17 exploder kernel: SGI XFS with ACLs, security attributes, large block numbers, no debug enabled Apr 27 09:13:17 exploder kernel: SGI XFS Quota Management subsystem Apr 27 09:13:17 exploder kernel: md: md1 stopped. Apr 27 09:13:17 exploder kernel: md: bind Apr 27 09:13:17 exploder kernel: md: bind Apr 27 09:13:17 exploder kernel: md: kicking non-fresh hdb3 from array! Apr 27 09:13:17 exploder kernel: md: unbind Apr 27 09:13:17 exploder kernel: md: export_rdev(hdb3) Apr 27 09:13:17 exploder kernel: raid1: raid set md1 active with 1 out of 2 mirrors

co sugeruje, że raid nie poskładał się przy starcie systemu i problem istniał już przed podmianą kernela. Sugestia: pamiętaj o wpisaniu poprawnego adresu e-mail MDADM_EMAIL w /etc/sysconfig/mdadm.

PLD Th: niektóre pakiety na ftp zostały podpisane

Wojtosz — Fri, 15 Feb 2008 11:17:39 +0000

Niektórzy z Was już zapewne zauważyli podczas upgradu/instalacji:

Installing set #2 Processing dependencies... geninitrd-9000.4-2.noarch obsoleted by geninitrd-9000.5-2.noarch There are 1 package to install, 1 to remove: I geninitrd-9000.5-2.noarch R geninitrd-9000.4-2.noarch Need to get 38.9KB of archives (38.9KB to download). After unpacking 70.2KB will be used. Retrieving th::geninitrd-9000.5-2.noarch.rpm... .............................. 100.0% [39.1K (39.1K/s)] Executing rpm --upgrade -vh --root / --noorder... warning: /root/.poldek-cache/ftp_ftp.th.pld-linux.org.dists.th.PLD.noarch.RPMS/geninitrd-9000.5-2.noarch.rpm: Header V3 DSA signature: NOKEY, key ID e4f1bc2d Preparing... ########################################### [100%] Repackaging... 1:geninitrd ########################################### [100%] Upgrading... 1:geninitrd ########################################### [100%]

Tradycyjnie, docelowo wszystkie paczki będą podpisane. Klucz leży na FTP.
Paczki możemy podpisać w sposób:
[root@conflux ~]# wget ftp://master-ftp.pld-linux.org/dists/3.0/PLD-3.0-Th-GPG-key.asc [root@conflux ~]# rpm --import PLD-3.0-Th-GPG-key.asc [root@conflux ~]# rpm -qi gpg-pubkey > PLD-3.0-Th-GPG-key.txt

Poprzednio dla Ac opisał to Andrzej ‘The Undefined’ Dopierała.