Lars Schenk » RAID http://lars-schenk.com IT-Services :: Software-Development since 1980 :: Freelancer since 1988 Thu, 10 Jun 2010 22:51:01 +0000 en hourly 1 http://wordpress.org/?v=3.0.1 Installation Debian Etch auf einem Software-RAID 1 mit SATA Disks http://lars-schenk.com/installation_debian_etch_auf_einem_software-raid_1_mit_sata_disks/92 http://lars-schenk.com/installation_debian_etch_auf_einem_software-raid_1_mit_sata_disks/92#comments Thu, 04 Jan 2007 11:20:15 +0000 Lars Schenk http://www.lars-schenk.com/installation_debian_etch_auf_einem_software-raid_1_mit_sata_disks/92 Folgende Situation: Ein neuer Server mit SATA II Disks soll unter Linux im RAID1 Verbund laufen aber der sogenannte RAID-Controller vom Motherboard wird nicht unterstützt. Da nur RAID1 benötigt wird und Linux das einzige System werden soll, tut es auch die Linux-Software-Raid Unterstützung. Das MoBo hat den Intel ICH7 Chipset onboard, welcher AHCI mit HotPlug und NCQ (Native Command Queuing) unterstützt - also soll dieses idealerweise aktiviert werden. Soweit die Zielsetzung - doch bevor ich das umsetzen konnte musste ich erstmal etwas Hintergrundwissen aufsaugen und einige Hürden nehmen:

Die erste Hürde: Das Asus P5WDB2 WS PRO MoBo bootet die Debian Etch PreRelease mit Stand vom 02.01.2007 nicht sondern bleibt sehr früh hängen. Erst nachdem ich im BIOS bei den Advanced-Einstellungen den Marvell SATA Controller für den zweiten sog. zweiten onboard Raid-Controller deaktiviert habe, kommt der Debian Etch-Installer überhaupt weiter.

Allgemeine Hintergrund-Info zu RAID im allgemeinen und auch Hardware-RAID vs. Software-RAID gibt es hier.
SATA RAID (oft auch als FakeRAID bezeichnet) unter Linux ist offenbar ein Thema was in letzter Zeit immer mehr nachgefragt wird, weil nahezu alle aktuellen MoBos RAID für SATA versprechen, die aber bei genauerem Hinschauen dann oft doch nur Software-RAID-Lösungen im Bios sind, die dazu noch einen Treiber benötigen, den es oft für Linux noch nicht gibt..
Diese Lösungen sind also für Windows entwickelt und greifen auf Treiber zurück, die es für Linux i.d.R. noch nicht gibt.
Ich denke, man sollte generell diese FakeRAID Lösungen für Linux meiden und die RAID-Unterstützung im BIOS deaktivieren und statt dessen auf das gut erprobte Linux Software-Raid dmraid zurückgreifen. Da FakeRaid kein echtes Hardware-RAID ist, bringt es auch keine Vorteile gegenüber dem Linux-Softwareware-RAID. Im Gegenteil: Man greift auf herstellerspezifische Lösungen zurück, die an diese Produktversionen binden (vergleich auch den berits oben verlinkten Wikipedia Artikel über Hardware-RAID).

AHCI im Bios aktivieren:
Also habe ich im BIOS des Asus P5WDG2 WS PR MoBos die IDE Configuration aus diesen Gründen nicht auf RAID eingestellt. Auch die Einstellung beim Intel ICH7 basierten SATA Controller auf "Standard IDE" wäre nur eine Notlösung, wenn der Kernel nicht das AHCI unterstüzten würde. Mit "Standard IDE" bekommt man zwar auch das gewünschte RAID1 Software-Array unter Linux aufgesetzt, hat dann aber keine Hotplug/Hotswap Funktionalität, weil der ICH7 Chipset im Standard-IDE Modus dieses nicht leistet. Weiterhin wird im Standard-IDE Modus kein NCQ unterstützt. Standard-IDE kommt also ohne die zusätzlichen Features von SATA oder SATA II daher.
NCQ wird aber vom ICH7 Chipset und den WD5000YS Laufwerken unterstützt und sollte daher auch zur Leistungssteigerung aktiviert werden, zumale im aktuellen Kernel von Etch der Version 2.6.18-3 AHCI auch unterstützt wird (laut http://linux-ata.org/driver-status.html#ahci wird AHCI ab Kernel >= 2.6.18-git5 unterstützt). Ich habe also im BIOS auf AHCI gestellt (Full NCQ support, full SATA control including hotplug and PM., AHCI is a nice, open design.) und auch ALPE (Agressive Link Power Management) und ASP (Agressive Slumber/Partial) enabled. Damit wird der SATA Controller in den nativen Modus geschaltet und unterstützt auch Hotplug sowie das Permance-Steigernde NCQ. Wenn später alles installiert ist, kann man nach dem Reboot das dmesg angeschauen um, zu prüfen, dass AHCI und NCQ aktiviert sind:

PLAIN TEXT
CODE:
  1. ahci 0000:00:1f.2: AHCI 0001.0100 32 slots 4 ports 3 Gbps 0xf impl SATA mode
  2. ahci 0000:00:1f.2: flags: 64bit ncq pm led clo pio slum part
  3. ata1: SATA max UDMA/133 cmd 0xF88AE900 ctl 0x0 bmdma 0x0 irq 58
  4. ata2: SATA max UDMA/133 cmd 0xF88AE980 ctl 0x0 bmdma 0x0 irq 58
  5. ata3: SATA max UDMA/133 cmd 0xF88AEA00 ctl 0x0 bmdma 0x0 irq 58
  6. ata4: SATA max UDMA/133 cmd 0xF88AEA80 ctl 0x0 bmdma 0x0 irq 58
  7. scsi0 : ahci
  8. ata1: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
  9. ata1.00: ATA-7, max UDMA/133, 976773168 sectors: LBA48 NCQ (depth 31/32)
  10. ata1.00: ata1: dev 0 multi count 16
  11. ata1.00: configured for UDMA/133
  12. scsi1 : ahci
  13. ata2: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
  14. ata2.00: ATA-7, max UDMA/133, 976773168 sectors: LBA48 NCQ (depth 31/32)
  15. ata2.00: ata2: dev 0 multi count 16
  16. ata2.00: configured for UDMA/133
  17. scsi2 : ahci
  18. ata3: SATA link down (SStatus 0 SControl 300)
  19. scsi3 : ahci
  20. ata4: SATA link down (SStatus 0 SControl 300)
  21.   Vendor: ATA       Model: WDC WD5000YS-01M  Rev: 07.0
  22.   Type:   Direct-Access                      ANSI SCSI revision: 05
  23.   Vendor: ATA       Model: WDC WD5000YS-01M  Rev: 07.0
  24.   Type:   Direct-Access                      ANSI SCSI revision: 05

Es ist nun also alles vorbereitet für das eigentlich Einrichten das RAID1 und die Installation von Linux.

Leider ist die Installation des Software-Raids nicht so leicht. Für Ubuntu ist es offenbar überhaupt nicht vorgesehen, so dass man über einen Trick mit der Live-CD ein Raid einrichten muss und dann in das "on the fly" eingerichtete RAID hineininstalliert. Wer diesen Weg gehen möchte finde hier eine Anleitung: http://www.ubuntu-in.org/wiki/SATA_RAID_Howto.

Fedora soll da mit dem Installer schon weiter sein, aber ich würde gerne Debian oder zumindest Ubuntu einsetzen.

Debian Etch ist zwar immer noch nicht offiziell released worden, aber die Debian Testing gilt immer schon als sehr stabil, so dass ich mich für den aktuellen Build von Etch entscheide. Hierbei orientiere ich mich an "Install Debian Etch on a Software Raid 1 with S-ATA disks":

PLAIN TEXT
CODE:
  1. # Boot the Debian Etch installer.
  2.  
  3. # If the installation comes to "Partition method", use "Manual".
  4.  
  5. # In the following menu, scroll to your first disk and hit enter: the partitionier asks you, if you want to create an empty partition table. Say "yes". (Hint: this will erase your existing data, if any.)
  6.  
  7. # The partitioner is back in the disk overview, scroll one line downwards over the line with "FREE SPACE" and hit enter.
  8.  
  9. # Create a partition with the size you need, but remember the size and the logical type.
  10.  
  11. # In the "Partition settings" menu, go to "Use as" and hit enter.
  12.  
  13. # Change the type to "physical volume for RAID".
  14.  
  15. # Finish this partition with "Done setting up the partition".
  16.  
  17. # Create other partitions on the same disk, if you like.
  18.  
  19. # Now repeat all the steps from the first disk for the second disk.
  20.  
  21. # After this, you should have at least two disks with the same partition schema and all partitions (beside swap) should be marked for RAID use.
  22.  
  23. # Now look at the first menu entry in the partitioner menu, there is a new line: "Configure software RAID". Go into this menu.
  24.  
  25. # Answer the question, if you like to write the changes, with "Yes".
  26.  
  27. # Now pick "Create MD device".
  28.  
  29. # Use RAID1 and give the number of active and spare devices (2 and 0 in our case).
  30.  
  31. # In the following menu, select the same device number on the first and second disk and Continue.
  32.  
  33. # Repeat this step for every two devices until you are done. Then use "Finish" from the Multidisk configuration options.
  34.  
  35. # You are back in the partitioner menu and now you see one ore more new partitions named as "Software RAID Device". You can use this partitions like any normal partition and continue installing your system.

Eine weiterführende Variante berücksichtigt auch noch die Einrichtung von LVM "Installing root on LVM + RAID with debian-installer": http://dev.jerryweb.org/raid/

Nachdem das RAID1 eingerichtet ist und in das frisch installierte System gebootet wurde, kann via mdadm das Raid geprüft (mdadm --detail /dev/md0) , überwacht und administriert werden. Siehe dazu "man mdadm" oder auch im Software-RAID-HowTO. Dort werden wichtige Kommando zum Entfernen (z.B. mdadm /dev/md0 -r /dev/sdc2) und hinzufügen (z.B. mdadm /dev/md0 -a /dev/sdc2) zum Array erläutert.

Es empfiehlt sich, die SATA Kabel zu beschriften, damit man bei einem Ausfall einer Platte diese später leicht identifizieren kann. Ich habe den Ausfall jeweils eines Laufwerks erfolgeich simmuliert. Der Ausfall im laufenden betrieb wird erkannt und via "mdadm --detail /dev/md0" korrekt ausgewiesen. Die Platte kann dann wieder mit "mdadm /dev/md0 -a /dev/sdxxx" eingehängt werden worauf der rebuild started.
Weiterführende Hilfreiche Infos habe ich hier gefunden: Serial ATA (SATA) chipsets — Linux support status.

]]> http://lars-schenk.com/installation_debian_etch_auf_einem_software-raid_1_mit_sata_disks/92/feed 10