Metro Storage Cluster mit DRBD

Serow · Mrz 31, 2013

Hi,

ich versuche gerade ein Metro Cluster mit vSphere 5.1 einzurichten. Als Storage nutze ich zwei Linux Systeme (eins pro Site) mit DRBD im dual-primary mode und IET (iscsi enterprise target) um jeweils /dev/drbd0 per iSCSI zugreifbar zu machen:

drbd.d/metro0.res:

Code:

resource metro0 {
        protocol C;
        syncer {
                rate 1000M;
        }
        net {
                allow-two-primaries;
        }
        startup {
                become-primary-on both;
        }
        on iscsi00 {
                device /dev/drbd0;
                disk /dev/sdb;
                address 192.168.5.20:7788;
                meta-disk internal;
        }
        on iscsi01 {
                device /dev/drbd0;
                disk /dev/sdb;
                address 192.168.5.21:7788;
                meta-disk internal;
        }
}

Der dual-primary mode läuft auch soweit:

Code:

root@iscsi00:~# cat /proc/drbd
version: 8.3.7 (api:88/proto:86-91)
srcversion: EE47D8BF18AC166BE219757
 0: cs:Connected ro:Primary/Primary ds:UpToDate/UpToDate C r----
    ns:4529756 nr:99676 dw:4604856 dr:112272 al:1557 bm:3 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0
root@iscsi00:~#

iet.conf:

Code:

root@iscsi00:~# cat /etc/iet/ietd.conf
Target iqn.2013-03.invalid.lab:iscsi00
        Lun 0 Path=/dev/drbd0,Type=fileio,ScsiId=iscsi001234,ScsiSN=iscsi001234
        Alias iscsi00
root@iscsi00:~#

Die exakt gleichen Einstellungen gelten auch auf dem System "iscsi01", nur die iet.conf ist natürlich etwas anders:

Code:

root@iscsi01:~# cat /etc/iet/ietd.conf
Target iqn.2013-03.invalid.lab:iscsi01
        Lun 0 Path=/dev/drbd0,Type=fileio,ScsiId=iscsi011234,ScsiSN=iscsi011234
        Alias iscsi01
root@iscsi00:~#

Wie ihr seht, habe ich nur den IQN des Targets angepasst.

ESXi-seitig sieht das nun so aus:

Code:

~ # esxcli storage nmp device list
t10.945445000000000096373637960313132333430000000000
   Device Display Name: IET iSCSI Disk (t10.945445000000000096373637960313132333430000000000)
   Storage Array Type: VMW_SATP_DEFAULT_AA
   Storage Array Type Device Config: SATP VMW_SATP_DEFAULT_AA does not support device configuration.
   Path Selection Policy: VMW_PSP_FIXED
   Path Selection Policy Device Config: {preferred=vmhba33:C0:T1:L0;current=vmhba33:C0:T1:L0}
   Path Selection Policy Device Custom Config:
   Working Paths: vmhba33:C0:T1:L0
   Is Local SAS Device: false
   Is Boot USB Device: false

t10.945445000000000096373637960303132333430000000000
   Device Display Name: IET iSCSI Disk (t10.945445000000000096373637960303132333430000000000)
   Storage Array Type: VMW_SATP_DEFAULT_AA
   Storage Array Type Device Config: SATP VMW_SATP_DEFAULT_AA does not support device configuration.
   Path Selection Policy: VMW_PSP_RR
   Path Selection Policy Device Config: {policy=rr,iops=1000,bytes=10485760,useANO=0;lastPathIndex=0: NumIOsPending=0,numBytesPending=0}
   Path Selection Policy Device Custom Config:
   Working Paths: vmhba33:C0:T0:L0
   Is Local SAS Device: false
   Is Boot USB Device: false
~ #

und

Code:

~ # esxcli storage core device list
t10.945445000000000096373637960313132333430000000000
   Display Name: IET iSCSI Disk (t10.945445000000000096373637960313132333430000000000)
   Has Settable Display Name: true
   Size: 204793
   Device Type: Direct-Access
   Multipath Plugin: NMP
   Devfs Path: /vmfs/devices/disks/t10.945445000000000096373637960313132333430000000000
   Vendor: IET
   Model: VIRTUAL-DISK
   Revision: 0
   SCSI Level: 4
   Is Pseudo: false
   Status: degraded
   Is RDM Capable: true
   Is Local: false
   Is Removable: false
   Is SSD: false
   Is Offline: false
   Is Perennially Reserved: false
   Queue Full Sample Size: 0
   Queue Full Threshold: 0
   Thin Provisioning Status: unknown
   Attached Filters:
   VAAI Status: unknown
   Other UIDs: vml.010000000020202020206973637369303131323334564952545541
   Is Local SAS Device: false
   Is Boot USB Device: false

t10.945445000000000096373637960303132333430000000000
   Display Name: IET iSCSI Disk (t10.945445000000000096373637960303132333430000000000)
   Has Settable Display Name: true
   Size: 204793
   Device Type: Direct-Access
   Multipath Plugin: NMP
   Devfs Path: /vmfs/devices/disks/t10.945445000000000096373637960303132333430000000000
   Vendor: IET
   Model: VIRTUAL-DISK
   Revision: 0
   SCSI Level: 4
   Is Pseudo: false
   Status: degraded
   Is RDM Capable: true
   Is Local: false
   Is Removable: false
   Is SSD: false
   Is Offline: false
   Is Perennially Reserved: false
   Queue Full Sample Size: 0
   Queue Full Threshold: 0
   Thin Provisioning Status: unknown
   Attached Filters:
   VAAI Status: unknown
   Other UIDs: vml.010000000020202020206973637369303031323334564952545541
   Is Local SAS Device: false
   Is Boot USB Device: false
~ #

Wenn ihr mal die t10 Identifier vergleicht, werdet ihr feststellen, dass diese unterschiedlich sind. Und das ist auch der Grund warum der ESXi Server das als 2 devices sieht und nicht ein einziges Device mit zwei Pfaden. Für mein Setup benötige ich aber genau das.

Jetzt ist die Frage: Wie krieg ich die t10 identifier identisch?

Grüsse
serow

Serow · Mrz 31, 2013

Sorry hat sich schon erledigt. Ich hätte den Beitrag gelöscht wenn ich den Knopf dazu gefunden haette.

Loesung: ScsiID und ScsiSN waren nicht identisch. Stundenlang gsucht worans liegt und gefunden kurz nachdem posting hier ... mal wieder typisch ...

Metro Storage Cluster mit DRBD

Serow

0

Serow

0