EMC Cluster Enable ile Microsoft Multi Site Cluster Kurulumu – Geo Cluster – Bölüm 1

Ahmet Musa KOSALI 30/03/2014

0 9 dakika okuma süresi

3 bölümlük yayın dizisi halinde hazırlanacak “EMC CLUSTER ENABLE ile MİCROSOFT MULTİ SİTE CLUSTER” konulu makale serimizin bu ilk bölümünde Geo Cluster için gerekli EMC bileşenlerini ve temel terimleri tanıyacağız. Bir sonraki yayınımızda ise EMC ile Geo Cluster kurulumu ve kurulum sonrası anlatılırken son yayında ise karşılaşılabilecek problemde neler yapılacağı anlatılacaktır.

Cluster bileşenleri, Quorum ve Split Brain yapısı daha önceden “MİCROSOFT CLUSTER’DA QUORUM YAPILANDIRMASI ve SPLIT BRAIN SENERYOSU” makalemde anlatıldığı için burada tekrardan anlatılmayacaktır. Konunun daha iyi anlaşılması ve takibi için önerim bu makalenin de okunmasıdır.

Cluster : Microsoft’a ait Failover Cluster’servisi ile birden fazla sunucunun aktif / pasif olarak kümelenerek tek bir sunucu gibi davranmasıdır. Bu şekilde sunucu bazlı problemlerdeki hizmet kesintilerin önüne geçilmiş olmaktadır.

Geo-Cluster : Geographical Cluster’ın kısaltması olan Geo-Cluster yada multi site cluster farklı veri alanlarına (storage) bağlı sunucuların cluster olarak çalıştırılmasını ifade etmektedir. Geo-Cluster ile kritik sistemlerimizin/servislerimizin sunucu yedekliliğinin yanında storage yedekliliğini de sağlanmaktadır.

Aşağıdaki örnek topolojide 3 Microsoft Failover Cluster servisi üzerinde SQL servisi hizmet vermektedir. Ana sistem odası olan Data Center’daki Storage senkron olarak verileri öncelikle yedek sistem odasındaki (HAC = High Availability Center diğer ismi ile Disaster Site) yazmaktadır. Sonra DC’deki storage’e yazarak veri kaydını tamamlamaktadır. Böylelikle DC’deki storage’de bir sorun olduğunda sistem HAC üzerinde konumlanan Node + Storage ikilisi üzerinden kısa bir kesinti ile veri kaybı olmaksızın hizmet vermeye devam edecektir.

Microsoft Failover Cluster servisine dâhil edilecek node’lar aynı subnette olmak zorundadır. Yalnız SQL 2012 ile yeni gelen “Always On” özelliğinin kullanırken farklı network alt ağlarındaki (subnet) sunucuların SQL Cluster’a node olarak eklenebilmektedir. Diğer servisler için henüz böyle bir imkan bulunmamaktadır.

Solutions Enabler (SE):

EMC tarafından lisanslanarak kullanılan bu ürün Symmetrix command-line interface (SYMCLI) olarak da adlandırılan, EMC Symmetrix storage ile ilgili her türlü yönetim işleri için kullanılan komut uygulamalarının temel ismini oluşturmaktadır. SE olarak kısa ismi ile ifade edilmektedir. Eskiden host base lisans takibi yapılırken şimdi Storage seviyesinde lisans takibi yapılmaktadır. Ama gene de işi garantiye almak adına sunucuya lisans tanımı yapılmasında fayda bulunmaktadır.

Kurulum yapıldığında Program Files altında SYMAPI ve SYMCLI ismi ile 2 klasör oluşturmaktadır. Bunlardan “C:\Program Files\EMC\SYMCLI\bin” klasörü altında çalıştırılacak uygulamalar vardır. Kurulum aşamasında servis yazılımı olarak seçtikleriniz ise “C:\Program Files\EMC\SYMCLI\daemons” klasörü altında yer almaktadır. Eğer çalıştırdığınız komutlardan boş cevap dönüyorsa bu klasörlerin ismi değiştirip yeniden kurulum yapmanız gerekmektedir.

Temel Solution Enable uygulamaları:

symcfg: Symmetrix yapılandırma bilgilerinin alınması gibi işlemler yapılmaktadır.

symcli:know about the version, list of symcli commands ect..

symconfigure: temel yapılandırma komutu

symdev: Symmetrix device isimlendirme işlemlerinde kullanılır

symdg: VMax Symmetrix Array üzerinde Device Group ayarlarının yapılmasının kullanılır.

symgate: Gatekeeper işlemlerinde kullanılır

symlmf: Solution Enabler lisans işlemlerinde kullanılır

symmask: Symmetrix device’lar üzerindeki mask veya unmask işlemlerinde kullanılır.

symmaskdb: Device Masking veritabaı işlemlerinde kullanılır.

symrdf : SRDF operasyonlarında kullanılır

symsg : VMax Array üzerinde Storage Group ayarlarının yapılmasının kullanılır.

symstat : symmetrix arrays, directors, disks, device groups ve devices hakkında gerekli istatistikleri görebilirsiniz

Temel Solution Enable Komutları:

symcfg disco: Sunucuya ait Storage üzerinde bilgilerin tarandığı komuttur. Komut çalıştırıldığında bağlı bulunduğu Storage bilgilerini “C:\Program Files\EMC\SYMAPI\db” altındaki symapi_db.bin isimli dosyada tutmaktadır. Eğer yapılandırmada değişiklik yapılmasına rağmen yeni bilgiler gelmiyorsa bu dosyanın ismi değiştirilip yeniden “symcfg disco” komutu çalıştırılır.

symlmf: Tek komut olarak çalışmaktadır. Ek bir parametresi bulunmamaktadır. EMC ve SE lisanslarınız girilir. Aşağıda örnek bir çıktısını görmektesiniz

sympd list: Sunucuya bağlı diskleri listeler

symdg list: Sunucuda tanımlı Device Group’ları listeler

symcg list: Sunucuda tanımlı Composite Group’ları listeler

symgate list: Sunucuya tanımlanmış GateKeeper disklerini listeler

symgate define pd PHYSICALDRIVE?? : Sunucuya bağlanan 3 Mb’lık disklerden birisini GateKeeper olarak tanımlar.

Gatekeeper:

Solution Enabler yazılımı ile Symmetrix ’in in-band” SAN bağlantısı üzerinden discover edilir ve yönetilmesi için sunucuya Gatekeeper dediğimiz genellikle 3 silindir boyutunda olan küçük diskler gösterilir.

Her 3 kaynak (Cluster Enable, Storage diskleri gibi) için 1 Gatekeeper konumlandırılması tavsiye edilir. Bir sunucu için en fazla tahsis edilecek Gatekeeper sayısı ise 8 ile sınırlandırılmıştır.

Sunucuya bağlı hangi fiziksel disklerin GateKeeper olarak kullanıldığını “symgate list” komutu ile görülmektedir. Aşağıda bunun bir örneğini görmektesiniz.

EMC PowerPath

Kritik sistemlerde teklik her zaman için risktir. Hele birde fiber bağlantı gibi çok narin bir yapıdan söz ediyorsak riskiniz bir o kadar daha artmış bulunmaktadır. Hizmet kesintisine neden olmamak için HBA portları çoklanarak yedeklenmektedir. Fakat eğer sunucu multipath’den anlamıyor ve verileri tek bir port üzerinden gönderiyorsa bu sefer port sayısını arttırmanız bir anlam ifade etmeyecektir.

Minimum kesinti için birden fazla HBA kartı ve portu ile storage üzerinden disk kullanan sunucularda EMC’nin lisanslı ürünü olan PowerPath kullanılmaktadır. Microsoft’un MPIO servisini kullanarak verileri sunucudaki tüm HBA portlarını kullanarak göndermektedir. Bu ürün HP, Netapp ve Hitachi gibi büyük Storage Vendor’larını da desteklemektedir. Eğer EMC’nin Symmetrix ile birlikte kullanılırsa Symmetrix üzerinden uygulanan özel policy’lere hareket edebileceği gibi Storage’in hangi portu daha boş ise yoğunluğun sunucu üzerinden o porta yönlendirilmesi gibi işlemler yapılabilmektedir. En temel olarak veri paketlerinin HBA portları arasında düzgün dağıtımını yapmaktadır.

PowerPath’i açtığınızda StorageArray, Disk ve Adapters olmak üzere 3 menü bizi karşılamaktadır.

Storage Arrays: Sunucunun HBA portlarına karşılık gelen storage portlarının isimleri görüntülenmektedir.

Disks: Sunucuya bağlanan disklerin bilgileri yer almaktadır. Aşağıda örnek bir sunucunun üzerinden alınmış ekran görüntüsü sunulmuştur. Burada yapılan genel kontroller şunlardır;

IOs/Sec : saniyede yapılan IO miktarı.

Errors: veri iletişiminde alınan hataların toplam adedini göstermektedir. Bir hata oluştuğunda PowerPath’den hatalar silinene kadar yeniler geldikçe artarak gösterilmeye devam edecektir.

Policy: Sunucuya uygulanan Policy ismini göstermektedir.

Q-IOs: Kuyrukta bekleyen IO miktarını göstermektedir.

Adapters: Sunucudaki HBA portlarının durumlarını ve üzerinden geçen IO miktarını görebileceğiniz alandır. Aşağıda 8 HBA portu üzerinden Symetrix Storage’den disk bağlanan sunucu üzerindeki PowerPath uygulamasına ait ekran görüntüsünü görmektesiniz.

Temel PowerPath Komutları:

powermt display: Genel olarak durumu göstermektedir.

Aşağıdaki örnekte Symmetrix üzerinden 2 HBA portu ile 23 disk bağlandığı ve hiç hatanın bulunmadığı görülmektedir.

powermt display dev=all: Sunucuya bağlı disklerin tamamının bilgilerini vermektedir.

powermt check_registration: Yüklenen PowerPath lisansınız görüntülenmektedir. Lisans hatalarını buradan görebilirsiniz

powermt check : Sunucuda yapılan herhangi bir disk operasyonunda muhakkak çalıştırılması gereken temel komuttur. Bu komut ile yapı kontrol edilerek son güncel bilgileri powermt.custom isimli veritabanı dosyasına yazılmaktadır.

powermt version: Sunucuya yüklü olan PowerPath sürüm numarasını görüntüler.

powermt save: PowerPath device’larında yapılan değişikliği kaydeder.

powermt config: Maksimum erişim için bilinen tüm Symmetrix device’ların path’lerini yapılandırır.

Symmetrix Remote Data Facility (SRDF)

Microsoft Failover servisi üzerinde nasıl EMC’nin Multisite Cluster yaptığını anlayabilmek için SRDF mantığını bilmemiz gerekmektedir. Fakat bizim bu makaledeki konumuz Windows İşletim Sistemi üzerindeki tanımlamalar ve ihtiyaçlar olduğundan storage seviyesinde detaya girilmeksizin ana hatlarıyla SRDF’i anlatmak olacaktır.

İş sürekliliği senaryolarında kullanılan SRDF teknolojisi, EMC tarafından patentli olup storage yedekliliği adına geliştirilen ilk ürün özelliğine sahiptir. Amacı belirlenen ana storage’deki bir diskin LUN seviyesinde senkron veya asenkron olarak başka bir veya birden fazla storage kutusuna replikasyonunun yapmasıdır.

SRDF yönetimi symrdf komut setiyle yapılmaktadır. Komutları kullanabilmek için bazı kavramları bilmek gerekmektedir. Bu yüzden genel hatlarıyla bu kavramları aktarmaya çalışacağım.

Yukarıdaki örneği çizilen topolojide R1, LUN için bulunduğu master (primary) storage’deki sahiplik durumunu gösterir. Her LUN (Storage disk grubu) için iki bilgi bulunmaktadır. R1, Primary Site’daki yazma hakkını olan disk bilgisini göstermektedir. R2 ise Secondary Site’daki karşılığı olup write disable (WD) disk olarak görülmektedir.

Yukarıdaki örnekte görüldüğü üzere Primary (master) Site’da oluşacak olası bir problem anında servis Site B’ye üzerine failover olur ve Site A’daki R1’in karşılığı R2 bu sefer RW (read write) dönerek hizmet sürekliliği sağlanmış olacaktır. SiteA devreye alındığında disk gruplarını WD (write disable) çekerek verinin bozulmasını engeller.

SRDF Modelleri:

SRDF/S : Senkron bağlantılı SRDF’tir. Diske yazma isteği işletim sisteminde bağlı bulunduğu Primary (R1) storage’e gönderilir. R1’de veri ön belleğe alınarak R2’ye yazılması için gönderilir. R2 veriyi yazar R1’e yazıldı bilgisini sunar. R1 ön bellekteki veriyi yazar ve işletim sistemine yazıldı mesajını gönderir. Buradaki avantaj 0 veri kaybı öngörülmektedir.

SRDF/A : Belirlediğiniz zaman aralığında değişen dataları (Asenkron) ikincil storage’inize yazan modeldir. Bu yüzden genellekle 200 metre’den fazla uzaktaki site’lar arası veri replikasyon çözümlerinde kullanılmaktadır. SRDF S ve A için Suite lisans yeterlidir.

Asenkron veri replikasyon süresi hesaplanırken RPO (Recovery Point Object) yani kabul edebileceğimiz maksimum veri kaybı süremizi belirlememiz gerekiyor. Örnek vermek gerekirse olası bir problem anında en fazla 15 dakikalık veri kayı toleransınız varsa RPO değeriniz 15 dakika olup Asenkron için belirleyeceğiniz sürede 15 dakika olacaktır.

SRDF/Star : Advance lisanslama tipi ile lisanslanan bu ürün en gelişmiş ve yedekli storage çözümüdür. Burada tüm storage’ler veri kopyalaması yapılabilmektedir.

Yukarıda topolojisi verilen örnekle anlatmak gerekirse; 3 storage’iniz olduğunu düşünün. 2’si arasında senkron (R1 ve R2) bağlantı varken diğeri ile Asenkron bağlantı (R3) ile veri yedekliyorsunuz. R1’de sorun olduğunda sistem R2 üzerinde çalışmaya başlayacaktır. Bu durumda R2 master olup R1 secondary olacak. Bu durumda R2 asenkron olarak R3’e veri yazmaya başlayacaktır.

SRDF/CG : Bir biri ile yakın ilişkili birden fazla servise ait LUN’ları “Consistency Group” yapılarak olası bir storage failover durumunda hepsinin birlikte failover yapmasını sağlayan sistemdir. Örnek vermek gerekirse SQL, Analiz ve Reporting servislerinin hızlı veri işleme ve cevap dönmesi için aynı storage üzerinde olması gerektiğini düşünüyorsanız Bunlara ait sunucuların LUN’larını “Consistency Group” tanımlayarak birisinde oluşacak bir failover durumunda 3 servisin tüm diskleriyle birlikte storage değiştirmesini sağlayacaktır.

Aşağıda örnek diyagram üzerinde bir cluster üzerinde 2 farklı servis hizmet vermektedir. Servislerden biri Site2’deki node’a failover olursa diğer servis cluster üzerinde depent edilmese bile failover olacaktır.

Temel SRDF Komutları ve Ekran Çıktıları:

symrdf -g ${group} failover: Storage seviyesinde RDF grubunu failover yaparak R2’ye geçirir. Böyle bir durumda R1 write disable olurken R2 read write olur.

symdg list: Sunucunun bağlı bulunduğu EMC DeviceGroup isim listesini görüntüler. Aşağıda Symmetrix ID ‘si 822 olan storage’deki DeviceGroup örnek listesinin ekran çıktısı görüntülenmektedir. (Devs: Device sayısını göstermektedir. )

symrdf -sid 822 list pd : Symmetrix ID ‘si 822 olan storage’in disk listesini verir

symrdf -g <device group> query :

symrdf -g <device group> failback: R2’ye failover’ı geri alır.

symrdf -g <device group> split: senkronizasyonu durdurarak R2’nin read write’a çeker. Böylelikle R2 üzerinden test yapabilirsiniz.

symrdf -g <device group> restore: Split işlemi sonrasında storage’lerin eşitlenmesi için kullanılır.

SRDF Pair Durumlarının Açıklaması:

NR: (Not Ready) Her iki storage’de de read write kapalı

RW: (Read Write) SRDF linki hazır ve devrede. Diskler okunup yazma modunda

WD: (Write disable) okuma yapılırken yazma yapılamaz durumda.

NA: (Not Available) bağlantı durumu hakkında bilgi bulunmuyor ve SRDF linki kurulu değil.

Cluster Enable (CE) :

En temel ve basit olarak şu şekilde Cluster Enable’ı tanımlayabiliriz: Failover Cluster servisine extention olarak kurulan, Recovery Point Objective (RPO) değeri 0 yani veri kaybı olmaksızın Recovery Time Objective (RTO)değeri 0’a yakın olan sistemler için yani Storage / Datacenter’da oluşacak olası bir problemde en kısa sürede hizmetin diğer storage’e bağlı Cluster Node’undan devam etmesi için geliştirilen EMC’nin Geographical (MultiSite) Cluster çözümüdür.

SRDF lisansına sahip kullanıcılar Cluster Enable yazılımını kullanabilirler. Cluster Enable sadece SRDF/A ve SRDF/S sürümlerinde kullanılabilir olup SRDF/Star’da kullanılamamaktadır.

Yukarıdaki örnekte 2 Site üzerine konumlanan 2 Node’lu cluster sistemiz olduğunu düşünelim. SiteA’daki node veya storage’de sorun olduğunu düşünelim. Eğer Cluster Enable’ın olmasa Stoarge Admini SiteB’de diskleri WD (Write Disable)’dan RW (Read Write)’a çekene kadar (SRDF Failover) Cluster üzerinden hizmet verilen servis offline olacaktır yani bu süre zarfı boyunca hizmet kesinti olacaktır. Eğer Cluster Enable yazılımı Cluster’ınıza kurulu ve tanımlar düzgün yapılandırıldı ise otomatik failover yaparak servisin çok kısa süre kesinti yaşanarak online olmasını sağlamaktadır.

Cluster Enable’ı kurup yapılandırabilmek için EMC SRDF lisansına ve Solution Enable’a ihtiyaç bulunmaktadır.

Cluster Enable kurulumu tamamlanıp yapılandırıldığında her bir Cluster Resource Group’u altındaki Other Resource kısmında EMC ile başlayan resource’u otomatik olarak oluşturmaktadır. Bu oluşturulan resource’u de tüm disklerin Dependencies kısmına eklemektedir. Böylelikle Cluster Enable’ın oluşturduğu resource online olmadan diskler online olamayacaktır. Diskler online olmadan da Servis online olmayacaktır. Yani bir failover yapılmak istendiğinde öncelikle oluşturulan EMC resource’u failover olmakta arkadan diskler gitmekte ve en son servis online olarak failover tamamlanmaktadır.

Otomatik veya manuel ile diğer storage üzerindeki node’a failover yapılmak istediğinde EMC resource’ünün Properties ayarlarındaki StorageGroupDefinition’da yer alan script ile Storage SRDF Failover işlemini yapmaktadır. Bu nedenden ötürü tüm Cluster Group’lara ve disklere kendini eklemektedir. Asıl işi yapan bu XML script içerisinde pair id, storage id, site bilgileri, failover yapılacak disklerin Storage device id’leri, RDF Group ID bilgileri yer almaktadır.

Dikkat Edilecek Hususlar:

Cluster Enable ile Geo Cluster yapılacaksa Quorum tipi; Majority Node Set (MNS) veya Majority Node with File Share Witness birisi seçilmelidir. Node Mojority için Node sayısı tek sayı olmalı, File Share witness için çift sayıda ve her iki site’daki node’ların file share’e sorunsuz eriştiği teyit edilmeli.

Storage seviyesinde Asenkron kopyalamada 400 milisaniye, Senkron kopyalamada 4 milisaniyenin üstünde disk I/O latency değerinin olmamasına dikkat edin.

Cluster Enable kurulumu yapılıp yapılandırıldıktan sonra artık temel cluster operasyonları (disk ekleme/çıkartma, Group oluşturma/silme gibi) Cluster Enable üzerinden yapılması gerekmektedir.

Cluster Enable Bileşenleri

Kurulum ve sonrası işlemlerde örnek adımlarla anlatılacağından burada detaya girmeden Menüleri hızlıca tanıyalım. Cluster Enable kurup yapılandırdıktan sonra “Manage CE Cluster” dediğimizde aşağıdaki gibi ekran bizi karşılayacaktır.

Groups: Cluster’ınızda tanımlı grupları listelemektedir. Buradaki “Cluster Group” Quorum ve cluster’ı göstermektedir. Bu kısımdan Cluster Group’lara tanımlı disklerin bilgilerine ulaşılır. Ayrıca disk ekleme ve çıkartma işlemleri de grup üzerinde sağ tıklayarak “Modify Group” denilerek yapılmaktadır.

Cluster Shared Volumes: Eğer Hyper-V servisini geo cluster yaparsanız CSV disklerinizi buradan yönetiyor olursunuz.

Storage: Bu Cluster’a bağlı storage’leriniz listelenmektedir. Ayrıca disklerinizin storage’deki durumlarını ve bilgilerini buradan görebilirsiniz. Ayrıca boşta durun diskinizi uygun gördüğünüz cluster gurubuna buradan eklemesine başlatabilirsiniz.