iSCSI Iplerinin iSCSI initiatordeki siralamasini degsitirmek

Teaman Hocam ne yapmaya çalıştığını bir anlatsan aslında. Yani sisteme ISCI bağlayacaksan orda ip görmesinin ne anlamı var ki ? Yok aynı ISCS kümesini birden fazla IP ile anons ediyorsan ve ip çıkmasın istiyorsan DNS loadbalance kullan.

Ertan hocam, orda IP gormezse iSCSI initiator nasil baglanti yapacak? Bakin ekranda 192.168.0.27 ve bir tane de IPv6 var ve onlar siralamada en ustte (host maikinenin domain ayaginin IPleri bunlar) ve baglanti esnasinda once onlar deneniyor bu da gecikmelere neden oluyor. Halbuki en altta gordugunuz 192.168.133.2 nin siralamada en ustte olmasi gerekiyorki baglanti tak diye kurulsun. Dell muhendisleride 5 gundur bunu cozemedi ve hala ugrasiyorlar banada fenalik geldi artik.

Hocam cevabı yanlış yerde arıyorsun :). Cevabını bulacağın yer Microsft amcamlar oluyor bunun nedeni bu işi senin DELL sunucuda halledemiyecek olman.

Sorun şu şekilde;

Sen bir portal ekliyorsun ve bu portal sana tüm iplerini dogal olarak anons ediyor, ISCSI zaten bu şekilde çalışıyor. Sende bu IP yada ISCSI disklerden hangisine ihtiyacın yada bağlamaya yetkin var ise onu bağlıyorsun.

Buraya kadar herşeyde sanırım anlaştık. Benim anlamadığım senin el ile bağladığın bir ISCSI diskten sonra, Windows her açılışta ISCSI mı arıyor ? ikinci olarakta eğer böyle bir şey var ise ki ben hiç samıyorum ancak bir hata ile olur, eğer yapıyorsa bu durumu DELL değil Microsofta bildirmen lazım çünki DELL teknoloji ve arge firması değil entegratör ve ODM firmasıdır. Teknoloji firması olarak burda Micorosft geçer. Yani bu teknolojiyi sistemlerine entegre eden Microsoft bu nedenle entegre yapılırken bir yanlışlık yapılıyorsa bu da microsoft tarafında oluyor demektir. Yada ISCSI için yalış hatırlamıyorsam SUN var onlarada bildirebilirsin.

Sorun;

ISCSI sistemi ile yapılan disk anonsları IP sisteminde küçük sayıdan büyük sayıya doğru yapıldığı için ilk bağlanması gereken ISCSI bağlantısı geç yapıldığından sistemime yüklü olan programlar düzğün çalışmamaktadır.

Çözüm;

Microsoftun ISCSI IP leri için sıralama koyması gerekli, bu şekilde hangi IP üzerinden hangi diske bağlanalıcağını direk seçebileyim.

Anlamadığım Nokta;

ISCSI sunucuda Link Agregation var ise neden ethernetleri tek bir ethernet gibi birleştirmiyorsun ? VLAN için bağlı bulunduğu portları HYBRID seçersin herkezleri aynı IP denbağlarsın sorun olmaz. Birden fazla SWITCH var ve VLAN ların ROUTER gibi bir cihaz üzerinde ise ISCSI sunucunun IP adreslerinden diğer VLAN lara geçişleri yasaklayınca bu IP ler yine geliyor mu ? 

Sagolasin Ertan hocam,

•  Benim anlamadığım senin el ile bağladığın bir ISCSI diskten sonra, Windows her açılışta ISCSI mı arıyor ?
• Evet Windows her acilista iSCSI ariyor ve listenin en ustunde tanimli IPden basliyor ve haliyle bu da 10-15 bazende hic bir sekilde baglantinin saglanamamssi ile sonuclaniyor. (Windows 2008 R2)

• ISCSI sistemi ile yapılan disk anonsları IP sisteminde küçük sayıdan
  büyük sayıya doğru yapıldığı için ilk bağlanması gereken ISCSI
  bağlantısı geç yapıldığından sistemime yüklü olan programlar düzğün
  çalışmamaktadır.
• Eger yanlis anlamadiysam bu cumlenizle sorunu cozdunuz!!! 192.168.0.27 host Ip ve bu Ip bizim iSCSI 192.168.130.x Iplerinden daha mi kucuk kabul ediliyor? Eger oyle ise sorun iSCSI IPlerini tanimlayan Dell Muhendisinin hatasidir demektir. Bu durumda iSCSI Ip araligi 192.160.130.x gibi bir sey mi olmali?

• ISCSI sunucuda Link Agregation var ise neden ethernetleri tek bir ethernet gibi birleştirmiyorsun ?
• DELL Engineerin dedigine gore var ancak 2 swithcli ortamda daha redundant bile yapamadik!!

• Birden fazla SWITCH var ve VLAN ların ROUTER gibi bir cihaz üzerinde ise
  ISCSI sunucunun IP adreslerinden diğer VLAN lara geçişleri yasaklayınca
  bu IP ler yine geliyor mu ?
• Bunu hic anlamadim hocam, mevcut bilgimi asiyor. Ancak DELL Engineer gelince one tercume ederim.

Temoan bey selam,

Sizin iSCSI ile ilgili sorunlarınızı yakından takip ediyorum fakat mühendisin işine karışmamak için pek dahil olmak istemedim açıkcası sorunlarınıza. Fakat anladığım kadarı ile sanki ilk kez kurulum yapan birisine denk geldiniz galiba(genelde öyle oluyor birlikte öğreniyoruz sistemi).

Benim size buradaki önerim yine aşağıdaki gibi olacak;

Yeni gelen network cihazlarınızı çalışan firma network'ünüze hiç bulaştırmadan storage cihazı ve bu cihazı kullanacak server'ların ikinci ethernet kartlarını bağlayarak bir network ağı oluşturun. Böylelikle firma network'ünün herhangi bir sorununundan server disk bağlantılarınının etkilenmesini engellersiniz aynı zamanda storage sistemini network saldırılarından korumuş olursunuz. Şiddetle öneririm.

Storage cihazınızın IP adresi 10.6.X.X gibi asıl network'te tamamen farklı bir segmentte ve sunbet yapısında olsun aynı şekilde server üzerindeki storage bağlantısı için kullanacağınız ikinci network kartları IP adreslerinide bu şekilde ayarlayın.

Storage ünitesinin bir Grup IP adresi olması lazım, bu IP adresi fail over için gerekli, şöyleki tüm portlarına bir IP verin fakat serverları bağlarken storage grup IP adresini kullanarak serverları bu storage'e iSCSI ile bağlayın eğer tek tek port IP adresleri vererek bağlarsanız o IP ile swich'e bağlı kablo kopar yada çıkarsa o IP adresini kullanan server diske bağlanamaz ve sorun yaşarsınız, fakat Grup IP adresini kullanarak bağlarsanız bu grup IP adresi tüm portları kullandığı için başka herhangi çalışan bir network portundan storage'e server'ınızın bağlantısı sağlanacakır. Bu hem storage'in yük dağılımını portlar üzerinde düzgün yapmasını ve daha hızlı çalışmasını sağlayacak hemde bu tip sorunlarda storage ile server sistemlerin bağlantısının kopmasını engelleyecektir. Bunu uyguladıktan sonra 1-2 kabloyu storage arkasından çekerek bağlantıların kopup kopmadığını test etmenizi öneririm. 

Örnek:

Storage Grup IP: 10.6.0.200 Sub: 255.255.0.0
Storage 1 nolu port: 10.6.0.201 Sub: 255.255.0.0
Storage 2 nolu port: 10.6.0.202 Sub: 255.255.0.0
.
.

Server 1 IP: 10.6.0.100 Sub: 255.255.0.0
Server 2 IP: 10.6.0.101 Sub: 255.255.0.0
vb gibi.

Bu şekilde daha güvenli ve sorunsuz bir storage bağlantısı ile daha az başınız ağrıyacaktır diye düşünüyorum. 

Saygılarımla.

Teoman bey, tekrar merhaba,

Yazamyı unuttuğum bir şey daha geldi aklıma, storage üzerinde oluşturduğunuz disklere ona erişecek server için user hesabı oluşturup sadece ona yetki veriyorsunuz değilmi? eğer böyle değilse tüm disklere tüm serverlar erişebilir ilk başta böyle bir hata yapılmıştı sonra düzeltilmişti diye hatılıyorum. Disklere bağlantı hem kullanıcı adlı ve şifreli olmalı ve tüm diskleri tüm serverlar görmemeli sadece onu bağlayacağınız serverlar görmeli. Storage üzerinde serverlar için kullanıcı hesabı oluştururken o server'in iscsi initiator Name ini kullanarak oluşturusanız süper olur. Disk üzerindeki erişim yetkisinide direk bu username'e verin.

Saygılarımla.

Recep hocam sagolasin. Merak etmeyin 5 tam gunu burda harcayip arpa boyu yol alamadik, DELL muhendislerinin isine karismamakta ne demek 🙂 Bu arada mera eden varsa soyleyeyim, installation icin dunyanin parasini aldilar yani biz sadece cihazi satin almadik. Ise baslamdan once kendielrine gore fizibilitede yaptilar kolay dediler sonuc ortada...

• Yeni gelen network cihazlarınızı çalışan firma network'ünüze hiç
  bulaştırmadan storage cihazı ve bu cihazı kullanacak server'ların ikinci
  ethernet kartlarını bağlayarak bir network ağı oluşturun. Böylelikle
  firma network'ünün herhangi bir sorununundan server disk
  bağlantılarınının etkilenmesini engellersiniz aynı zamanda storage
  sistemini network saldırılarından korumuş olursunuz. 
• Zaten oyle hocam, iSCSI icin ayrilmis 2 tane Powerconnect 5424 switch var (zaten hepsi paket olarak geldi. Server+iSCSI MD3200i+2x 5424 switch)

• Storage cihazınızın IP adresi 10.6.X.X gibi asıl network'te tamamen
  farklı bir segmentte ve sunbet yapısında olsun aynı şekilde server
  üzerindeki storage bağlantısı için kullanacağınız ikinci network
  kartları IP adreslerinide bu şekilde ayarlayın. 
• Benim domain IPlerim 192.168.0.x, 192.168.10.x ve 192.168.20.x seklinde ve DELL iSCSI icin 192.168.130.x, 192.168.131.x .... olusturdu.

• Storage ünitesinin bir Grup IP adresi olması lazım, bu
  IP adresi fail over için gerekli, şöyleki tüm portlarına bir IP verin
  fakat serverları bağlarken storage grup IP adresini kullanarak
  serverları bu storage'e iSCSI ile bağlayın eğer tek tek port IP
  adresleri vererek bağlarsanız o IP ile swich'e bağlı kablo kopar yada
  çıkarsa o IP adresini kullanan server diske bağlanamaz ve sorun
  yaşarsınız, fakat Grup IP adresini kullanarak bağlarsanız bu grup IP
  adresi tüm portları kullandığı için başka herhangi çalışan bir network
  portundan storage'e server'ınızın bağlantısı sağlanacakır. Bu hem
  storage'in yük dağılımını portlar üzerinde düzgün yapmasını ve daha
  hızlı çalışmasını sağlayacak hemde bu tip sorunlarda storage ile server
  sistemlerin bağlantısının kopmasını engelleyecektir. Bunu uyguladıktan
  sonra 1-2 kabloyu storage arkasından çekerek bağlantıların kopup
  kopmadığını test etmenizi öneririm.
• Soylediginiz senaryo uzerinde calisiyorlar ancak test icin kabloyu cektigimde veya switchin birinin gucunu kestigimde failover baglantinin gercekte calismadigini ve buna yine iSCSI Initiator Ip siralamasinin neden oldugunu farkettik. Ilginc olan ise iSCSI initiatordeki IP siralamasi serverden servera degisiyor. 1 tanesinde (benim eski serverlerden biri) hersey tikir tikir hic bir sorun nyok. Failover vs hepsi super. Ama herseyiyle tamamen ayni olan diger serverlerda Ip sirasi degisik degisik. Isin ilginc olani DELL'in paket cercevesinde getirdigi sifir yepyeni server bile sorunlu. Yani bu adam o serverle neredeyse laboratuvar ortaminda calisiyorlar, cunku herseyi onlar getirdiler!! Eger sadece o yeni server calissaydi o zaman derdik benim sistemde birsey var ama oyle degil.. Tum serverler Windows 2008 R2 ve Acronis haricinde hicbir 3.parti yazilim kurulu degildir.

• storage üzerinde oluşturduğunuz disklere ona erişecek server için user
  hesabı oluşturup sadece ona yetki veriyorsunuz değilmi? eğer böyle
  değilse tüm disklere tüm serverlar erişebilir ilk başta böyle bir hata
  yapılmıştı sonra düzeltilmişti diye hatılıyorum. Disklere bağlantı hem
  kullanıcı adlı ve şifreli olmalı ve tüm diskleri tüm serverlar görmemeli
  sadece onu bağlayacağınız serverlar görmeli. Storage üzerinde serverlar
  için kullanıcı hesabı oluştururken o server'in iscsi initiator Name ini
  kullanarak oluşturusanız süper olur. Disk üzerindeki erişim yetkisinide
  direk bu username'e verin.
• Evet her server iSCSI management consoledan tanimlanip olusturulan Virtual Disklere baglandi. Herhangi bir user name veya password tanimlamasina sahit olmadim. Storage uzerinde serverler icin hesap olsutuulurken sadece serverlerin adi kulalnildi. Ornek: server1.icb.local, server1 olarak tanimlandi.

Teoman bey,

Allah kolaylık ve sabır versin, biliyorum diye gelip bilmeyen bir adamla çalışmanın nasıl bir şey olduğunu insanın sinirlerini ne kadar yıprattığını çok iyi bilirim. 

Şimdi anladığım kadarı ile 1 makinada her şey sorunsuz çalışıyor süper. O makina üzerindeki ayarlardan giderek birşey elede edemiyormusunuz?

Kafa karıştırmaması için 192.168.130.x li IP grubununu 10.X.X.X. şeklinde bir IP grubu ile değiştirmenizi yine tavsiye edeceğim. 

Storage'e bağlanacak server'ın iSCSI Initiator ekranında discover tabındaki Traget portal'a sadece storage'in Grup IP adresini girerseniz disk bağlantılarını gerçekleştirdiğiniz ekranda sadece bu grup IP adresini görürsünüz diğer IP adreslerini görmemeniz gerekir bilemez çünkü storage'in yayın yapan tüm IP adreslerini kendi kendisine siz bildirmediğiniz sürece server makinanız. Storage üzerindeki Grup IP adresi size yeterli gelecektir. Storage üzerindeki portların tüm IP adreslerini tek tek target portal altına eklemenize gerek yok.

Storage üzerindeki serverlar için oluşturulan kullanıcı adını iqn.1991-05.com.microsoft:xxxxxxx ve iscsi intiator'da target portal'ı eklerken advance tabına girip bu user name ve storage üzerinde bu user name karşılığında oluşturmuş olduğunu password girerek bağlantı yaparsanız daha sağlıklı olacaktır.

Makinalar Windows Server 2008 R2 demişsiniz ama sorunsuz çalışan makinadaki ve sorun yaşadığınız makinalardaki iSCSI initiator programlarının versiyonlarını karşılaştırmanızı tavsiye edeceğim ve storage'in yazılımın update'leri varsa yapmanızı önerecegim ki mutlaka vardır bir göz atın isterseniz aşağıdaki adrese.  
http://www.equallogic.com/Default.aspx

Saygılarımla.

Amin hocam amin. Simdi DELL'e de adam hakkinda sikayet etmek istemiyorum en nihayetinde o da ekmek derdinde. Storage icin vakit sikintimin olmayisi avantaj aslinda. hem bende bayagi sey ogreniyorum bu problemlerden. En sonudna sorun cozulecek diye umuyorum o yuzden sakinligimi muhafaza ediyorum.

• O makina üzerindeki ayarlardan giderek birşey elede edemiyormusunuz? 
• O yolu denedik olmadi. Isin ilginc yani herseyi silip tekrar bastan yapma fikrine gitti eleman sonrasinda 2-3 ve 4.iSCSI Ipleri yine host makinenin IPsinin gerisinde kaldi. Ilk IPden sorunsuz baglandi ama bu seferde redundant baglantim olmamis oldu. Ilk IPnin bagli oldugu switchi kapatinca Virtual disk ile baglantim yok oldu anlayacaginiz. 2-3 ve 4uncu IPlere sira gelmedi yani.

• Kafa karıştırmaması için 192.168.130.x li IP grubununu 10.X.X.X.
  şeklinde bir IP grubu ile değiştirmenizi yine tavsiye edeceğim.
• Bir sonraki gelisinde bu oneriyi ona iletecegim, mantikli duruyor acikcasi.

Diger onerileri dikkatle okudum onlarida iletecegim ve geri donus yapacagim. Cok sagolasiniz Recep hocam.

Sanal bir makinada bu işlemleri simule edermisin. Belkide sunucuda bir sorun olabilir.

Sanal bir makinada bu işlemleri simule edermisin. Belkide sunucuda bir sorun olabilir.

Hocam 5 tane sunucu var ve bir tanesi yepyeni, kalanlari 2 yasinda PE2950 ve isletim sistemleri Windows 2008 R2 taze olarak kuruldu. Hepsinin ayni anda problemli olmasi ihtimali cok dusuk.

Hocam ne oldu bu sorunun sonucu ?

Ertan hocam onumuzdeki Persembe veya Cuma gunune gun verdiler hala beklemedeyim. Bu arada ilave network kartlarida geldi simdi server basina 6 NIC olmus oldu ve 4er tanesi iSCSI icin olacak.

Teoman bey,

Bunlar size sıfırı tükettirecekler. Ne gerek vardı yeni ethernet kartlarına saçmalamışlar iyice yine düzelmezse geri alacaklarmı aldırdıkları tüm ürünleri? Ben sorunda yavaş çalışma ve geç bağlanma ile ilgili olarak Dell'in swichlerinden şüpheleniyorum. Bunlar bir ara bizim firmayada çok uğraşmışlardı storage ile birlikte çok süper olur bununlardanda 2 tane alın daha iyi çalışır sisteminiz diye ama orada ayak direyip aldırmamıştım bu adamların swichlerini.
XX(reklam yapmayalım)'nin 10.000$ ürününe karşılık bizim 1200$ swich'inmiz o üründen çok daha hızlı diyorlardı. Detaydaki değerleri karşılaştırınca dell'in yerde süründüğünü görmüştük aldığımız XX'de süper çalışıyordu gerçekten.(Eski firmamda 🙁 hala çalışıyor büyük ihtimalle)

Saygılarımla.  

 Ilave NICler hem redundant icin hemde bandwithi artirmak icin. 4 serverda sadece 1 tane bos NIC vardi. Simdi her host makineden iSCSI switchlere 4 kablo gidecek. Zaten bu Best Practicede gecen uygulama...

Hocam sonucta ortada yapilmis bir anlasma var ve bu bir paket. Simdi o paketteki herhangi bir seye hayir deseydik simdi buraya defalarca geleceklerine sucu bizdeki parcalara atalardi. Zaten en bastan paket halinde coume gitmemizin sebebi bu. Production ortaminja alinmadigi icin ehmde ben bir seyler ogrendigim icin su anlik sesimi cikarmiyorum. Zaten konuyu bir ust seviyeye elevate yaptilar ve baska departman izlemeye basladi (teknisyen hala ayni). Sorunu cozemezlerse ben implemantation basarisiz oldu toplayin pilinizi pirtinizi verin $33.000'i geri diyebilecegim. Ama koskoca firmanin pes edip cikip gidecegini sanmiyorum. Ortamdaki A'dan Z'ye hersey DELL daha ne diyeyimki...

Daha yeni IP blogu onerisini denemedik. Su an problem iSCSI Initiatordeki iSCSI IPlerinin siralamada ust sirada yer almasini saglamak durumu var. Onu cozersek hersey cozulmus olacak... Bunun icinde onceki mesajlardaki 10.x.x.x li IPleri onerecegim bakalim ne olacak.

Teoman bey,

Günaydın inşallah bir sonuca ulaşırlar o kadar emek boşa gitmez. Ben sorunun IP sıralamsından olduğunu sanmıyorum. Bakalım nasıl çözecekler çok merakla bekliyorum bu işlemlerin sonucunu. Asıl merak ettigim inşallah nasıl çözdüklerini yorumlayabilirler olay çözülür nasıl oldu bizde bilemiyoruz derlerse oda kötü.

Saygılarımla.

Dell'den dun yeniden geldi eleman, cozumlerinin tukendigini olmadigini soyledi ve son care IPleri sizin dediginiz gibi konfgure edip 1 tane server uzerinde denedi. Gorunuse gore sistem ilk defa calisti :))) O da sasirdi bu ise. Ben testlere basladim su an ve gelecek hafta tekrar gelip diger serverlerida konfigure edecek. Test sonuclarina gore emin degilim ama biraz gariplik sezdim ama belkide iSCSInin dogalinda olan birseydir.

• Baska sunucudan (1 Gbit baglanti, SAS, gece vakti) paylasima acilmis 3 GBlik ISO dosyasini 25 MB/sn ile transfer ediyor.
• Transfer esnasinda yedek baglantiyi test icin iSCSInin kablolarindan birini cektigimde transfer 1 dakikaligina duruyor ve sonra devam ediyor, bu bekleme suresi normal mi yoksa anindami baglantiyi saglamali? (2 iSCSI switch ve 4 network kablosu 1 servera baglidir)
• iSCSI'ye bagli olan serverdan ISCSI Virtual Diskine dosya transferi yaparken bazen 200 MB/sn bazende 1300 MB/sn transfer hizi okuyoruz.

Teoman hocam geçmiş olsun ve yeni storage'iniz hayırlı uğurlu olsun artık diyelimmi?

Yapmış olduğun testler ile ilgili tecrübem olmadığı için net bir fikir veremeyeceğim, fakat kablo çekme testi sırasında önemli olan bağlantının kopmamış olmaması diye düşünüyorum. Data kopyalama hızlarınıda windows işletim sistemlerinin verdiği bilgiler ile test etmen seni yanlış yönlendirebilir çoğu zaman saçma değerler verebiliyor, windows işletim sistemi data kopyalama zamanları ile ilgili zamanlama hesaplarını pek doğru yapamıyor diye biliyorum, bunun en doğru testini bu işi yapan test programları var(bir ara hp'ni bir programını bulup onunla testler yapmıştım ama hatırlayamadım şimdi adını bulursam bilgi vereceğim) onlardan edinip onlar ile okuma yazma testleri bu programlar ile yapman sana en doğru bilgiyi verecektir diye düşünüyorum.

Saygılarımla.