Vmware ve sanallarda yavaşlık hk.

Gönderen: @balanar

↑

Merhaba,

Bugüne kadar hiçbir sorun yaşamadık 3 senedir. Herhangi bir değişiklikte yapmadık.

Dün sabahtan beri tüm sanal makinelerimizde bir yavaşlık var. Windowslara bağlanacağım makinenin kendine gelmesi 5dk sürüyor. Bazen daha uzun. Makinelerde başlata basıyorsunuz 2-3 dk kendine gelemiyor. Linux tarafında çalışan otomasyonlarda sorgu yapmaya kalktıgımızda PHP tarafında 5dk döndürüyor.

Sunucu ile storage alt alta fiziksel olarak herşey çalışıyor. Sorun ne olabilir? VMware ESXi 7.0.3 versiyonu mevcut.

Neyi gözden kaçırıyor olabilirim neyi kontrol etmeliyim? Tecrübe üstadlarımızdan destek bekliyorum..

Merhaba,

Öncelikle performance monitor'u kontrol etmeniz gerekiyor. Mevcut sanal sunucularınızdan birtanesi bir sebepten dolayı yüksek IO yapıyor olabilir. Veya storage'ınız üzerinde disk arızası olabilir ve bundan dolayı storage'da bir performans kaybı olabilir. 

Tayfun bey peki, storage disk arızası olsa hem fiziksel olarak hemde sistemde uyarı vermezmi? Çünkü sistemden baktığımda herşey normal görünüyor health ok

Gönderen: @balanar

↑

Tayfun bey peki, storage disk arızası olsa hem fiziksel olarak hemde sistemde uyarı vermezmi? Çünkü sistemden baktığımda herşey normal görünüyor health ok

Eğer storage üzerinde bir uyarı vs görmüyorsanız ozaman mevcut sanal sunucularınız içerisinde birtane VM yüksek IO yapıyor ve storage'ı darboğaza sokuyor olabilir. Bazen sanal sunuculara bulaşan virüsler bunlara sebep olabiliyor.

Örneğin;

2025-03-28T04:44:20.561Z cpu7:2098383)WARNING: ScsiDeviceIO: 1513: Device naa.600c0ff000663da046788a6301000000 performance has deteriorated. I/O latency increased from average value of 815 microseconds to 187972 microseconds.
2025-03-28T04:44:26.483Z cpu10:2098383)WARNING: ScsiDeviceIO: 1513: Device naa.600c0ff000663da046788a6301000000 performance has deteriorated. I/O latency increased from average value of 816 microseconds to 381907 microseconds.
2025-03-28T04:44:33.357Z cpu39:2098381)WARNING: ScsiDeviceIO: 1513: Device naa.600c0ff000663da046788a6301000000 performance has deteriorated. I/O latency increased from average value of 816 microseconds to 149909 microseconds.
2025-03-28T04:44:54.579Z cpu20:2098383)WARNING: ScsiDeviceIO: 1513: Device naa.600c0ff000663da046788a6301000000 performance has deteriorated. I/O latency increased from average value of 816 microseconds to 25618 microseconds.
2025-03-28T04:44:55.944Z cpu13:2098381)WARNING: ScsiDeviceIO: 1513: Device naa.600c0ff000663da046788a6301000000 performance has deteriorated. I/O latency increased from average value of 816 microseconds to 57389 microseconds.
2025-03-28T04:44:59.163Z cpu51:2098383)WARNING: ScsiDeviceIO: 1513: Device naa.600c0ff000663da046788a6301000000 performance has deteriorated. I/O latency increased from average value of 816 microseconds to 124009 microseconds.

2025-03-28T04:44:23.804Z cpu100:2098386)WARNING: ScsiDeviceIO: 1513: Device naa.600c0ff000663da084b08a6301000000 performance has deteriorated. I/O latency increased from average value of 969 microseconds to 22092 microseconds.
2025-03-28T04:44:26.843Z cpu15:2098387)WARNING: ScsiDeviceIO: 1513: Device naa.600c0ff000663da00121fc6601000000 performance has deteriorated. I/O latency increased from average value of 3328 microseconds to 71939 microseconds.
2025-03-28T04:44:27.141Z cpu15:2098387)WARNING: ScsiDeviceIO: 1513: Device naa.600c0ff000663da084b08a6301000000 performance has deteriorated. I/O latency increased from average value of 969 microseconds to 47604 microseconds.

doğru yere bakıyorum değil mi tayfun bey? Hangi makienin bunu yaptığına nasıl erişebilirim?

Evet zaten warning atmış durumda. Bu uyarı, storage'in IO'yu karşılayamadığı anlamına geliyor. Her sunucunun task manager'indan disk değerlerini inceleyebilir veya esxi/vcenter üzerinden performance monitor > disks bölümünden read7write değerlerini kontrol edebilirsiniz.

Gönderen: @tayfundeger

↑

Evet zaten warning atmış durumda. Bu uyarı, storage'in IO'yu karşılayamadığı anlamına geliyor. Her sunucunun task manager'indan disk değerlerini inceleyebilir veya esxi/vcenter üzerinden performance monitor > disks bölümünden read7write değerlerini kontrol edebilirsiniz.

Bu alanda göremedim veya yanlış yerden bakıyorum. Müsaitlik durumunuz varsa tam olarak nereden bakılacağı noktasında tarif etmeniz mümkün mü tayfun bey. Yaklaşık 36 saattir uykusuz duruyoruz, bakan kör olmuşuz..

Ben güncel vcenter'a hakim değilim sadece fikir verebilirim.
Bu ekranlardan net durum tespit edilemiyorsa log temelli bakmak lazım. O tepe noktalarına vuran vm'i tespit edip o vm içerisinde ki perf. durumunu analiz edin.
Tayfun hocamın dediği gibi storage bir şekilde IO taşıran bir şeylere yetersiz kalıyor. Storage'in cpu ve bellek kullanımını da kontrol edin, log'larını inceleyin mesela bir şekilde parity işlemi yapıyorsa healty görünür herşey ama perf. sürünür.
Güç isteyen VM'lerinizin de sadece task manager dan değil Resource monitor yapın birinin OS'undan kaynaklanan bir şeyden olabilir o zaman vcenter ekranlarına bariz yansımayabilir.
Daha nokta atış yorumları Tayfun hoca müsait olduğunda yapacaktır.

Merhaba, Tayfun ve İbrahim hocam aslında nokta atışı bilgi vermiş. Loglarda da göründüğü gibi bir şey size aşırı yük bindiriyor ve storage üniteniz bunu kaldıramıyor. Bunu tespit etmek için 3. parti izleme ürünleri kullanabilirsiniz. Solarwinds, PRTG vb, ancak durum bu kadar kötü ise yani tüm sistem bundan etkileniyor ise muhtemel bu ürünlerde doğru düzgün log toplayamayabilir. Ancak bu işin en doğrusu tüm sistemin izlenmesi. Gördüğüm kadarı ile sizde herhangi bir izleme aracı yok. Bu tür altyapılar için öncelikle server,storage ve vmware katmanını izleyen bir ürün + sanal makineleri izleyen ayrı veya benzer bir performans monitoring ürünü olmalı. Neden bu katmanlar ayırıyoruz? Örneğin sizdeki gibi bir durumda windows veya linux ortamındaki performans ürünleri doğru sonuç vermez, çünkü OS katmanında yüksek CPU veya RAM kullanımı yoktur, olmamasının sebebi ise (bazen de storage geç cevap verdiği için tam tersi yüksek cpu kullanımı görürsünüz, özetle bunu incelemek zaten uzmanlık isteyen bir iştir) storage gecikmesi kaynaklı aslında OS response alamadığı için kaynak da tüketemez vs. Ama bunu zaten siz OS de canlı canlı yaşamışsınız. Zaten sorunun alt katmandaki storage performans yetersizliği olduğu da belli. Peki bu kadar performans isteyen kim? Ürün yok ise eğer öncelikle loglardaki naa ID lerine bakarak bunların LIN veya datastore olduğunu düşünürseniz bu uyarıları hangi LUN, Data store için verdiğine bakın.Eğer bir kolerasyon bulursanız yani örüntü, en çok şu ID de oluyor gibi ona yoğunlaşın. Örnek bir kod, ID' den datastore' a dönün

esxcli storage core device list | grep -A10 naa.600c0ff000663da046788a6301000000

Sonra bu datastore üzerindeki sanal makineleri bulun

vim-cmd vmsvc/getallvms | grep "Sorunlu_Datastore_Adı"

Sonra bu makinelerden şüphelendikleriniz var mı kontrol edin, veya onlara izleme programı kurun trial da olsa veya kapatabilyorsanız kapatın. O anda yine erişiminiz var ise ESXi ssh ile bağlanıp aşağıdaki komut ile en fazla I/O tüketen sanal makineyi bulabilirsiniz

esxtop

Burada Tayfun hocam' ın makalesi var

ESXTOP Kullanımı - ÇözümPark

Eğer sorunu bu şekilde de çözemiyorsan dediğim gibi profesyonel bir yardım almanı öneririm.

Hepinize çok teşekkür ediyorum profesyonel bilgiler için..

Birkaç disk'te meta clear işlemi vs yaptılar yurtdışından. Rebalance tamamlandıktan sonra düzeldi herşey

Ama hâla kafamda soru işaretleri var tabi. Hakan hocam tayfun beyin paylaşımına bakacağım çok faydalı olacak.. Çok sağolun