[Çözüldü] Veeam Backup Yedek Alırken Hız Sürekli Yavaşlıyor

Merhaba, Logları incelediniz mi ? Hata görünmese de nerede hangi sürede ne yaptığını görerek. Sonuca daha doğru ve hızlı erişebilirsin. Yedekleme yönetenim nedir daha fazla detay verebilirimisin. ? Mesela şifreleme kullanıyormusun yada şıkıştırma ?. Yedekleme ayarları içinde hedef kayıt yere LOCAL - WAN vb seçenekler var hangisi seçili ? 

Kolay gelsin.

@cahityolacan

Merhaba Cahit Bey, ilginiz için teşekkür ederim;

Yedekleme yöntemim;

Sıkıştırma vb. ayarlarım;

Logları inceledim, herhangi bir hata göremedim ancak çok detaylı da bakmadım açıkçası.

Merhaba resimlerden evet optimize olarak seçenekler seçili. Logları hatalar için değilde; süreçlerin ne durumda ve ne zaman başladığını kontrol etmek için örneğin deduplcation ( sıkıştırma ) işlemin demi yavaşlamaya başlıyor bunu görebilmen için kontrol edersen belki veeam sıkıştırma yerine, Qnap üzerindeki dedup yaparsın hızlı yedekleme gerçekleşir. 

Böyle düşünerek bir detaylı log incelemesi yapmanı tavsiye ederim.

@cahityolacan

Detaylıca inceleyeceğim, teşekkür ederim.

Bu konuda yapılandırma ve donanım kaynakları ile ilgili ayrıntılı analiz yapmanız lazım. Önce veeam dokumantasyonundan sistemin mantığını öğrenin derim helpcenter üzerinde senaryoları anlatıyor. Bir nas kaynağa prosesi hızlandırma ile ilgili epey uğraştım kısa bir cevabı yok açıkçası.
https://helpcenter.veeam.com/docs/backup/hyperv/detecting_bottlenecks.html?ver=95u4

@ibrahimyildiz

Merhaba İbrahim Bey,

Benim sorunum performansın periyodik olarak düşme eğiliminde olması. Aslında gayet hızlı bir şekilde başlıyor ancak backup alındıkça performans düşüyor. Cahit Bey'in bahsettiği şekilde sanırım hem backup alıp hem de sıkıştırma işlemi yaparken QNAP'taki diskler yanıt vermede geciktiği için performans düşüyor diye düşünüyorum. Logları inceledim, ilk diskin yedeği tamamlandıktan sonra deduplication işlemi başlamış ve performans peyderpey düşmeye başlamış. Şimdi backup job unu durdurup tüm sıkıştırma ayarlarını aşağıdaki gibi yapıp tekrar kontrol edeceğim. Alan sorunum yok, yeter ki hızlıca yedekler alınsın. Verdiğiniz linki de inceliyorum hemen, teşekkür ederim.

Merhaba,

Öncelikli olarak vmware tarafında network driverları kontrol etmenizi isterim.  Mevcut yapınıza uygun network driver'larını güncelleyin lütfen. 

Eğer yüklü boyutta datalarınız varsa  SFP+  ethernet kartlarını tercih etmelisiniz.

Ve en önemli noktalardan biri switch'nizin throughput değeri, bu direk aldığınız data nın yüküne göre performansı etkileyecek faktörlerdir.  Ayrıca en az 1 Adet Sanal VM kurup Veeam üzerinde ikinci  proxy olarak yapılandırın.

20Mbp/s düşmesi normal değil.  Mutlaka bir yerlerde takıldığı bir durum var.  Ben genelde yukarıda belirtmiş olduğum detayların kontrollerini yaparak  baya bir firmada sorunları çözdüm.

Teşekkürler.

@huseyinaydinn

Merhaba Hüseyin Bey,

Storage SFP+ ile bağlı hostlara, ancak QNAP Gbit ethernet üzerinden bağlı. Network driverlarını ve throughput değerlerini kontrol edeceğim. 1 adet daha sanal VM kurup proxy olarak Veeam'e ekledim ama pek işe yaramadı. Yine 20Mb/s lere düştü değerler. Özellikle Exchange sunucumda bu sorun oluyor, Acronis ile yedek alıyorum, 80-90 Mb/S ile yedekliyorum ama Veeam'de neden bu kadar düşüyor bir türlü çözemedim.

Teşekkürler.

Selamlar,

Öncelikle Storage' nin vmware tarafına SFP+ ile bağlı olması  tek başına yeterli olmaz.

VMware ve yedek alınan cihaz'nda SFP+ bağlantısı yapılırsa aradaki farkı anlayabilir siniz.

Ben bu şekilde  ortalam 13-15 dakika içinde 700 GB makinenin Full yedeğini alabiliyorum.

Bu arada Vmware compability üzerinden sizin sunucuzda takılı olan ethernet kartın vmware versiyonuna göre hangi sürücüyü yükleyerek güncellemeniz gerektiğini öğrenin. ( Best practise )

Switch'in troupght değeri mutlaka yedek aldığınız data boyutunu kaldıracak bir switch olmalı yoksa yine düzgiün bir performans alamazsınız.

Bunun testinide şu şekilde yapabilirsiniz. QNAP  cihazınızı switch ten çıkarın direk sunucu  üstünde boş bir port'a cross bağlantı yapın. Vmware üzerindede sanal bir tane port group oluşturup  veeam sunucusu ile QNAP ı sunucu üzerinden konusturun.

Birde böyle deneyin isterseniz. Backup alınan databoyutu ne kadar  bilmiyorum çok ta net bir şey söylemem mümkün değil.

Ama switch gigabit bile olsa yukarıda belirttiğim  maddeler ile en kötü 75 Mb/s in altına düşmemeniz gerekir.

Ayrıca size tavsiyem deduplication yapmayan bir depolama ünitesi kullanıyorsanız Veeam'in  yapılandırmış olduğu standart ayarlar ile oynamayın.

Exchange backup 'ı alırken  Application-Aware processing i kullanıyorsanız ve yüklü boyuttaysa bağlantınızı 10G yükseltmenizi tavsiye ederim.

QNAP networku ile vmware networkünüz  farklı vlan daysa eğer  aynı vlanlara  taşıyın lütfen. Farklı networkler arası geçicek trafik direk firewall'ın bağlantı şekli ilede alakalıdır. Aynı network bloğunda olursa eğer iş direk switch üzerinden firewall'a gitmeden çözülür.

Bunuda göz önünde bulundurmanızı tavsiye ederim.

@huseyinaydinn

Hüseyin Bey merhaba,

Değerli fikir ve yorumlarınız için çok teşekkür ediyorum. Hepsini dikkate alıp deneyeceğim. Tekrar çok teşekkürler.

Kolay gelsin.

Gönderen: @olgaycingur

@huseyinaydinn

Hüseyin Bey merhaba,

Değerli fikir ve yorumlarınız için çok teşekkür ediyorum. Hepsini dikkate alıp deneyeceğim. Tekrar çok teşekkürler.

Kolay gelsin.

Rica ederim.

olgay bey selamlar,

bu durum qnap donanımları kaynaklı olabilir. kullandığınız ürünlerin  raid kartı, disk sağlığı gibi durumları incelermisiniz. bunun yanı sıra yanlış hatırlamıyorsan  2. network girişlerini kullanarak load balance ta yapılabiliyor.

benzer sorun yaşadım çözüm olarak yeni qnap aldım 🙂  ayrıca belirtmek isterim.

@gokselarslan

Sevgili Göksel Bey,

Elimde 2 adet QNAP mevcut, TS-831x ve TS-669 pro. Bunların yanına üçüncüyü aldırmam mümkün olmadığı gibi öncelikle sorunun neden kaynaklandığını çözmeliyim. Port trunking zaten yapıyorum;

Her iki ethernete de 1Gbit bağlantı mevcut. Raid kartını bilemiyorum, ürünlerin firmware sürümleri bir tanesinde güncel, diğerinde değil. Diğerini de güncelleyip tekrar kontrol edeceğim ama en büyük sıkıntım hep söylediğim gibi; ilk başta kopyalama hızı gayet iyiyken (110Mb/sn civarları) sonra sonra 15-20Mb/sn lere kadar düşmesi. Üzerindeki diskler de çok eski değil.

Bir de şöyle birşey var, aynı sunucuyu aynı Qnap'a Acronis ile yedeğini alıyorum. Hız stabil 90/100Mb civarlarında seyrediyor.

Şimdi iscsi diski Veeam sunucusuna bağlayarak bir yedek başlattım, önceden SMB share olarak bağlıydı. Birşey farkedecek mi bilmiyorum.

Qnap networkü ve vmware networkü aynı vlanda, hatta hostlar backbone switch üzerinde bağlıydı, qnapı da backbone switch e aldım. 

Bakalım sonuç alabilecek miyim..

Teşekkürler Göksel Bey.

Merhaba,

Burada belirttiğiniz ilk yapılandırmada, veeam host ile qnap arasında olan hop sayısını kontrol ettiniz mi ?

Src veya dst tarafında io sorununuz yok ise hop'lardan bir tanesinde darboğazınız olabilir.

Nas eth. int. tarafında port turnk iptal ederek test ettiniz mi ?

Src,dst ve network seviyesinde bir monitoring çözümünüz yok ise, mutlaka birini devreye alın.

Transfer sürecinde tüm adımları monitor ederek ilerlemelisiniz.

Bunlar software raid kullanan write performansları 802.3ad de kullansanız sınırlı box üniteler. Veeam kullanırken target tarafta performansı geliştirmek için raid vs yapılandırmaları çok önemli hale geliyor ünite performansını geliştirmek için 10 GB nic'lere geçmek gerekli yada SAN gibi hw raid kaabiliyeti, performansı yüksek ünitelere tabi bunlar bütçe konuları. Ben bir noktada hw ve veeam config üzerinde limitlere ulaştım sayılır bunu geliştirme safhasındayım halen.
Performansı diğer uygulamalar ile mukayese etmeyin kesinlikle acronis dediğiniz için diyorum bende bir müşteride daha önce backupexec kullanıyordum job sürelerinden sizin ki gibi benzer bir performans farkındalığım yoktu doğal olarak yıllar içinde vm size'ları da artıyor. Veeam kaynak erişimi, transferde oldukça farklı yöntemler kullanıyor VM backup performansı oldukça yüksek ancak üretici best practise fazlaca uygunluk istiyor.

Backup Job Action ayrıntılarında source>proxy>network>target olarak yüzdeler halinde bir processing performans özeti verir. Veeam manuellerinde buna göre inceleme, geliştirmeye odaklanmasını tavsiye ediyor. Ayrıca veeam'in monitor uygulamalarını kullanmıyorsanız raporlarda ki transferred, duration sürelerinden sanalların bir performans çizelgesi çıkartarak hareket edebilirsiniz. Exchange demiştiniz daha önce her bir sanalın ayrı olarak kaynaktan okunma durumu değişkenlik gösterebilir ve önemlidir.
Rakamlarla hızlı başlayıp sonradan 15-20 mb/s düştüğünü söylüyorsunuz ancak ilk paylaştığınız görsele göre ilk aşamanın sonrasında çok uzun süre performansın düşük seyrettiği görülüyor. Yani sizde genelden özelleştirerek ayrıntılı bir analiz yapılması lazım. O yüzden verdiğim link üzerinden veeam'in tercihleri, çalışma yöntemleri hakkında best pratise'lerini önce öğrenerek hareket etmenizi tavsiye ettim.
Hüseyin aydın bey zaten tecrübesiyle size orada ki birçok konuyu tavsiye etmiş oldu. Yapınızı en iyi siz biliyorsunuz malum tamamını buraya aktarmanız zor.
Örneğin benim analiz, düzenleme sonrası bir noktada benzer NAS hedef donanıma değerlerim processing rate: 230-280 mb/s Throughput 480-550 mb/s yükseldi 3 tb civarı backup alınıyor daha önce dengesiz ve bunun yarı değerlerindeydi. Full backup job sürelerinden halen yeterli görmüyorum ancak NAS cihazına benchmark'lar ile odaklanarak Veeam'in tercihlerine göre limite yaklaştığımı gördüm şimdi bu Target tarafı geliştirmeye odaklıyım.
Sizde iscsi disk olarak bağlayarak nas ünitelerinizin doluluk oranlarıyla paralel bench tool'lar ile IO, sequential write vs performanslarını analiz edebilirsiniz.
Ayrıca ayrı test job'ları oluşturarak sanalların tekil backup performanslarını raporlayabilirsiniz.
Turan beyin dediği gibi her bir hop noktası önemli bunların io, throughput 'ları önemli. 
Hardware konularından uzun saatler sonunda performansın düşme eğilimi normaldir ancak dediğim gibi sizin paylaşımımınıza göre job ilk erişimin çok altında değerlerle uzun süre seyrediyor ve ani değişimler görünmüyor.
Yapınızın diagramlarını oluşturarak bir taraftan da veeam'in tavsiyelerini (forumundaki bazı uzmanların tavsiyeleri bile önemli) öğrenerek aşama aşama ayrıntılı analizlerle bu sorununuzu aşabilirsiniz diye düşünüyorum.
 

@turancoskun ve @ibrahimyildiz

Vaktinizi ayırıp çok değerli bilgilerinizi üşenmeden uzun uzun paylaştığınız için çok çok teşekkür ediyorum. Tavsiyelerinizi ve önerilerinizi dikkate alacağım. Gelişme olduğunda mutlaka buradan bilgi veririm. Tekrar teşekkürler.

Merhaba,

Birkaç iyileştirme ve değişiklik ile performansı biraz daha iyi bir hale getirdim.Normalde 80-90 saatte full yedeğini alabildiğim Exchange sunucumu haftasonu 25 saatte yedekleyebildim. Kopyalama hızı ve performansı hiç düşmedi. Sabit 100MB/Sn civarlarında seyretti;

Öncelikle QNAP'larımda tüm firmware güncellemelerini yaptım. Birkaç eksik vardı. Sonrasında bazı yabancı forumlarda okuduğum kadarıyla QNAP, Veeam'e ISCSI olarak eklendiğinde performansın biraz daha iyi olacağı yönünde yorumlar vardı. @gokselarslan Göksel Bey de bu şekilde alıyormuş yedeklerini. Ben de bu şekilde yaparak denedim ve çok daha iyi bir sonuç aldım. En azından stabil bir şekilde yedeği alabiliyorum şu anda. Yardımcı olmaya çalışan herkese tekrar teşekkür ederim.

@olgaycingur

Geri bildirim için teşekkürler. Güzel bir info oldu.