<p><br />
Hi All,</p>
<p>I have a system with PVE 1.8 with HW raid card (Intel RS2BL040), without BBU, 4 x 1.5Tbyte hdd in RAID10</p>
<p>I found that, the pveperf shows incredibeli low FSYNC, even 0.89.</p>
<p>Guys, seriously, what the hack could happen to cause this incredibely low measurement? Here are some test data and details about the system and settings.</p>
<p>Does anybody meet this kind of situation?</p>
<p>Any hints, documentation on the web are welcome.</p>
<p>Thank you,</p>
<p>István</p>
<p> </p>
<p><strong>Details</strong></p>
<p> </p>
<p>hdparm  -tT /dev/pve/data <br />
/dev/pve/data:<br />
Timing cached reads:   15292 MB in  2.00 seconds = 7654.83 MB/sec<br />
Timing buffered disk reads:  522 MB in  3.00 seconds = 173.97 MB/sec<br />
hn3:~# hdparm  -tT /dev/pve/root <br />
/dev/pve/root:<br />
Timing cached reads:   15002 MB in  2.00 seconds = 7509.61 MB/sec<br />
Timing buffered disk reads:  532 MB in  3.29 seconds = 161.89 MB/sec</p>
<p>-----------</p>
<p># pveperf <br />
CPU BOGOMIPS:      40530.64<br />
REGEX/SECOND:      820137<br />
HD SIZE:           94.49 GB (/dev/mapper/pve-root)<br />
BUFFERED READS:    114.54 MB/sec<br />
AVERAGE SEEK TIME: 12.01 ms<br />
FSYNCS/SECOND:     377.33<br />
DNS EXT:           46.11 ms<br />
DNS INT:           53.96 ms</p>
<p>pveperf /var/lib/vz<br />
CPU BOGOMIPS:      40530.64<br />
REGEX/SECOND:      841456<br />
HD SIZE:           1663.48 GB (/dev/mapper/pve-data)<br />
BUFFERED READS:    153.84 MB/sec<br />
AVERAGE SEEK TIME: 26.99 ms<br />
FSYNCS/SECOND:     280.32<br />
DNS EXT:           49.93 ms<br />
DNS INT:           44.12 ms</p>
<p>----------- RAID settings -----------</p>
<p>Settings<br />
================<br />
Current Time                     : 12:9:50 6/2, 2012<br />
Predictive Fail Poll Interval    : 300sec<br />
Interrupt Throttle Active Count  : 16<br />
Interrupt Throttle Completion    : 50us<br />
Rebuild Rate                     : 30%<br />
PR Rate                          : 30%<br />
BGI Rate                         : 30%<br />
Check Consistency Rate           : 30%<br />
Reconstruction Rate              : 30%<br />
Cache Flush Interval             : 4s<br />
Max Drives to Spinup at One Time : 4<br />
Delay Among Spinup Groups        : 2s<br />
Physical Drive Coercion Mode     : 1GB<br />
Cluster Mode                     : Disabled<br />
Alarm                            : Enabled<br />
Auto Rebuild                     : Enabled<br />
Battery Warning                  : Enabled<br />
Ecc Bucket Size                  : 15<br />
Ecc Bucket Leak Rate             : 1440 Minutes<br />
Restore HotSpare on Insertion    : Enabled<br />
Expose Enclosure Devices         : Disabled<br />
Maintain PD Fail History         : Enabled<br />
Host Request Reordering          : Enabled<br />
Auto Detect BackPlane Enabled    : SGPIO/i2c SEP<br />
Load Balance Mode                : Auto<br />
Use FDE Only                     : No<br />
Security Key Assigned            : No<br />
Security Key Failed              : No<br />
Security Key Not Backedup        : No<br />
Default LD PowerSave Policy      : Controller Defined<br />
Maximum number of direct attached drives to spin up in 1 min : 0 <br />
Any Offline VD Cache Preserved   : No<br />
Allow Boot with Preserved Cache  : No<br />
Disable Online Controller Reset  : No<br />
PFK in NVRAM                     : No<br />
Use disk activity for locate     : No</p>
<p> </p>
<p>Default Settings<br />
================<br />
Phy Polarity                     : 0 <br />
Phy PolaritySplit                : 0 <br />
Background Rate                  : 30 <br />
Strip Size                       : 256kB<br />
Flush Time                       : 4 seconds<br />
Write Policy                     : WB<br />
Read Policy                      : Adaptive<br />
Cache When BBU Bad               : Disabled<br />
Cached IO                        : No<br />
SMART Mode                       : Mode 6<br />
Alarm Disable                    : Yes<br />
Coercion Mode                    : 1GB<br />
ZCR Config                       : Unknown<br />
Dirty LED Shows Drive Activity   : No<br />
BIOS Continue on Error           : No<br />
Spin Down Mode                   : None<br />
Allowed Device Type              : SAS/SATA Mix<br />
Allow Mix in Enclosure           : Yes<br />
Allow HDD SAS/SATA Mix in VD     : Yes<br />
Allow SSD SAS/SATA Mix in VD     : No<br />
Allow HDD/SSD Mix in VD          : No<br />
Allow SATA in Cluster            : No<br />
Max Chained Enclosures           : 16 <br />
Disable Ctrl-R                   : Yes<br />
Enable Web BIOS                  : Yes<br />
Direct PD Mapping                : No<br />
BIOS Enumerate VDs               : Yes<br />
Restore Hot Spare on Insertion   : Yes<br />
Expose Enclosure Devices         : No<br />
Maintain PD Fail History         : Yes<br />
Disable Puncturing               : No<br />
Zero Based Enclosure Enumeration : No<br />
PreBoot CLI Enabled              : Yes<br />
LED Show Drive Activity          : Yes<br />
Cluster Disable                  : Yes<br />
SAS Disable                      : No<br />
Auto Detect BackPlane Enable     : SGPIO/i2c SEP<br />
Use FDE Only                     : No<br />
Enable Led Header                : Yes<br />
Delay during POST                : 0 <br />
EnableCrashDump                  : No<br />
Disable Online Controller Reset  : No<br />
EnableLDBBM                      : No<br />
Un-Certified Hard Disk Drives    : Allow<br />
Treat Single span R1E as R10     : No<br />
Max LD per array                 : 16<br />
Power Saving option              : All power saving options are enabled<br />
Default spin down time in minutes: 30 <br />
Enable JBOD                      : No<br />
TTY Log In Flash                 : No<br />
Auto Enhanced Import             : No<br />
BreakMirror RAID Support         : No<br />
Disable Join Mirror              : No<br />
Enable Shield State              : No<br />
Time taken to detect CME         : 60s<br />
 </p>
<p> </p>
<p>pve-manager: 1.8-18 (pve-manager/1.8/6070)<br />
running kernel: 2.6.32-4-pve<br />
proxmox-ve-2.6.32: 1.8-33<br />
pve-kernel-2.6.32-4-pve: 2.6.32-33<br />
qemu-server: 1.1-30<br />
pve-firmware: 1.0-11<br />
libpve-storage-perl: 1.0-17<br />
vncterm: 0.9-2<br />
vzctl: 3.0.28-1pve1<br />
vzdump: 1.2-14<br />
vzprocps: 2.0.11-2<br />
vzquota: 3.0.11-1<br />
pve-qemu-kvm: 0.14.1-1<br />
ksm-control-daemon: 1.0-6 </p>