fresh dd if=/dev/da1 of=/dev/null bs=1M root@freenas[~]# iostat -d -w 10 da1 da2 da3 da4 da5 da6 da7 da8 da1 da2 da3 da4 da5 da6 da7 da8 KB/t tps MB/s KB/t tps MB/s KB/t tps MB/s KB/t tps MB/s KB/t tps MB/s KB/t tps MB/s KB/t tps MB/s KB/t tps MB/s 127.65 50 6.21 127.83 104 13.02 127.80 92 11.46 127.82 101 12.67 127.75 71 8.81 127.70 59 7.35 127.50 37 4.58 127.10 19 2.38 0.00 0 0.00 128.00 2768 345.98 128.00 2770 346.27 128.00 2772 346.48 128.00 3284 410.46 128.00 3287 410.88 128.00 2789 348.67 128.00 2787 348.39 0.00 0 0.00 128.00 2766 345.81 128.00 2760 345.01 128.00 2762 345.20 128.00 3249 406.15 128.00 3252 406.55 128.00 2788 348.47 128.00 2783 347.90 0.00 0 0.00 128.00 2757 344.66 128.00 2757 344.57 128.00 2752 344.02 128.00 3242 405.31 128.00 3283 410.36 128.00 2785 348.14 128.00 2780 347.56 0.00 0 0.00 128.00 2751 343.88 128.00 2746 343.21 128.00 2735 341.86 128.00 3225 403.10 128.00 3229 403.68 128.00 2792 349.01 128.00 2781 347.66 0.00 0 0.00 128.00 2729 341.15 128.00 2746 343.26 128.00 2758 344.74 128.00 3179 397.39 128.00 3188 398.50 128.00 2790 348.81 128.00 2780 347.44 0.00 0 0.00 128.00 2754 344.24 128.00 2769 346.12 128.00 2765 345.61 128.00 3200 399.96 128.00 3171 396.42 128.00 2775 346.84 128.00 2782 347.81 128.00 1234 154.24 128.00 2769 346.12 128.00 2773 346.61 128.00 2759 344.84 128.00 3270 408.81 128.00 3263 407.85 128.00 2775 346.91 128.00 2778 347.22 128.00 2793 349.18 128.00 2763 345.35 128.00 2778 347.29 128.00 2782 347.74 128.00 3274 409.20 128.00 3267 408.40 128.00 2789 348.68 128.00 2778 347.20 128.00 2798 349.79 128.00 2783 347.85 128.00 2795 349.31 128.00 2783 347.93 128.00 3299 412.35 128.00 3312 413.99 128.00 2809 351.14 128.00 2789 348.65 128.00 2795 349.32 128.00 2778 347.22 128.00 2793 349.11 128.00 2786 348.24 128.00 3295 411.85 128.00 3282 410.29 128.00 2803 350.34 128.00 2808 351.00 128.00 2796 349.56 128.00 2782 347.72 128.00 2796 349.49 128.00 2787 348.34 128.00 3301 412.59 128.00 3298 412.27 128.00 2796 349.50 128.00 2795 349.37 128.00 2789 348.58 128.00 2777 347.08 128.00 2790 348.69 128.00 2782 347.70 128.00 3305 413.18 128.00 3305 413.11 128.00 2805 350.63 128.00 2779 347.43 128.00 2795 349.32 128.00 2782 347.73 128.00 2796 349.48 128.00 2787 348.39 128.00 3316 414.46 128.00 3314 414.25 128.00 2809 351.17 128.00 2799 349.93 128.00 2786 348.28 128.00 2783 347.87 128.00 2797 349.61 128.00 2788 348.51 128.00 3316 414.49 128.00 3317 414.63 128.00 2813 351.65 128.00 2800 349.98 128.00 2779 347.40 128.00 2783 347.89 128.00 2798 349.78 128.00 2789 348.58 128.00 3292 411.46 128.00 3318 414.69 128.00 2816 352.04 128.00 2816 351.98 128.00 2765 345.60 128.00 2784 347.95 128.00 2797 349.65 128.00 2788 348.45 128.00 3314 414.29 128.00 3293 411.66 128.00 2815 351.86 128.00 2802 350.22 128.00 2744 343.04 128.00 2783 347.90 128.00 2800 350.03 128.00 2789 348.59 128.00 3294 411.71 128.00 3316 414.55 128.00 2817 352.13 128.00 2805 350.68 128.00 2789 348.59 128.00 2781 347.59 128.00 2758 344.76 128.00 2749 343.59 128.00 3244 405.49 128.00 3226 403.27 128.00 2782 347.71 128.00 2769 346.14 128.00 2775 346.89 128.00 2782 347.79 128.00 2789 348.63 128.00 2778 347.23 128.00 3291 411.40 128.00 3288 410.96 128.00 2816 352.03 128.00 2802 350.26 128.00 2794 349.21 128.00 2784 348.06 128.00 2794 349.31 128.00 2785 348.07 128.00 3284 410.50 128.00 3305 413.09 128.00 2817 352.11 128.00 2803 350.44 ^C 128.00 2792 349.04 128.00 2765 345.65 128.00 2798 349.70 128.00 2785 348.14 128.00 3310 413.76 128.00 3281 410.06 128.00 2816 352.03 128.00 2802 350.31 root@freenas[~]# uname -a FreeBSD freenas.local 11.2-STABLE FreeBSD 11.2-STABLE #0 r325575+4710c8b6420(HEAD): Fri Feb 14 13:59:19 UTC 2020 root@tnbuild02.tn.ixsystems.com:/freenas-releng/freenas/_BE/objs/freenas-releng/freenas/_BE/os/sys/FreeNAS.amd64 amd64 +autotune dd if=/dev/da1 of=/dev/null bs=1M root@FreeNAS-Wide[~]# iostat -d -w 10 da1 da2 da3 da4 da5 da6 da7 da8 da1 da2 da3 da4 da5 da6 da7 da8 KB/t tps MB/s KB/t tps MB/s KB/t tps MB/s KB/t tps MB/s KB/t tps MB/s KB/t tps MB/s KB/t tps MB/s KB/t tps MB/s 127.64 202 25.20 16.09 1 0.01 16.97 1 0.01 16.09 1 0.01 16.97 1 0.01 16.09 1 0.01 16.97 1 0.01 16.09 1 0.01 128.00 2495 311.84 128.00 895 111.94 0.00 0 0.00 0.00 0 0.00 0.00 0 0.00 0.00 0 0.00 0.00 0 0.00 0.00 0 0.00 128.00 2570 321.21 128.00 2569 321.16 0.00 0 0.00 0.00 0 0.00 128.00 1433 179.08 0.00 0 0.00 0.00 0 0.00 0.00 0 0.00 128.00 2606 325.71 128.00 2604 325.51 0.00 0 0.00 0.00 0 0.00 128.00 2840 354.97 0.00 0 0.00 0.00 0 0.00 0.00 0 0.00 128.00 2639 329.87 128.00 2636 329.51 0.00 0 0.00 0.00 0 0.00 128.00 3016 376.95 0.00 0 0.00 0.00 0 0.00 0.00 0 0.00 128.00 2640 329.97 128.00 2637 329.64 0.00 0 0.00 0.00 0 0.00 128.00 3014 376.76 0.00 0 0.00 0.00 0 0.00 0.00 0 0.00 128.00 2628 328.52 128.00 2631 328.86 0.00 0 0.00 0.00 0 0.00 128.00 3015 376.87 0.00 0 0.00 0.00 0 0.00 0.00 0 0.00 128.00 2632 329.06 128.00 2636 329.52 0.00 0 0.00 0.00 0 0.00 128.00 2992 374.03 0.00 0 0.00 0.00 0 0.00 0.00 0 0.00 128.00 2614 326.73 128.00 2635 329.34 0.00 0 0.00 0.00 0 0.00 128.00 3016 376.97 0.00 0 0.00 0.00 0 0.00 0.00 0 0.00 128.00 2620 327.55 128.00 2617 327.15 0.00 0 0.00 0.00 0 0.00 128.00 2966 370.70 0.00 0 0.00 0.00 0 0.00 0.00 0 0.00 128.00 2628 328.50 128.00 2625 328.13 0.00 0 0.00 0.00 0 0.00 128.00 2937 367.16 0.00 0 0.00 0.00 0 0.00 0.00 0 0.00 128.00 2634 329.20 128.00 2606 325.71 128.00 1080 135.00 0.00 0 0.00 128.00 2929 366.12 0.00 0 0.00 0.00 0 0.00 0.00 0 0.00 128.00 2626 328.27 128.00 2630 328.70 128.00 2633 329.15 128.00 1348 168.51 128.00 3005 375.61 0.00 0 0.00 0.00 0 0.00 0.00 0 0.00 128.00 2714 339.22 128.00 2716 339.47 128.00 2706 338.20 128.00 2716 339.55 128.00 3128 390.98 128.00 2537 317.16 128.00 573 71.63 0.00 0 0.00 128.00 2779 347.42 128.00 2773 346.57 128.00 2769 346.18 128.00 2788 348.51 128.00 3208 400.98 128.00 3114 389.22 128.00 2785 348.07 128.00 1445 180.62 128.00 2802 350.25 128.00 2772 346.55 128.00 2743 342.93 128.00 2768 346.00 128.00 3273 409.11 128.00 3303 412.84 128.00 2762 345.24 128.00 2748 343.55 128.00 2800 350.05 128.00 2802 350.25 128.00 2779 347.36 128.00 2798 349.77 128.00 3283 410.42 128.00 3299 412.40 128.00 2795 349.37 128.00 2780 347.45 128.00 2803 350.38 128.00 2806 350.73 128.00 2778 347.30 128.00 2802 350.24 128.00 3289 411.10 128.00 3271 408.83 128.00 2797 349.66 128.00 2781 347.64 128.00 2804 350.44 128.00 2808 350.98 128.00 2770 346.27 128.00 2806 350.69 128.00 3305 413.09 128.00 3304 413.05 128.00 2796 349.45 128.00 2781 347.63 128.00 2804 350.44 128.00 2809 351.17 128.00 2768 346.00 128.00 2796 349.49 128.00 3310 413.76 128.00 3250 406.19 128.00 2799 349.93 128.00 2783 347.87 ^C 128.00 2806 350.81 128.00 2812 351.49 128.00 2784 348.06 128.00 2791 348.86 128.00 3309 413.65 128.00 3225 403.18 128.00 2799 349.91 128.00 2782 347.69 root@FreeNAS-Wide[~]# iostat -d -w 10 da1 da2 da3 da4 da5 da6 da7 da8 da1 da2 da3 da4 da5 da6 da7 da8 KB/t tps MB/s KB/t tps MB/s KB/t tps MB/s KB/t tps MB/s KB/t tps MB/s KB/t tps MB/s KB/t tps MB/s KB/t tps MB/s 127.97 1217 152.05 127.97 1097 137.10 127.94 546 68.20 127.93 505 63.08 127.97 1249 156.05 127.94 553 69.12 127.93 452 56.46 127.92 415 51.82 0.00 0 0.00 0.00 0 0.00 0.00 0 0.00 0.00 0 0.00 128.00 2774 346.80 0.00 0 0.00 0.00 0 0.00 0.00 0 0.00 0.00 0 0.00 0.00 0 0.00 0.00 0 0.00 0.00 0 0.00 128.00 2818 352.27 0.00 0 0.00 0.00 0 0.00 0.00 0 0.00 ^C 0.00 0 0.00 0.00 0 0.00 0.00 0 0.00 0.00 0 0.00 128.00 2887 360.84 0.00 0 0.00 0.00 0 0.00 0.00 0 0.00