opi-clst 28ノードまで増設し HPLでベンチマーク 29.08GFLOPS達成!編

 2018-01-05
ブログに書いた気になっていたけど今見たら書いてなかったので書いとく。
 
ブログ1か月放置で広告が出てしまうので、お茶濁し記事。。。
 
以前の記事で書いた通り、14ノード(+管理用1ノード)のOrangePiクラスタ(opiclst-n14)にて16.95GFLOPSの性能を持つことが確認できました。

この計算機クラスタの構成はEther L2 switchで纏められた7ノード単位でノード追加が容易なようになっており、電源も最大28ノード(7node * 4 = 28)まで収容できるだけの容量を持たせてある。 詳細はopiclst-n14を組み立てた時の記事にて。

opiclst-n28の組み立ては動画にも撮ってみたので後で動画一本作ろうかなと思いつつ、ずっと放置芸かましてきたのであまりこのブログには記録が残っていないんだけど、実は自分用のpukiwikiには作業メモとか残ってるので、あとで動画作る予定です(意訳:放置します)。



opiclst-n28


今のところは画像でご紹介。
opiclst-n28_01.jpg opiclst-n28_02.jpg opiclst-n28_03.jpg
opiclst-n28_04.jpg opiclst-n28_05.jpg opiclst-n28_06.jpg
opiclst-n28_07.jpg opiclst-n28_08.jpg opiclst-n28_09.jpg



忙しい人のための結論 opiclst-n28 29.08GFLOPS


下記の条件の時、29.08 GFLOPSの性能が出た。
  • N=49000
  • NB=160
  • BCAST=2
  • reboot直後の実行


29GFLOPSとは


  • TOP500の第1回目である1993年6月のリストによると、23.2GFLOPSのSX-3/44R(NEC)を破って世界第5位の性能である
  • その後1994年11月までは、27.5GFLOPSのS-3800/480(Hitachi)を破りなんとかTOP10入りを維持できる
  • 製作費16万円で1994年代の世界TOP10レベルの計算機を入手可能である

https://www.top500.org/lists/1993/06/

https://www.top500.org/lists/1994/11/





最高スコアを出したパラメータについて


opiclst-n28で29GFLOPSを叩き出したパラメータで主なものを挙げると下記である。
  • N=49000
  • NB=160
  • BCAST=2
  • reboot

上記のパラメータで実行した際の結果は多少ばらつくので何度か実行したが統計的には下記の結果となった。
  • 最大値29.08GFLOPS
  • 平均値28.672GFLOPS
  • 中央値28.58GFLOPS
  • 標準偏差0.2982

ちなみに、rebootせずにHPLを回し続けた場合はスコアが下がり、バラツキも大きくなった。
  • 最大値28.79GFLOPS
  • 平均値28.218GFLOPS
  • 中央値28.29GFLOPS
  • 標準偏差1.6805

以上の結果から、下記のことが言える。
  • rebootしない場合、ばらつきが大きく、全体的にスコアが低下する
  • NBはN^2を割り切れる数にするのが良い(NB=160はN^2=(49000)^2を割り切れる)
  • SWAPを持たない場合はプログラムが異常終了するのでSWAP自体は持っていた方が良い
  • ただしSWAPは極力使用しない方がスコアは良い




colormapで見る試行結果


swap128mb_swappiness0.png

swap1gb_swappiness1.png

swap1gb_swappiness0.png

swap1gb_swappiness0_n49000.png

swap1gb_swappiness0_n49000_reboot.png



Appendix


前節のcolormapで見ていたデータをテキストで記載したものです。

SWAPを殆ど与えない場合 SWAP=128MB, swappiness=0 (27.97GFLOPS)


  • SWAP=128MB
  • swappiness=0
  • MAX score : 27.97GFLOPS (N=48000, NB=256, BCAST=2)

BCAST
NNB012345
48000320n/an/a27.0525.72n/an/a
300n/an/a27.1125.67n/an/a
288n/an/a27.5126.43n/an/a
270n/an/a27.0826.53n/an/a
256n/an/a27.9727.29n/an/a
250n/an/a27.5827.29n/an/a
240n/an/a27.9026.46n/an/a
224n/an/a27.8227.58n/an/a
210n/an/a27.1727.23n/an/a
200n/an/a27.5526.89n/an/a
192n/an/a27.4226.70n/an/a
180n/an/a27.6627.20n/an/a
160n/an/a27.3627.15n/an/a
150n/an/a27.5327.43n/an/a
128n/an/a27.0827.72n/an/a
125n/an/a27.0327.30n/an/a
120n/an/a27.1626.38n/an/a
100n/an/a26.8826.83n/an/a
96n/an/a27.3527.02n/an/a
90n/an/a26.6026.46n/an/a
80n/an/a26.4426.50n/an/a
75n/an/a26.0826.62n/an/a
64n/an/a26.1026.01n/an/a
60n/an/a26.1825.88n/an/a

 
BCAST
NNB012345
49000280failfailfailfailfailfail
25027.02failfailfailfail23.36
20027.41failfailfailfail23.34
14026.9426.9127.7927.3421.69fail
120n/an/a27.5427.48n/an/a
10027.0326.9227.5626.7222.0423.43
90n/an/a27.2827.20n/an/a
7026.6226.4526.8426.7521.6122.67
60n/an/a26.3726.46n/an/a
5025.3425.5325.8325.4221.4122.17
4024.9424.9524.8625.2720.7721.74

 
BCAST
NNB012345
50000120n/an/a27.34failn/an/a
10027.28failfail27.82failfail
90n/an/a27.1826.82n/an/a
8026.8226.8427.4726.82fail23.83
60n/an/a26.81failn/an/a


SWAPを与えた場合 SWAP=1GB, swappiness=1 (27.33GFLOPS)


  • SWAP=1GB
  • swappiness=1
  • MAX score : 27.33GFLOPS (N=50000, NB=120, BCAST=2)

BCAST
NNB012345
4900028025.1924.7925.3325.6621.1222.79
25024.7924.9725.8925.4421.0021.91
20024.2424.2626.5725.2520.9322.48
14025.0425.1425.8825.8020.8522.25
120n/an/an/an/an/an/a
10024.0824.3925.5725.0221.0422.13
90n/an/an/an/an/an/a
70n/an/an/an/an/an/a
60n/an/an/an/an/an/a
50n/an/an/an/an/an/a
40n/an/an/an/an/an/a

 
BCAST
NNB012345
50000120n/an/a27.3326.36n/an/a
10025.6525.8426.5226.7721.8222.97
90n/an/a26.2625.97n/an/a
8024.7825.3426.0126.0621.6622.52
6024.2224.7225.5225.4721.0221.98


SWAPを与えるが可能な限り使用しない設定の場合 SWAP=1GB, swappiness=0 (28.01GFLOPS)


  • SWAP=1GB
  • swappiness=0
  • MAX score : 28.01GFLOPS (N=49000, NB=140, BCAST=2)

BCAST
NNB012345
4900028026.4626.3027.2325.6520.9122.21
25027.1126.2126.8726.5220.6721.97
20027.6426.9027.3026.9721.6023.58
14026.5926.9028.0127.2622.0923.07
120n/an/an/an/an/an/a
10027.0226.5826.9727.0421.9523.30
90n/an/an/an/an/an/a
70n/an/an/an/an/an/a
60n/an/an/an/an/an/a
50n/an/an/an/an/an/a
40n/an/an/an/an/an/a

 
BCAST
NNB012345
50000120n/an/a27.0827.60n/an/a
10027.2427.2327.9127.4722.2923.20
90n/an/a27.1227.74n/an/a
8026.4026.6227.5626.8121.9323.58
6025.6825.1425.5226.4721.6522.88


N=49000, BCAST=2,3でNBを振る (28.22GFLOPS)


  • SWAP=1GB
  • swappiness=0
  • N=49000
  • MAX score : 28.22GFLOPS (N=49000, NB=160, BCAST=2)

BCAST
NNB012345
49000320n/an/a28.1426.16n/an/a
300n/an/a26.9326.20n/an/a
288n/an/a27.1626.40n/an/a
270n/an/a26.3927.13n/an/a
256n/an/a27.5027.32n/an/a
25027.1126.2126.8726.5220.6721.97
240n/an/a25.6526.43n/an/a
224n/an/a27.0527.06n/an/a
210n/an/a28.0527.29n/an/a
20027.6426.9027.3026.9721.6023.58
192n/an/a27.7727.35n/an/a
180n/an/a27.4927.32n/an/a
160n/an/a28.2227.25n/an/a
150n/an/a26.5226.81n/an/a
128n/an/a27.8227.76n/an/a
125n/an/a27.8727.15n/an/a
120n/an/a27.2828.04n/an/a
10027.0226.5826.9727.0421.9523.30
96n/an/a27.9427.06n/an/a
90n/an/a26.8826.98n/an/a
80n/an/a26.6426.81n/an/a
75n/an/a27.3426.73n/an/a
64n/an/a25.3126.12n/an/a
60n/an/a25.5725.98n/an/a


再起動を挟んで試行する (29.08GFLOPS)


  • SWAP=1GB
  • swappiness=0
  • N=49000
  • rebootあり,rebootなし(今までの結果)を比較する
    • rebootありのほうが約2.5%良いスコアが出る
      • rebootあり 28.1651GFLOPS(平均) 28.1677(中央値)
      • rebootなし 27.4309GFLOPS(平均) 27.4700(中央値)
    • rebootありのほうがスコアのばらつきが少ない
      • rebootあり 標準偏差 0.3259(平均)
      • rebootなし 標準偏差 1.1568(平均)

BCAST=2
NNBwithreboot(ave.=28.1651)withoutreboot(ave.=27.4309)
4900032028.3927.7228.0928.0028.2726.6825.6325.8826.2727.24
25628.2927.7027.9826.5727.8827.1427.2827.4126.8527.44
24028.2027.7828.6628.0528.2927.7127.4627.2127.1626.90
22428.2528.6028.4628.8028.3027.5428.2227.9627.5827.77
21028.1628.4428.4028.8028.1026.7727.5327.6427.1427.66
19228.4227.5828.4728.4428.8627.8427.7528.1927.8326.70
18028.3528.7128.3028.0428.7527.6428.0327.7427.9027.66
16028.8829.0828.4028.5828.4228.5528.2928.7928.1427.32
15027.5828.1827.6127.9028.1627.4327.3627.4027.1327.54
14028.3728.3628.3628.4128.4627.6726.8827.6626.6927.45
12827.3427.8928.4328.3827.7127.8028.1326.9727.9028.08
12028.2427.4227.6027.8027.9827.4027.1726.8727.6627.21
9627.6027.8227.4927.8728.3128.0226.7027.2627.2326.96



 
コメント












管理者にだけ表示を許可する
トラックバック
トラックバックURL:
http://wbbwbb.blog83.fc2.com/tb.php/310-4e7df0d8
≪ トップページへこのページの先頭へ  ≫