2020年06月21日

StealthOne D240 <=> N40L nfsして cp,tar, rysnc遅さの比較

ファイルのコピーが遅いので各コマンドでどれくらい遅いか傾向比較

各マシンのduはそれぞれ半分ぐらい。


マシン:N40L raidz2 3TBx6

OS: 5.4.44-1-pve #1 SMP PVE 5.4.44-1 x86_64 GNU/Linux

# dd if=/dev/zero of=/export/z2pool/pub/ztest/500M.dat bs=1M count=500

524288000 bytes (524 MB, 500 MiB) copied, 3.36811 s, 156 MB/s

# dd if=/dev/urandom of=/export/z2pool/pub/ztest/500M.dat bs=1M count=500

524288000 bytes (524 MB, 500 MiB) copied, 8.50437 s, 61.6 MB/s


マシン D240 ext4 2TBx1

OS: 5.4.44-1-pve #1 SMP PVE 5.4.44-1 x86_64 GNU/Linux

GRUB_CMDLINE_LINUX_DEFAULT="libata.force=3.0Gbps"

# dd if=/dev/zero of=/mnt/s2/ztest/500M.dat bs=1M count=500

524288000 bytes (524 MB, 500 MiB) copied, 4.08723 s, 128 MB/s

# dd if=/dev/urandom of=/mnt/s2/ztest/500M.dat bs=1M count=500

524288000 bytes (524 MB, 500 MiB) copied, 13.1411 s, 39.9 MB/s


■N40L が D240 をnfsマウントして、N40L上で 100..600MB(step100M) x 3set = 約5.4GiB を

cp -a N40L:z2pool -> D240:ext4, try#1; real 152.56 = 42.3MB/s (6.6hr/1TB).

cp -a N40L:z2pool -> D240:ext4, try#2; real 154.44 = 41.8MB/s (6.7hr/1TB).

cp -a N40L:z2poolcp -a N40L:z2pool

tar N40L:z2pool -> D240:ext4, try#1; real 165.76 = 38.9MB/s (7.1hr/1TB).

tar N40L:z2pool -> D240:ext4, try#2; real 164.83 = 39.1MB/s (7.1hr/1TB).

tar N40L:z2pooltar N40L:z2pool

# rsync -rth -x --no-inc-recursive -v $srcdir $destdir

rsync N40L:z2pool -> D240:ext4, try#1; 36.81M bytes/sec

rsync N40L:z2pool -> D240:ext4, try#2; 37.23M bytes/sec

rsync N40L:z2poolrsync N40L:z2pool

■D240 が N40L をnfsマウントして、D240上で ... 上記同文

cp -a N40L:z2pool -> D240:ext4, try#1; real 175.11 = 36.8MB/s (7.5hr/1TB).

cp -a N40L:z2pool -> D240:ext4, try#2; real 173.77 = 37.1MB/s (7.5hr/1TB).

cp -a N40L:z2poolcp -a N40L:z2pool

tar N40L:z2pool -> D240:ext4, try#1; real 248.18 = 26.0MB/s (10.7hr/1TB).

tar N40L:z2pool -> D240:ext4, try#2; real 238.43 = 27.1MB/s (10.3hr/1TB).

tar N40L:z2pooltar N40L:z2pool

# rsync -rth -x --no-inc-recursive -v $srcdir $destdir

rsync N40L:z2pool -> D240:ext4, try#1; 20.43M bytes/sec

rsync N40L:z2pool -> D240:ext4, try#2; (遅すぎ省略

rsync N40L:z2poolrsync N40L:z2pool

まとめ:

・転送の数値はどちら方向でも rysnc < tar < cp となり、なぜかcpが速い

・遅いマシン側(今回はD240)でファイル操作すると遅くなる。

・遅いマシン側が Read する方なら速い(あたりまえか)。


~~~番外~~~
SATA Link 3Gbps 固定
vim /etc/default/grub
GRUB_CMDLINE_LINUX_DEFAULT="libata.force=3.0Gbps quiet"


posted by みんとに at 21:24| Comment(0) | 日記

2020年06月08日

ds218play と N40L とで rsync が遅いので、tar と netcat でバックアップしてみる。

ds218play と N40L rsync が遅い...
N40L zfs -> rsync(ssh?) -> ds218play\volume1 ext4


■ds218play単体で書き込み試験
root@ds218p:~# dd if=/dev/zero of=/volume1/pub1/tmp/500mb.dat bs=1M count=500
500+0 records in
500+0 records out
524288000 bytes (524 MB) copied, 2.56254 s, 205 MB/s

■rsync 3.1.3 & DSのsshレベル設定
# rsync -rth -x --no-inc-recursive --info=progress2 /export/bkplz1/hogehoge toor@192.168.11.77:/volume1/pub1/tmp

[低]
7.58G 100% 52.28MB/s 0:02:18 (xfr#28, to-chk=0/29)
[中]
7.58G 100% 52.47MB/s 0:02:17 (xfr#28, to-chk=0/29)
→どっちも遅い
[arcfour256のみ]
Unable to negotiate with 192.168.11.77 port 22: no matching cipher found. Their offer: arcfour256 ログインできない

■rsync 3.1.3 & rsh
dsに rsh 入ってません。パッケージもありません。自宅内でssh暗号化要りません、、、


■nfs してコピー

1. rw=8k
# mount -t nfs 192.168.11.77:/volume1/pub1 /mnt/ds218p-vol1/
# time cp -r src/dir /mnt/ds218p-vol1/
→ 7.1G/1m41.764s = 70MB/s

2.rw=16k
# mount -t nfs -o rsize=16384,wsize=16384 192.168.11.77:/volume1/pub1 /mnt/ds218p-vol1
# time cp -r src/dir /mnt/ds218p-vol1/
→ 7.1G/1m40.715s = 70MB/s


■ nfs (8k) してtar

# time tar cf - ./hogehoge | pv | ( cd /mnt/ds218p-vol1/tmp ; tar xf -)
7.06GiB 0:01:50 [65.2MiB/s] [ <=> ]
real 1m53.040s
→ 7.1G/1m53.040s = 63MB/s


■ tar w/ mbuffer+netcat

ds218p revc側
# netcat -w 60 -l -p9999 | (cd /volume1/pub1/tmp/; tar xf -)

N40Lsender側(128K)
# tar cf - ./hogehoge | pv | mbuffer -O 192.168.11.77:9999 -s 128k -m 500m

summary: 7231 MiByte in 1min 16.8sec - average of 94.2 MiB/s
-> almost 1Gbps wire speed

N40Lsender側(256K)
# tar cf - ./hogehoge | pv | mbuffer -O 192.168.11.77:9999 -s 256k -m 500m
summary: 7231 MiByte in 1min 13.5sec - average of 98.4 MiB/s

これなら許せる。
nfs mountしなくていい(し忘れたら復旧面倒)が、sender側recv側でソケット作って1発勝負のコピー方法です。
ツールで同期しづらい、口開けて待ってたところに変なパケット入ってきたら??!なのです。


■ベリファイ問題
1つのファイルが大きいときは rsync でc オプションつけたらもう大変。
tar+mbufferでコピー後、先頭2Mとか切り出してmd5sumをとって比較すれば早い。


参考:
https://blog.yucas.mx/2017/01/04/fast-zfs-send-with-netcat/
posted by みんとに at 00:47| Comment(0) | 日記

Synology DS218play で less とか netcat とか 備忘録

less とか入ってないし、perl もSynoのパッケージセンターからダウンロードしたんじゃ、周辺LIBがないので困っていた。
Entwareという充実したパッケージ群があるパッケージ管理システムを入れることに。
備忘録

1)パッケージ入れる箱つくり
root@ds218p:/volume1# mkdir -p /volume1/@entware/opt
root@ds218p:/volume1# ln -sf /volume1/@entware-ng/opt /opt
米 -o bind は再起マウントになってアンマウント忘れとかリカバリがめんどうなので俺は使わない。
米 @つける必要があるのか不明。そもそもds上での@の意味が不明。

2)アーキテクチャを調べてそれようのパッケージャーをダウンロード
root@ds218p:/volume1# uname -a
Linux ds218p 4.4.59+ #25426 SMP Tue May 12 04:40:54 CST 2020 aarch64 GNU/Linux synology_rtd1296_ds218play

http://bin.entware.net/ に行き、DIRをみると、aarch64 があるので、それを入れる。

root@ds218p:/volume1# wget -O - http://bin.entware.net/aarch64-k3.10/installer/generic.sh | /bin/sh
--2020-06-07 22:21:24-- http://bin.entware.net/aarch64-k3.10/installer/generic.sh
Resolving bin.entware.net... 104.27.177.50, 104.27.176.50, 172.67.212.134
Connecting to bin.entware.net|104.27.177.50|:80... connected.
HTTP request sent, awaiting response...
...

Configuring entware-opt.
Info: Congratulations!
Info: If there are no errors above then Entware was successfully initialized.
Info: Add /opt/bin & /opt/sbin to your PATH variable
Info: Add '/opt/etc/init.d/rc.unslung start' to startup script for Entware services to start
Info: Found a Bug? Please report at https://github.com/Entware/Entware/issues

3)reboot proof対策
/usr/local/etc/rc.d/entware-startup.shを以下内容で新規作成し、chmod 755 する

#!/bin/sh
case in
start)
#mkdir -p /opt
#mount -o bind /volume1/@Entware/opt /opt
/opt/etc/init.d/rc.unslung start
/usr/syno/bin/synologset1 sys info 0x88800001
;;
stop)
;;
esac


/usr/syno/synosdk/texts/enu/events に以下追加

[88800000]
88800001 = "entware sh run."


/opt/etc/profile に以下追加

. /opt/etc/profile


4)リブート
ログセンターに entware sh run. の表示があることを確認
okg update が走ることを確認

とりあえず、lessとnetcatをいれておこう。
# opkg install less netcat
.....

参考:
http://www.giuseppeparrello.it/en/net_nas_synology_install_entware.php
https://keestalkstech.com/2018/03/install-nano-with-entware-on-synology-nas-dsm6/
https://www.synology-wiki.de/index.php/Mount_Bind/scriptv2
https://www.synology-wiki.de/index.php/Mount_Bind
posted by みんとに at 00:03| Comment(0) | 日記

2020年06月05日

Synology DS218play で共有ディレクトリをぶっ壊したときに、confとdbの初期化

root@ds218p:~# cd /usr/syno/etc
root@ds218p:/usr/syno/etc# rm share_right.map smb.conf synoshare.db usbno_guid.map usbdev.conf volume.conf
root@ds218p:/usr/syno/etc/synoshare.bak# rm synoshare.db.*

ref->https://itcafe.hu/tema/synology_routerek/hsz_1853-1853.html

/usr/syno/sbin/synoshare --add pub1 "shareComment" /volume1/ our_group "" "" 1 0
➝Error: share create failed.[0x2000 file_get_key_value.c:81]

/usr/syno/sbin/synoshare --add pub1 "shareComment" /volume1/pub1 our_group "" "" 1 0
➝OK

https://www.synology-wiki.de/index.php/Nicht_unterst%C3%BCtzte_Konfigurations%C3%A4nderungen



「ホームディレクトリ/ var / services / homes / xxxxxにchdirできませんでした:そのようなファイルまたはディレクトリはありません」と表示される
ホームサービスを有効にします(コントロールパネル-> [ユーザー]-> [詳細設定]-> [ユーザーホームサービスを有効にする])
posted by みんとに at 16:59| Comment(0) | 日記

2020年05月30日

NAS(openmediavult5)上の10TBデータのバックアップ


バックアップ対象は OMV5-master: 10TB
- Active: 約8TB
- Archive行きになりそうなもの 約2TB
(Microserver N40L, RaidZ2:3TBx6, Area uPD720202 2xUSB3.0 I/F card)

バックアップ先は、
1)Active
 -> 外付けNTFSのUSB HDDへバックアップ (6TB, 3TB)
 -> 週に1回バッチジョブ
 -> バックアップ先がNTFSであれば、ファイル名長エラーも出ないし、Master障害復旧中でもデータがWinから直接読める。

2)Archive
いったん OMV5-slave: 10TB (Microserver N40L, RaidZ1: 3TBx4, /w LTO5 ) にコピー
年に数回 LTO5 にバックアップ

3) OMV5-masterの機器自体が故障した時
  OMV5-slave サーバのストレージ構成を変更し、新OMV5-Masterとして、USBHDDから書き戻し


■ Microserver に USB3.0 I/F カードを増設して NTFS などへバックアップコピーする際の注意事項
1) mount の際に big_writes をつけること
 # mount -o big_writes /dev/sdf1 /mnt/WD60EZRZ-s1/
これをつけないと NTFSボリュームへの書き込み速度が半分以下になり、とても遅い。
 big_writes無し: 10~25MB/s, big_writes有り: 70MB/s以上 (自環境)

2) rsync 転送元DIR に/ をつけておくこと

3) rsync オプション
 NTFSへのバックアップなので
 # rsync -rth -x --no-inc-recursive --info=progress2 /zpl/active /mnt/ntfs/
とする
 recursive algorithm はsync中にDir構造を把握していく。--no-inc-recursive は、それをOFFにして最初にDir構造を最初に把握させコピーの全容を知っておきたい。

rsync参考URL
https://www.tomoyan.net/linux/rsync
http://webos-goodies.jp/archives/51213844.html
http://x68000.q-e-d.net/~68user/unix/pickup?rsync

4) WOL
1) Enable WOL function in system BIOS.
2) Enable WOL function in OMV.
Open menu System > Network.
Select tab Interfaces.
Select interface from list.
Click Edit button. The window Edit physical interface is displayed.
Check the box Wake-on_LAN.
Confirm changes and close window by pressing the OK button.
3) 確認
    # ethtool enp2s0
Supports Wake-on: g
Wake-on: g
5) 電源OFF後
    ether-wake A0:B3:CC:...:FF
    wakeonlan  E9:5D:20:...:FF
Wake On LAN (Win10 App)
posted by みんとに at 08:20| Comment(0) | 日記

2019年10月19日

茅野近辺ローコスト

ひかり家について

ロビンスジャパン株式会社

papamaru

H+L House




posted by みんとに at 01:51| Comment(0) | 物件やリフォーム関連

2019年09月21日

スキー拠点 コンパクトハウス


100万

123万

ベストログ研究所 リルー 55万円

株式会社グリーンベル スタッコ10



住居用ワンルームユニットハウス
バストイレ標準装備

PACO STYLE

シンセイハウス ミニハウス

トレーラーハウス パークホームズ

トーエイ

東京ハウジング

Web housing (アイフルホームxLIXIL)


根岸木材[プライス500住宅] ⇒ もうやってないか



楽ちん住宅R-01



ARNEST ONE Cradle Palet



山根木材のちいさな家 ⇒ 広島市のみ




posted by みんとに at 02:25| Comment(0) | 物件やリフォーム関連