よく使うトラブルシューティング コマンド実行例 まとめ
hayashierファイル
- ファイル名検索
$ find ./ -name hoge
- 任意のファイルから特定文字列を検索
$ grep -r hoge ./
- ファイルサイズが大きい順に表示
$ du -sh * | sort -h -r
- 1秒おきにコマンド継続実行
$ while true; do sleep 1; echo hello; done
- ディスク使用量確認
$ sudo ionice -c 2 -n 7 nice -n 19 du -scm /* | sort -rn
- パーティション毎のディスク使用量確認
$ df -Th
- メモリ使用量
$ free -m
- Swapサイズ
$ swapon -s
/proc/
- CPU情報、コア数など
$ less /proc/cpuinfo
- メモリ使用内訳
$ less /proc/meminfo
- OS内で動作するすべてのプロセスにおけるinotify watch数を把握
$ ls -l /proc/*/fd/ | grep inotify | wc -l
プロセス
- プロセス数を確認
$ ps auxww
- 使ってるファイルのプロセスを調べる
$ lsof -p PID番号
- /bin/shで動いてるプロセスを全て停止する
$ pkill -f /bin/sh
$ ps auxww | grep /bin/sh | awk '{print $2}' | xargs kill
バージョン
- OSバージョン
$ cat /etc/redhat-release
- kernelバージョンを調べる
$ uname -a
- パッケージの確認
$ rpm -qa
- プロセスが掴んでいるファイル一覧
$ sudo ls -l /proc/2676/fd
- プロセス内のスレッドの数
$ ps aux -L
- 稼動しているプロセスを検索
$ pgrep -l syslog
- プロセスの親子関係
$ pstree
ls系
- PCI バスとそこにつながっているデバイス
$ lspci
- CPUの情報
$ lscpu
- ブロックデバイスのリスト
$ lsblk
- ロードされているカーネルモジュール
$ lsmod
dmidecode
- システムの情報、型番等
$ dmidecode -t system
- BIOS の情報
$ dmidecode -t bios
- CPU の情報
$ dmidecode -t processor
- メモリの情報
$ dmidecode -t memory
auditd
/etc/audit/rules.d/audit.rules ファイルの末尾に、以下の行を追加しOSを再起動
-a entry,always -F arch=b64 -S kill -k MyKillTrace
以後、/var/log/audit/audit.log に kill システムコールを呼び出したプロセスの情報が記録される。 以下のようにコマンドで対象のプロセスが発行したkillシステムコールをログに出力。
# strace -fttvo ログファイル名 -s 1000 -e kill -p プロセスID
ネットワーク
General
- CPU使用率
$ vmstat 5
$ sar -p 5
- 特定のユーザーが使用しているCPU使用率
$ top -u oracle
- CPU使用率 Top15
$ top -H -b -n1 | head -15
- ディスクI/O使用率
$ vmstat -d
接続性
- traceroute
$ sudo traceroute -T -p 443 192.168.0.1
- Nping
$ sudo nping 192.168.0.1 --tcp -p 443 -c 30
- MTR
$ mtr --report -c 100 --no-dns github.com
コマンド毎
netstat
- TCPの接続状態確認
$ netstat -lanpt
- LISTEN/ESTABLISHEDの状態(Openな接続)確認
$ netstat -an
- ネットワークに正常にパケットが送受信できているか
$ netstat -i
- 接続元のユニークなIP IPv4
$ netstat -nA inet | awk '/^[ut]/{split($5,a,:);print a[1]}'|sort |uniq -c |sort -n > ip-2.txt
IPv6
$ netstat -nA inet6 | awk '{print $5}' | sed s/::ffff:// | cut -d: -f1 | sort | uniq -c | sort -n > ip6-2.txt
ss
- オープンな接続数の調査
$ ss -a | wc -l
- TCPのみフィルタリング
$ ss -t | wc -l
- TCPの状態でフィルタリング
$ ss state time-wait | wc -l
curl
- ヘッダーだけ表示
$ curl -v -s www.google.com > /dev/null
$ curl -v -so /dev/null www.google.com
- ヘッダー指定
$ curl -v -s -H Host: www.google.com clb.test.hayashier.com > /dev/null
- 時間測定
$ curl -s -o /dev/null -w %{time_total} http://www.google.com
- 詳細時間表示
$ curl -w %{remote_ip} time_namelookup: %{time_namelookup} tcp: %{time_connect} ssl:%{time_appconnect} start_transfer:%{time_starttransfer} total:%{time_total}\n -sk -o /dev/null http://www.google.com
- POSTメソッド
$ curl --request POST 'http://www.google.com' --data hoge=fuga
動画ファイルのPOST
$ curl -v -F video=@Downloads/test.mp4 -X POST http://test.hayashier.com
- Cookie 送信
$ curl -v --cookie HOGE=FUGA http://clb.test.hayashier.com
- ラウンドロビンDNSの調査
$ curl -IsSv <FQDN> 2>&1 | grep Trying
- レスポンスコード調査し続ける
$ IsError=false; while [ $IsError != true ]; do curl -I -k <URL> 2>&1 | tee error.out | grep HTTP/1.1 ; done;
スリープ付き
$ IsError=false; while [ $IsError != true ]; do sleep .5; (time curl -I -k <URL>) 2>&1; done;
- 連続でリクエスト送信時のステータスコードと処理時間
$ while true; do curl -s -o /dev/null -w HTTPCode=%{http_code} TotalTime=%{time_total}\n http://www.google.com; done
- 5秒おきにリクエスト送信時のヘッダー情報
$ while true; do curl -I -L http://www.google.com/; sleep 5; done
- HTTP/2でテスト
$ curl --http2 -I https://twitter.com
- スクリプトと合わせてテスト
$ curl -v -H 'TEST: '$(perl -e 'print 0x16376') http://test.hayashier.com
- 表示項目 カスタマイズ 以下の内容を curl-format.txt として保存。
\n
Timing:\n
DNS Resolution Time: %{time_namelookup}\n
TCP Handshake: %{time_connect}\n
SSL Handshake: %{time_appconnect}\n
time_pretransfer: %{time_pretransfer}\n
time_redirect: %{time_redirect}\n
time_starttransfer: %{time_starttransfer}\n
---------------------------------------------\n
Total Time spent: %{time_total}\n
\n
HTTP Details:\n
HTTP Status Code: %{http_code}\n
Request Size: %{size_request}\n
\n
$ curl -w '@curl-format.txt' -L https://google.com -so /dev/null
Timing:
DNS Resolution Time: 0.030453
TCP Handshake: 0.044017
SSL Handshake: 0.087345
time_pretransfer: 0.087440
time_redirect: 1.848814
time_starttransfer: 0.331126
---------------------------------------------
Total Time spent: 3.383122
HTTP Details:
HTTP Status Code: 200
Request Size: 152
- ネームサーバ 接続テスト
$ while true; do curl --connect-timeout 5 -o /dev/null -Ssk -H Host: api.github.com https://192.30.255.116/ && echo ok; sleep 1; done
dig
- ELBノード毎のレスポンスのHTTPステータス
$ dig +short +noall +answer alb.test.hayashier.com | xargs -L 1 curl -vG 2>&1 >/dev/null | awk '/^(< HTTP|> Host)/ { print $3 }'
- ネームサーバ IP 列挙
$ for j in `dig +short ns github.com.`; do dig @$j +short api.github.com.; done
OpenSSL
- 接続テスト
$ openssl s_client -connect clb.test.hayashier.com:443
GET / HTTP/1.1
- 証明書詳細
$ openssl s_client -showcerts -connect <host>:<port> < /dev/null
- 暗号スイート指定
$ openssl s_client -cipher 'ECDHE-ECDSA-AES256-SHA' -connect clb.test.hayashier.com:443
Netcat
- クライアント/サーバ間通信
$ nc -v -l -k 1234
Connection from 127.0.0.1 port 1234 [tcp/search-agent] accepted
Hi
World
Connection from 127.0.0.1 port 1234 [tcp/search-agent] accepted
GET / HTTP/1.1
Host: localhost:1234
User-Agent: curl/7.51.0
Accept: */*
Connection from 127.0.0.1 port 1234 [tcp/search-agent] accepted
POST / HTTP/1.1
Host: localhost:1234
User-Agent: curl/7.51.0
Accept: */*
Content-Length: 9
Content-Type: application/x-www-form-urlencoded
hoge=fuga
$ nc localhost 1234 -v
Connection to localhost 1234 port [tcp/search-agent] succeeded!
Hi
World
- 接続状態監視
$ while true ; do echo -n $(date): ; nc -vz api.github.com 443; sleep 2; done
- 時刻変換
$ date --date='@1527718243'
Thu May 31 07:10:43 JST 2018
負荷テスト
$ h2load -n 10000 -c 10 -m 10 -v -p h2c https://test.hayashier.com
$ ab -n 10000 -c 10 -k https://test.hayashier.com
- sysbench インストール
$ curl -s https://packagecloud.io/install/repositories/akopytov/sysbench/script.rpm.sh | sudo bash
$ sudo yum -y install sysbench
実行方法
$ sysbench --test=cpu run
パケットキャプチャ
- 取得
$ sudo tcpdump -w sample.pcap
- フィルター例
sample.pcapというpcapファイルを読み込み(-rオプション)、DNSに変換せずに(-nオプション)、srcかdstのホストIPがxxx.xxx.xxx.xxxかつTCPポート80番
$ tcpdump -r sample.pcap host xxx.xxx.xxx.xxx and tcp port 80 -n
sample.pcapというpcapファイルを読み込み(-rオプション)、DNSに変換せずに(-nオプション)、srcのホストIPがxxx.xxx.xxx.xxxかつdstのホストIPがyyy.yyy.yyy.yyyかつTCPポート80番
$ tcpdump -r sample.pcap ip dst xxx.xxx.xxx.xxx and ip src yyy.yyy.yyy.yyy and tcp port 80 -n
Wireshark
- フィルター例
http.request and http contains Root=1-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx # ALBにおけるアクセスログとキャプチャの関連付け
http.response.code == 502
tcp.flags.reset == 1
ip.addr == 10.0.0.1 && tcp.flags.fin
ip.src == 10.0.0.1 or ip.src == 10.0.0.2
ip.dst == 10.0.0.1
eth.src [0:3] == 00:00:83
tcp.port in {443, 80, 8080}
- フィルター詳細 https://www.wireshark.org/docs/dfref/
カーネルソースコード入手
# yumdownloader --source kernel
Loaded plugins: auto-update-debuginfo, priorities, update-motd, upgrade-helper
Enabling ius-source repository
Enabling amzn-updates-source repository
Enabling amzn-main-source repository
31 packages excluded due to repository priority protections
kernel-4.9.93-41.60.amzn1.src.rpm | 136 MB 00:00:03
# rpm2cpio kernel-4.9.93-41.60.amzn1.src.rpm | cpio -id
1363606 blocks
# tar -xf linux-4.9.93.tar
# ls linux-4.9.93/
arch certs CREDITS Documentation firmware include ipc Kconfig lib Makefile net REPORTING-BUGS scripts sound usr
block COPYING crypto drivers fs init Kbuild kernel MAINTAINERS mm README samples security tools virt
screen
Ctrl+a c : ウィンドウ新規作成
Ctrl+a : ウィンドウ一覧
Ctrl+a num : ウィンドウ切り替え
Ctrl+a Ctrl+a : ウィンドウ間の行き回
Ctrl+a S : 画面垂直分割(リージョン分割)
Ctrl+a tab : リージョン切り替え
Ctrl+a x : リージョン削除
作業終了時 : exit
作業中断時 : Ctrl+a, Ctrl+d
作業再開時 : screen -r [Session ID]
指定した名前でセッション新規作成 : screen -S [Session ID]
セッション一覧 : screen -ls
セッション終了 : screen -XS <Session ID> kill
Copy & Paste : Ctrl + [ , Ctrl + ]
VSCode
マークダウン表示
- Command + k -> v
- 画面分割して表示
- Command + Shift -> v
- 別タブで表示
その他
Unix時間を変換
$ date -ud '@1589500800'
2020年 5月 15日 金曜日 00:00:00 UTC
MacOSでは以下
$ date -ur 1589500800
2020年 5月15日 金曜日 00時00分00秒 UTC
10進数へ変換
2進数
$ echo $((2#101))
16進数
$ echo $((16#afaf))
ALBで502生成
$ sudo iptables -A INPUT -s 192.168.0.10 -p tcp --dport 80 -j REJECT --reject-with tcp-reset
参考資料
- https://qiita.com/sion_cojp/items/04a2aa76a1021fe77079
- https://qiita.com/taiyop/items/bfeeb41259cb0d083d88#_reference-dfefbef0995e80f8203e
- https://qiita.com/ngyuki/items/0edecb8b92fcf189ac2b
- http://saosao-0706.hatenablog.com/entry/2016/04/21/101656
- https://qiita.com/rsooo/items/42f0902d42bab6ecf175
- https://qiita.com/tksnino/items/300e39279ca57d9515f2#_reference-f0f5976f3c0d65c5026c
- https://qiita.com/hiro-d/items/c3f724cb3d377e21cd91
- https://linuxize.com/post/how-to-use-linux-screen/
- https://qiita.com/hnishi/items/3190f2901f88e2594a5f
- https://unix.stackexchange.com/questions/26685/how-to-split-window-vertically-in-gnu-screen
- https://support.apple.com/ja-jp/guide/terminal/trmlshtcts/mac
Linux コマンド例 まとめ
- apt-cache
- apt-chrom
- apt-get
- arp
- chkconfig
- createuser
- crontab
- df
- dig
- dmesg
- dmidecode
- dpkg
- expect
- fdisk
- fio
- firewall-cmd
- firewalld
- free
- fsck
- gcc
- gdb
- grep
- hdparm
- host
- ifconfig
- insmod
- iostat
- iotop
- ip
- iptables
- journalctl
- kill
- limit
- lshw
- lsmod
- lspci
- lsusb
- lspci
- lsusb
- ltrace
- lvcreate
- lvextend
- lvreduce
- mkfs
- mkswap
- modprobe
- mount
- mtr
- netstat
- nmtui
- nslookup
- ntpq
- ntpdate
- parted
- pidof
- ping
- postfix
- postqueue
- postsuper
- pstree
- resize2fs
- rmmod
- route
- rsync
- sar
- screen
- script
- service
- smartctl
- snmpwalk
- ss
- strace
- swapon
- sysctl
- systemctl
- tail
- tcpdump
- top
- traceroute
- ulimit
- uptime
- vgcreate
- vgrename
- vgextend
- w
- watch
- yum
参照
- コマンドで覚えるLinux 単行本 – 2016/10/12 一戸 英男 (著)
- https://www.amazon.co.jp/dp/4802610327
