[Redash]突然Internal Server Errorが発生

発生したこと

いつも利用しているRedash(Sassじゃない方)で接続したら、画面が表示されなかった。
シークレットウィンドウで接続するとInternal Server Errorと表示された。

結果

サーバーのディスク容量不足

対応方法

sshで接続して、下記のコマンドを実行

dpkg -l 'linux-' | sed '/^ii/!d;/'"$(uname -r | sed "s/(.)-([^0-9]+)/\1/")"'/d;s/^[^ ]* [^ ]* ([^ ])./\1/;/[0-9]/!d' | xargs sudo apt-get -y purge

構成

サーバー：EC2
インスタンスタイプ：t2.small
Redashバージョンなどはよく覚えてないが、2019/2/19時点で最新のバージョンだったと思う。

状況

色々調査をしている中で、何か操作をしようとすると、coudn’t create ~ というメッセージが表示されていた。AWS Cloud9でこんなようなメッセージが出たときはディスク容量不足になっていたと記憶していたので、確認してみた。

接続時のログ

 Usage of /:   99.8% of 7.69G

ディスク容量の確認

$ df -h
Filesystem      Size  Used Avail Use% Mounted on
udev            985M     0  985M   0% /dev
tmpfs           200M   21M  179M  11% /run
/dev/xvda1      7.7G  7.7G     0 100% /
tmpfs           996M     0  996M   0% /dev/shm
tmpfs           5.0M     0  5.0M   0% /run/lock
tmpfs           996M     0  996M   0% /sys/fs/cgroup
/dev/loop1       18M   18M     0 100% /snap/amazon-ssm-agent/1455
/dev/loop0       90M   90M     0 100% /snap/core/8268
/dev/loop2       18M   18M     0 100% /snap/amazon-ssm-agent/1480
/dev/loop3       90M   90M     0 100% /snap/core/8213
tmpfs           200M     0  200M   0% /run/user/1000

$ df -h /boot
Filesystem      Size  Used Avail Use% Mounted on
/dev/xvda1      7.7G  7.7G     0 100% /

$ du -sh /usr/*
264M	/usr/bin
4.0K	/usr/games
264K	/usr/include
300M	/usr/lib
12M	/usr/local
13M	/usr/sbin
188M	/usr/share
2.1G	/usr/src

/usr/src$ ls
linux-aws-headers-4.15.0-1021  linux-aws-headers-4.15.0-1047
linux-aws-headers-4.15.0-1032  linux-aws-headers-4.15.0-1048
linux-aws-headers-4.15.0-1033  linux-aws-headers-4.15.0-1050
linux-aws-headers-4.15.0-1034  linux-aws-headers-4.15.0-1051
linux-aws-headers-4.15.0-1035  linux-aws-headers-4.15.0-1052
linux-aws-headers-4.15.0-1039  linux-aws-headers-4.15.0-1054
linux-aws-headers-4.15.0-1040  linux-aws-headers-4.15.0-1056
linux-aws-headers-4.15.0-1041  linux-headers-4.15.0-1021-aws
linux-aws-headers-4.15.0-1043  linux-headers-4.15.0-1035-aws
linux-aws-headers-4.15.0-1044  linux-headers-4.15.0-1054-aws
linux-aws-headers-4.15.0-1045  linux-headers-4.15.0-1056-aws

このlinux-aws-header*というファイルを削除すれば、空き容量を確保できそうなので試した。

下記を参考に apt-get autoremove を実行したが、容量が本当にないためか削除できなかった。

https://ola.kironono.com/entry/2017/01/17/220000

dbkgというキーワードをもとに別の削除方法を模索していたところ、下記のサイトにたどり着きトライしたところ上手くできた。

https://qiita.com/inohiro/items/5d358c30eb7bacb37c7c