• 欢迎访问爱玩吧
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏爱玩吧

[阿里云]阿里云经常无故IO飙升然后不得不重启

建站资源 aiwanyule 8年前 (2016-08-13) 已收录

阿里云:阿里云经常无故IO飙升然后不得不重启

阿里云买的服务器, 东北节点 1G 内存, 40G 盘

最近事故出现频繁, 看起来就是网站挂了, ssh 不上去, 然后超时 服务 80 和 8080 都有, 都是 pending 很久然后超时

提交工单, 客服说 io 高, 丢我一个连接让我自己折腾 麻蛋, 我连服务器都上不去, 管理终端也连不上去, 给我一个帖子能怎么解决问题,

重启后改善, 但是上面只有 mysql , docker, tomcat, 平时硬盘 io 也是 10M/s 级别, 假死时, cpu load 也才 0.2 左右,

用 iotop 监控, 发现假死时最后的监控, 前三有两个都是阿里自己的服务!

Actual DISK READ: 203.99 M/s 

| Actual DISK WRITE: 87.95 K/s 

│ TID PRIO USER DISK READ DISK WRITE SWAPIN IO> COMMAND 

│ 2185 be/4 root 12.80 M/s 0.00 B/s 0.00 % 99.99 % python /usr/sbin/iotop 

│ 1498 be/4 root 13.35 M/s 0.00 B/s 0.00 % 99.99 % AliHids [Thread (pooled)] 

│ 1439 be/4 root 8.06 M/s 0.00 B/s 0.00 % 99.99 % AliHids [QThread] 

│ 4572 be/4 www-data 8.33 M/s 0.00 B/s 0.00 % 99.99 % apache2 -DFOREGROUND 

│ 4514 be/4 www-data 10.39 M/s 0.00 B/s 0.00 % 99.99 % apache2 -DFOREGROUND 

│ 4624 be/4 mysql 7.14 M/s 0.00 B/s 0.00 % 99.99 % mysqld 

│ 1400 be/4 root 9.99 M/s 0.00 B/s 0.00 % 99.99 % AliHids 

│ 4615 be/4 mysql 13.70 M/s 0.00 B/s 0.00 % 99.99 % mysqld 

│ 4621 be/4 www-data 7.53 M/s 0.00 B/s 0.00 % 99.99 % apache2 -DFOREGROUND 

│ 2366 be/4 dix 2.09 M/s 0.00 B/s 0.00 % 99.99 % java -Djava.util.lo~rtup.Bootstrap start 

│ 2105 be/4 dix 10.59 M/s 0.00 B/s 0.00 % 99.99 % tmux new -s di 

│ 2357 be/4 dix 1222.61 K/s 0.00 B/s 0.00 % 99.99 % java -Djava.util.lo~rtup.Bootstrap start 

│ 1142 be/4 root 3.10 M/s 0.00 B/s 0.00 % 99.99 % docker -d 

│ 1307 be/4 root 7.65 M/s 0.00 B/s 0.00 % 99.99 % AliYunDunUpdate 

│ 2767 be/4 dix 1099.74 K/s 1262.48 B/s 0.00 % 99.99 % java -Djava.util.lo~rtup.Bootstrap start 

│ 1347 be/4 root 5.19 M/s 0.00 B/s 0.00 % 99.99 % AliYunDun 

│ 707 be/4 root 1201.24 K/s 0.00 B/s 0.00 % 99.99 % docker -d 

│ 947 be/4 mysql 4.69 M/s 0.00 B/s 0.00 % 99.99 % mysqld 

│ 4598 be/4 mysql 1997.28 K/s 0.00 B/s 0.00 % 99.99 % mysqld 

│ 2945 be/4 mysql 2.03 M/s 0.00 B/s 0.00 % 99.99 % mysqld 

│ 1966 be/4 ntp 6.41 M/s 0.00 B/s 0.00 % 99.99 % ntpd -p /var/run/ntpd.pid -g -u 103:109 

│ 2359 be/4 dix 364.52 K/s 36.16 K/s 0.00 % 99.99 % java -Djava.util.lo~rtup.Bootstrap start 

│ 2479 be/4 dix 198.08 K/s 0.00 B/s 0.00 % 99.99 % java -Djava.util.lo~rtup.Bootstrap start 

│ 3385 be/4 mysql 3.82 M/s 0.00 B/s 0.00 % 99.99 % mysqld 

│ 3591 be/4 mysql 1488.51 K/s 0.00 B/s 0.00 % 99.99 % mysqld 

│ 1495 be/4 root 3.20 M/s 0.00 B/s 0.00 % 99.99 % AliHids [Thread (pooled)] 

│ 2106 be/4 dix 4.36 M/s 0.00 B/s 0.00 % 99.99 % -zsh 

│ 945 be/4 mysql 2.92 M/s 0.00 B/s 0.00 % 87.46 % mysqld 

│ 4432 be/4 root 4.12 M/s 0.00 B/s 0.00 % 84.23 % apache2 -DFOREGROUND 

│ 2352 be/4 dix 771.79 K/s 841.65 B/s 0.00 % 83.91 % java -Djava.util.lo~rtup.Bootstrap start 

│ 4614 be/4 mysql 1191.38 K/s 0.00 B/s 0.00 % 75.89 % mysqld 

│ 4560 be/4 mysql 1310.15 K/s 0.00 B/s 0.00 % 75.77 % mysqld 

│ 949 be/4 mysql 1904.40 K/s 0.00 B/s 0.00 % 64.58 % mysqld 

│ 4570 be/4 mysql 1189.74 K/s 0.00 B/s 0.00 % 58.15 % mysqld 

│ 4588 be/4 mysql 1231.24 K/s 0.00 B/s 0.00 % 57.72 % mysqld 

│ 3622 be/4 dix 2.24 M/s 0.00 B/s 0.00 % 56.63 % sshd: dix@pts/2 

│ 925 be/4 mysql 62.06 K/s 0.00 B/s 0.00 % 51.01 % mysqld

求是否有同样情况的朋友?

阿里云是不是也是虚高的配置?然后各种复用, 将负载大的用户 压到众多普通用户服务器上?

下面是网友回答的问题:

MiguelValentine   21 小时 35 分钟前

我之前也遇到,两次。
    3

LuoDiNate   21 小时 29 分钟前

@MiguelValentine 有解决办法么?
    4

MiguelValentine   21 小时 28 分钟前

@LuoDiNate - -!怼过工单,跟你一样的情况。一口咬定我这的问题。。
    5

LuoDiNate   21 小时 17 分钟前

@MiguelValentine 同一个 docker 镜像, 在配置更低的 aws 上跑了半年没出过一次问题, 我 docker 导出的 zip 包来过了, 一周宕机 4/5 次, 气死我了
    6

kozora   21 小时 15 分钟前

阿里个位数的 IO 我也是怕了
    7

scys   20 小时 56 分钟前

阿里云跑任何 IO 都要小心: D
    8

niudaye   20 小时 56 分钟前

我的也是这样,刚开始一周挂四五次,现在就是重启后也打不开了。
    9

hgzz   20 小时 18 分钟前

我也遇到过很多次,后来还是把自己程序优化了一下,后面就再也没出现过了
    10

SourceMan   20 小时 2 分钟前

我也是, 2 月份一次, 6 月份一次,全部站点挂掉 
查询原因是 IO 突然跑满,机器假死,只能控制台“硬重启”
    11

qcloud   19 小时 56 分钟前

@SourceMan 那么问题来了,是不是该换家主机商了?
    12

SourceMan   19 小时 55 分钟前

@qcloud 转移备案好麻烦,企业主体,各种盖章
    13

yangdehua   19 小时 32 分钟前

看看 io 能力是多少 lsblk -t -d
    14

SourceMan   18 小时 54 分钟前 via iPhone

@yangdehua min-io 512
    15

lun10439547   18 小时 19 分钟前

我已经 N 多次了。。。幸亏 不频繁。。。。也就一两个月重启一回。。。。。真烦
    16

raykwok   18 小时 0 分钟前

@SourceMan 据我的经验,一点都不麻烦啊,弄好材料盖好章,走流程就行了。长痛不如短痛。
    17

fangpeishi   17 小时 47 分钟前

樓主貼下對應 ECS 的 IO 監控圖看看。遇到過,一般都是 IOPS 打的過高,然後假死了,得重啓。 
可以換 SSD 雲盤,換 2 系的 CPU ,開 IO 優化看看。
    18

em70   17 小时 45 分钟前

mysql 部署到 RDS 去
    19

notgod   17 小时 44 分钟前 via iPhone

你们试试 使用 nginx + pagespeed 
开缓存 
经常假死 nginx 
查日志 全部是缓存文件读取 slow 引起的问题 
这么多年这玩意还是没长进 
尽然升级降级功能都找不到 谁教我下?
    20

qcloud   17 小时 2 分钟前

@SourceMan 不用转移呀。。。
    21

billlee   16 小时 36 分钟前

把云盾关了并删除
    22

jiongxiaobu   16 小时 2 分钟前

+ 1
    23

ragnaroks   2 小时 0 分钟前

卸载云盾有一点用,但是原罪是 IO 
云磁盘还没我淘宝买的扩容盘快


爱玩吧 , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:[阿里云]阿里云经常无故IO飙升然后不得不重启
喜欢 (0)