Out of memory

Mi s-a adus azi dimineata in atentie ca pe la 01:30 mi-au cazut toate siteurile. Am dat un reboot si acum e ok, dar as vrea sa evit pe viitor sa se mai intample asta. Dupa reboot am vazut ca expirase licenta de ISPmanager pentru ca nu ma puteam loga in el, nu stiu daca e coincidenta sau are legatura.
Va pun si o bugata din log, nu stiu pe unde ar mai trebui sa intru ca sa identific problema.

Jun 19 01:28:18 vps6380 kernel: Out of memory: Kill process 18855 (httpd) score 7 or sacrifice child
Jun 19 01:28:18 vps6380 kernel: Killed process 18855, UID 48, (httpd) total-vm:370836kB, anon-rss:4720kB, file-rss:20kB
Jun 19 01:28:18 vps6380 kernel: php invoked oom-killer: gfp_mask=0x200da, order=0, oom_adj=0, oom_score_adj=0
Jun 19 01:28:18 vps6380 kernel: php cpuset=/ mems_allowed=0
Jun 19 01:28:18 vps6380 kernel: Pid: 19387, comm: php Not tainted 2.6.32-358.0.1.el6.x86_64 #1
Jun 19 01:28:18 vps6380 kernel: Call Trace:
Jun 19 01:28:18 vps6380 kernel: [<ffffffff810cb5f1>] ? cpuset_print_task_mems_allowed+0x91/0xb0
Jun 19 01:28:18 vps6380 kernel: [<ffffffff8111cdf0>] ? dump_header+0x90/0x1b0
Jun 19 01:28:18 vps6380 kernel: [<ffffffff8111d272>] ? oom_kill_process+0x82/0x2a0
Jun 19 01:28:18 vps6380 kernel: [<ffffffff8111d1b1>] ? select_bad_process+0xe1/0x120
Jun 19 01:28:18 vps6380 kernel: [<ffffffff8111d6b0>] ? out_of_memory+0x220/0x3c0
Jun 19 01:28:18 vps6380 kernel: [<ffffffff81007c8f>] ? xen_restore_fl_direct_end+0x0/0x1
Jun 19 01:28:18 vps6380 kernel: [<ffffffff8112c35c>] ? __alloc_pages_nodemask+0x8ac/0x8d0
Jun 19 01:28:18 vps6380 kernel: [<ffffffff81160a5a>] ? alloc_pages_vma+0x9a/0x150
Jun 19 01:28:18 vps6380 kernel: [<ffffffff811547a2>] ? read_swap_cache_async+0xf2/0x150
Jun 19 01:28:18 vps6380 kernel: [<ffffffff811552b9>] ? valid_swaphandles+0x69/0x150
Jun 19 01:28:18 vps6380 kernel: [<ffffffff81154887>] ? swapin_readahead+0x87/0xc0
Jun 19 01:28:18 vps6380 kernel: [<ffffffff810049d1>] ? __raw_callee_save_xen_pte_val+0x11/0x1e
Jun 19 01:28:18 vps6380 kernel: [<ffffffff81143d7b>] ? handle_pte_fault+0x70b/0xb50
Jun 19 01:28:18 vps6380 kernel: [<ffffffff81007c8f>] ? xen_restore_fl_direct_end+0x0/0x1
Jun 19 01:28:18 vps6380 kernel: [<ffffffff810046b6>] ? xen_mc_flush+0x106/0x250
Jun 19 01:28:18 vps6380 kernel: [<ffffffff810049d1>] ? __raw_callee_save_xen_pte_val+0x11/0x1e
Jun 19 01:28:18 vps6380 kernel: [<ffffffff81004a49>] ? __raw_callee_save_xen_pmd_val+0x11/0x1e
Jun 19 01:28:18 vps6380 kernel: [<ffffffff811443fa>] ? handle_mm_fault+0x23a/0x310
Jun 19 01:28:18 vps6380 kernel: [<ffffffff810474c9>] ? __do_page_fault+0x139/0x480
Jun 19 01:28:18 vps6380 kernel: [<ffffffff810074fd>] ? xen_force_evtchn_callback+0xd/0x10
Jun 19 01:28:18 vps6380 kernel: [<ffffffff81007c8f>] ? xen_restore_fl_direct_end+0x0/0x1
Jun 19 01:28:18 vps6380 kernel: [<ffffffff810e6d09>] ? __call_rcu+0xc9/0x160
Jun 19 01:28:18 vps6380 kernel: [<ffffffff811a1bc0>] ? mntput_no_expire+0x30/0x110
Jun 19 01:28:18 vps6380 kernel: [<ffffffff811828d1>] ? __fput+0x1a1/0x210
Jun 19 01:28:18 vps6380 kernel: [<ffffffff815131fe>] ? do_page_fault+0x3e/0xa0
Jun 19 01:28:18 vps6380 kernel: [<ffffffff815105b5>] ? page_fault+0x25/0x30
Jun 19 01:28:18 vps6380 kernel: Mem-Info:
Jun 19 01:28:18 vps6380 kernel: Node 0 DMA per-cpu:
Jun 19 01:28:18 vps6380 kernel: CPU 0: hi: 0, btch: 1 usd: 0
Jun 19 01:28:18 vps6380 kernel: CPU 1: hi: 0, btch: 1 usd: 0
Jun 19 01:28:18 vps6380 kernel: Node 0 DMA32 per-cpu:
Jun 19 01:28:18 vps6380 kernel: CPU 0: hi: 186, btch: 31 usd: 49
Jun 19 01:28:18 vps6380 kernel: CPU 1: hi: 186, btch: 31 usd: 65
Jun 19 01:28:18 vps6380 kernel: active_anon:290507 inactive_anon:97115 isolated_anon:7296
Jun 19 01:28:18 vps6380 kernel: active_file:211 inactive_file:364 isolated_file:128
Jun 19 01:28:18 vps6380 kernel: unevictable:0 dirty:0 writeback:254 unstable:0
Jun 19 01:28:18 vps6380 kernel: free:3407 slab_reclaimable:3888 slab_unreclaimable:22940
Jun 19 01:28:18 vps6380 kernel: mapped:283 shmem:32 pagetables:62955 bounce:0
Jun 19 01:28:18 vps6380 kernel: Node 0 DMA free:7868kB min:32kB low:40kB high:48kB active_anon:1220kB

Nu are legatura cu licenta atata vreme cat serviciile nu sunt dependente de ISPManager. La prima vedere, se observa ca ai avut o problema cu apache si ca ti-a inchis procesul respectiv.
Pentru a evita poti posta configuratia vps-ului si partea de config din apache pentru server (serverlimit, (min)maxspareservers, maxrequestsperchild ....) si sa ne spui cam cati utilizatori ai in medie simultan precum si ce platforma folosesti (cms).

Posibil sa nu fi murit chiar in bucata aia de log, acum vad ca mai am intrari similare. Ce mi se pare ciudat e ca logul are inregistrari continuu in timpul in care serverul trebuia sa fie cazut. Deci ip-ul era inaccesibil la ora 5 dar eu am intrare in log pentru ora aia.

CuteGuy, on 19 iunie 2013 - 09:29, said:

OK, revin putin mai incolo cu ce mi-ai cerut.

Edited by SfPetru, 19 June 2013 - 09:32.

Nu confunda "server cazut" cu "imposibilitatea de a accesa serverul via http/ssh" Un server cazut inseamna sa fie off (shutdown) si sa trebuiasca pornit manual sau via kvm.

Am facut niste poze, sa vedem daca ajuta la ceva. La trafic sunt putin confuz, acum parca mai bine luam cpanel in loc de ispmanager, n-am idee pe unde are asta astfel de statistici, daca are asa ceva. Dar am in medie 20.000 unici pe zi, pe platforma Wordpress. Cel mai mare trafic il am din Spania deci nu cred sa fi picat de la asta, ca la ora 1 dimineata cam doarme lumea.

Acum am vazut si ca unul din siteuri dadea eroare de conectare la baza de date. Am dat repair la db si acum merge din nou. Pana mea...

CentOS 6.4 (PyGrub) 64bit

StartServers    8
MinSpareServers 5
MaxSpareServers   20
ServerLimit   256
MaxClients    256
MaxRequestsPerChild  4000

[ http://i67.photobucket.com/albums/h289/sfpetru/conf.png - Pentru incarcare in pagina (embed) Click aici ]

[ http://i67.photobucket.com/albums/h289/sfpetru/CPU.png - Pentru incarcare in pagina (embed) Click aici ]
[ https://i.imgur.com/c5XG0NR.png - Pentru incarcare in pagina (embed) Click aici ]

Edited by SfPetru, 19 June 2013 - 10:45.

Păi vezi și tu ce proces mănîncă memoria și ai grijă de el.

Hmm, ca fapt divers dacă tot rulezi php ca fpm, de ce rulezi apachele cu prefork?

Ma interesez acum, nu stiam ca trebuie facute si alte chestii daca folosesc fpm.
A inceput sa cam dea rateuri serverul de cand am mutat toate siteurile, asa ca momentan citesc niste tutoriale de optimizare.

Nu că ar fi ceva rău, dar de ce folosești fpm?

Am citit ca e mai rapid... nu recomanzi?

Ba da, dar ai grijă că nu mai poți folosi flaguri de php în .htaccess. Ca fapt divers, asculta pe socket sau pe tcp?

Asta... nu stiu unde as putea sa vad, e probabil atat de simplu incat nici google nu ma ajuta.

pai uita-te in fisierul/ele de config ale lui php-fpm. Sau da-i un netstat -tnlp | grep php

comanda de netstat nu returneaza nimic, nici macar o eroare.

php-fpm.conf nu e nicaieri. Ar trebui sa fie in /etc dar l-am cautat si din ssh si degeaba, cica nu exista pe server.

Cu din astea ma confrunt eu in ultimele zile

Ruleaza pe socket probabil. Vezi prin configul de apache cum interpreteaza php-urile.

httpd.conf? Nu prea vad nimic in el sa-mi zica cum interpretaza php, decat setarile individuale pentru fiecare VirtualHost, gen AddHandler fcgid-script .php .php3 .php4 .php5 .phtml

Intre timp serverul oscileaza. PageSpeed imi da acum scor 87, in urma cu doua minute imi dadea 50 si mai dimineata chiar 0. Problema "server response time". Adevarat ca in momentul in care am vazut 0 si ca sta secunde intregi dupa server am modificat FcgidMaxRequestLen  de la o valoare mica (era ceva gen 10.000) la 52428800, citisem ca si asta poate fi o problema pentru performanta fastcgi.
Insa tot oscileaza fara sa stiu de ce.

Ai cumva Plesk pe serverul ăla?

Nu, nu, am ISP Manager.
Plesk aveam dincolo la nemti, si acolo am avut probleme similare pana i-am contactat si mi-au zis sa dezinstalez ceva antivirus.

Acum le-am dat un ticket politicos astora de la firma sa le cer un ghid sau ceva lista cu ce fac ei pe serverele lor managed, desi nu cred ca au asa ceva. Mi-au raspuns "Please send us 'top' command output taken in the time when you have the performance issues."
A naibii ca acum merge bine serverul . PageSpeed da abia 57% dar pentru user e insesizabil.

Am dat totusi un top, uite rezultatul:

0.76 load average si 8% I/O wait. Ce tot scrii pe disc?