Foorumi kaatuu aikajakson X jälkeen

Yritän saada kiinni sitä mikä kaataa foorumin osalta käyttäjistä. Joten pliis — kun saatte pelkkää valkoista ruutua, tai jopa jonkun virhekoodin, niin huudelkaa heti Katiskan fb-ryhmässä tai sitten Facebookissa privana. Koska silloin saan jonkun aikaikkunan missä vaiheessa virhe on paukahtanut näkyviin.

Joten käynnistän kaiken uudestaan noin 10 sekunnin kuluttua tämän postauksesta. Jos olet linjoilla niinkuin nyt, niin siitä saattaa seurata lyhyttäkin lyhyempi katkos tai uloskirjautuminen, mutta se on normaalia.

Kunhan vaan tsekkaan, että itse pääsen tänne rebootin jälkeen… Luotto on suunnaton just nyt tekniikkaa kohtaan. Tai sitten ei.

Eikun unohdin oikaisukaistan päälle. Joten buuttasin äsken just uudestaan, ja nyt vasta on seurannassa.

Okkei. Äsken kaatui. Nyt sain virheen kiinni:

-   Error          out of workspace (req)
-   Error          workspace_client overflow

Ihan uusi tuttavuus. Ja google auki…

Edit: Ja googlen ensimmäiseksi tarjoama korjaus ei sitten todellakaan toiminut

Jaaaaa…. Uusi yritys. Käyn ensin tupakalla, eli noin viiden minuutin päästä buuttaan tämän romun ja jos se on edelleen rikki, niin noin 22.10 viimeistään kaatuu taas. Mutta seuraan sitä koko ajan ja saan foorumin takaisin linjoille noin minuutissa.

Ja jos se pysyy pystyssä… no, aamulla nähdään onko se edelleenkin linjoilla :sweat_smile:

EDIT:

Nope. Sama paska jatkuu. En jaksa enää tänään tapella tuon kanssa. Voi olla, että annan olla muutenkin.

1 Like

Eli kaatuileeko meiltäkin foorumi taas?

Eikun kaikille muille :sweat_smile:

Olet myöhässä. Se kaatui jo. Ja kuten huomasit, on taas pystyssä.

En jaksa riidellä nyt foorumin kanssa, joten se kikka, jota yritin saavuttaa, jää toistaiseksi tauolle. Joten tästä eteenpäin kaatumiset, jumittamiset ja muut ongelmat johtuvat ihan eri syystä.

Suljen tämän ketjun.

Jaaaa… sitten kaadoin foorumin. Selvittelin yhtä ongelmaa kaupan puolella ja samalla kun poistin sen välimuistista, niin palautin foorumin välimuistin hellään huomaan. Joten ketjun alkuperäinen ongelma palautui.

Nyt on — taas — fiksattu.

Mutta hei, nähdään hyvät puolet. Samalla sain korjattua Katiskan rikki olleet alaviitteet. Johtui eri syystä, mutta törmäsin siihenkin.

2 Likes

Avasin ketjun taas, koska… kaikki kaatuu aikajakson X jälkeen. Eli vanha ongelma on tullut takaisin, enkä ihan ymmärrä miksi.

Foorumi, ja muutkin, on nyt muutaman päivän ajan mennyt selälleen siinä kello 20 aikoihin, mutta nyt se oli kaatunut tänään aamupäivälläkin.

Minulla on epäily, että se saattaa johtua vanhasta tutusta, SSL-sertifikaatin uusimisesta, mutta en ole varma. Ihan siksi, että sitä ei ole ajastettu aamupäiväksi, eikä iltaankaan sen puoleen. Se pitäisi tapahtua aamuyöllä.

No, täytyy ihmetellä. Juuri nyt en ehdi, koska täytyy mennä melomaan :wink:

2 Likes

Nyt tämä on taas pysynyt pystyssä. Muutin yhden asian, jolla ei pitäisi olla merkitystä, joten tiedä häntä :thinking:

Mutta pidän vielä pari päivää ketjun auki. Taas.

No justhan kaadoit puoleksi tunniksi?

En ihan. Itseasiassa kaatui kaksi kertaa kello 22.17 jälkeen. Olin tuolloin kirjoittamassa yhtä vastausta tänne, kun paukahti offline ilmoitus näkyville. Serveri oli taas alhaalla. Käynnistin sen uudestaan ja hetken päästä kaatui taas.

Nginxin oma error.log kertoi tällaista:


2022/09/12 22:17:38 [info] 296656#296656: Using 32768KiB of shared memory for nchan in /etc/nginx/nginx.conf:135
2022/09/12 22:17:41 [notice] 296661#296661: signal process started
2022/09/12 22:17:45 [notice] 296664#296664: signal process started
2022/09/12 22:17:48 [notice] 296666#296666: signal process started
2022/09/12 22:17:48 [error] 296666#296666: open() "/run/nginx.pid" failed (2: No such file or directory)
2022/09/12 22:17:49 [info] 296672#296672: Using 32768KiB of shared memory for nchan in /etc/nginx/nginx.conf:135
2022/09/12 22:17:53 [notice] 296675#296675: signal process started
2022/09/12 22:17:59 [notice] 296678#296678: signal process started
2022/09/12 22:18:02 [notice] 296680#296680: signal process started
2022/09/12 22:18:02 [alert] 296680#296680: kill(296668, 1) failed (3: No such process)
2022/09/12 22:18:02 [emerg] 296681#296681: bind() to 138.197.182.164:443 failed (98: Address already in use)
2022/09/12 22:18:02 [emerg] 296681#296681: bind() to 138.197.182.164:80 failed (98: Address already in use)

Tuo tulee useimmiten silloin kun SSL-sertifikaattia uusiva Lets Encryptin botti epäonnistuu Nginxin uudelleenkäynnistyksessä. Se, että miksi noin tapahtuu edelleen on mystistä — mutta tuo kiusaa heidän fooruminsa ja Googlen mukaan aika useaakin.

Mutta perään toinen kaatuminen oli uutta. Joten vilkaisin syslogin.

Ensin oli tämä:

Sep 12 22:17:45 Hub kernel: [1810043.263638] nginx[273407]: segfault at 7a1 ip 00007fa7656465c9 sp 00007ffe21a89a50 error 4 in libperl.so.5.30.0[7fa7655de000+166000]

Se aiheutti Ngninxin kaatumisen, josta se ei selvinnyt.

Sep 12 22:17:45 Hub systemd[1]: nginx.service: Killing process 273408 (nginx) with signal SIGKILL.
Sep 12 22:17:45 Hub systemd[1]: nginx.service: Killing process 296662 (nginx) with signal SIGKILL.
Sep 12 22:17:45 Hub systemd[1]: nginx.service: Killing process 296663 (nginx) with signal SIGKILL.
Sep 12 22:17:45 Hub systemd[1]: nginx.service: Killing process 273408 (nginx) with signal SIGKILL.
Sep 12 22:17:45 Hub systemd[1]: nginx.service: Killing process 296662 (nginx) with signal SIGKILL.
Sep 12 22:17:45 Hub systemd[1]: nginx.service: Killing process 296663 (nginx) with signal SIGKILL.
Sep 12 22:17:45 Hub systemd[1]: nginx.service: Failed with result 'core-dump'.

Mutta tuossa vaiheessa oli kaksi asiaa selvä:

  • joko perlissä on jokin rikki
  • joku Nginxiin liittyvä perlillä tehty scripti on rikki

Ja sitten hetken kuluttua paikalle hyökkäsi juurikin SSL:n uusiva botti ja Nginx pyllähti uudelleen selälleen:


Sep 12 22:18:05 Hub certbot.renew[296602]: Failed to renew certificate eksis.eu with error: nginx restart failed:
Sep 12 22:18:05 Hub certbot.renew[296602]: nginx: [emerg] bind() to 138.197.182.164:443 failed (98: Address already in use)
Sep 12 22:18:05 Hub certbot.renew[296602]: nginx: [emerg] bind() to 138.197.182.164:80 failed (98: Address already in use)

Mutta nyt sain jotain mitä etsiä. Kun laitoin hakusanoiksi nginx error 4 in libperl.so niin johan löytyi. Kyseessä on perlin yhden kirjaston bugi, jonka takia Nginx ei selviä certbotista, jos sellainen pakettin kuin nginx-extras on asennettuna. Aika monella on, minulla myös.

Tuo bugi tuli 2020 ja on edelleen olemassa. Korjaantuu vasta kun libperl.so päivittyy uudemmaksi, ja sitä se ei tee tässä Ubuntun versiossa — joka on tällä hetkellä virallinen pitkän tuen versio.

Tuo kannattaa muistaa yhtenä esimerkkinä kun joku hehkuttaa seuraavan kerran kuin paljon parempia linuxit ovat.

En voi poistaa sitä asennusta, joka

  • tuon kirjaston on tuonut
  • tuota kirjastoa käyttää

Joten nyt yritän vain katkaista Nginxin yhteyden libperl.so kirjastoon ja katsoa, josko se jelppaa.

1 Like

Oli tosi selvä syy miksi kaatui :joy::joy:.

1 Like

Joo :rofl:

No. Laitoin tuon enemmänkin itselleni muistiin ja Googlelle.

Foorumi saattaa kaatua, ja varmaan niin käykin, noin kolmen minuutin sisään. Mutta vahdin sitä koko ajan ja homma korjaantuu parissa minuutissa.