Serveri kaatuu aika ajoin

Jostain syystä se web-serveri, joka välittää liikenteen jokaiselle Katiskaan kytkeytyneelle sivustolle, näyttää kaatuvan siinä noin 22.15 aikoihin. Teki sen eilen ja teki sen tänään. Joten näin tullee tapahtumaan myös huomenna.

Koska kyseessä näyttäisi olevan aikasidonnainen juttu, niin se täytyy liittyä ajastuksiin. Minulla on käytössä vain kaksi kerran päivässä tapahtuvaa hommaa (jotka tiedän):

  • foorumin varmuuskopio
  • SSL-sertifikaattien (eli https-juttu) tarkastus ja uusinta

Kummassakaan kellonaika ei päde. Foorumin varmuuskopio ajetaan aamulla viiden aikoihin ja sertifikaatit heti puolen yön jälkeen.

Se mitä en tiedä ajastuksista, tapahtuu sivustoilla. Serverin ajatus vaan käskee sivustoja tekemään omat ajastuksensa ja siellä on varmasti mukana kerran päivässä ajettavia tehtäviä. Koskee siis WordPress-pohjaisia (kuten Katiska) ja Moodleja (kaksi verkkokoulutussivustoa).

Ihmettelen tuota huomenna, mutta suurella todennäköisyydellä ongelma jatkuu, ainakin vielä 12.7.22 kello 22:15 - 22:25. Mutta silloin olen koneella ja pääsen puuttumaan asiaan heti. Eilenhän olin tuolloin melomassa ja tänään (eli 11.7. kun kello taitaa olla jo yli puolen yön) olin lenkillä.

Ja sitten serveri kaatui uudestaan 01:29 — olin linjoilla silloin. Saattaa olla, että löysin syyllisen, mutta jäädään odottelemaan. Mutta ei se sitten tainnutkaan olla aikasidonnainen juttu. Ehkä.

Ja kaatui taas, kello 13:30.

Vittu. Eli ei johtunut siitä mitä yöllä epäilin. Etsintä jatkuu.

Ahhah… ja hetki myöhemmin: nyt näyttää siltä, että serveri kaatuu SSL-sertifikaattien uusimisyritykseen. Mitenkähän tuonkin nyt korjaisi, ja miksi se ei tapahdu ajastuksen mukaisesti :thinking:

Ja sitten kaadoin itse serverin. Tai siis minä en sitä kaatanut, mutta testatessani johtuuko SSL-sertifikaatin uusimisesta.

Johtuu.

Tämä tuskin teitä kiinnostaa, mutta kunhan ajattelen ääneen.

Servillä on portteja, joiden kautta liikenne kulkee. Per portti on määritelty mitä siellä saa tapahtua ja osassa myös mistä sekä kenen toimesta. Ne ovat siis ikäänkuin talon, liikekeskuksen tai työpaikan ovia: yhdestä pääsee sisälle ja ulos tavallisille asioille, osa on jakeluautoille ja osassa ovia on kulunvalvonta.

Nyt sitten talo ja ovi kuvaus eräällä tavalla hajoaa — tai sitten ei.

Jokaista portti vahtii ja sitä käyttää yksi ja vain yksi palvelu. Eli käytössä oleva webserveri on ainoa, jolla on oikeus webbiliikenteen käyttämiin portteihin. Jos sitä yrittää käyttää joku muukin, niin silloin se jälkimmäinen ei pääse sinne; ensimmäistä palvellaan ja muut potkitaan pois jonosta.

Ikäänkuin siellä talon kulunvalvonnossa istuisi yksi tyyppi, joka vahtii määrättyä ovea ja päättää kuka siitä kulkee ja kuka ei. Jos joku toinen kulunvalvonnan työntekijä yrittää ohjata samaa ovea, niin hänellä ei olekaan oikeuksia siihen.

Itseasiassa talo ja ovi vertaus toimiikin :joy:

Kun SSL-sertifikaattia yritetään uusia, niin sillä palvelulla on oikeus ottaa itselleen hetkeksi aikaa web-serverin hommat. Se soittaa kotiin, päivittää SSL-jutut ja palauttaa sitten oikeudet web-serverille. Mutta web-serverin mielestä joku jo käyttää sitä porttia oivaltamatta, se on se itse. Ja koska vain ensimmäistä palvellaan, niin webserveri suuttuu, naamastaan punaiseksi muuttuu ja … öh, loppui runoilijan kyvyt… no, lakkaa toimimasta.

Eli hieman kuin vartioliikkeen huoltojulli saapuisi sinne kulunvalvontaan ja ottaisi itselleen sen vartijan oikeudet hetkeksi aikaa ajakseen päivityksiä valvontasoftaan. Saatuaan hommat valmiiksi niin hän palauttaisi taas kulunvalvonnan tyypin oikeudet — mutta softa sanoisikin, että top tykkänään, olet jo kirjautunut sisälle ja estäisi vartijan pääsyn. Ja koska ovia vahtiva vartija lentää järjestelmästä pihalle, niin ovet menevät lukkoon eivätkä asiakkaat pääse sisälle.

Nyt minun pitäisi saada jollain tavalla ratkaistua miten SSL-sertifikaatin uusiminen ei sotkisi serverin blondimaista ajattelunjuoksua.

Sertifikaattia uusiva palikka kertoo tosin logeissa, että sillä on ongelmia omien asetustensa kanssa, jonka takia uusiminen ei onnistu. Ilmeisesti se sitten keikauttaa tuon palikan nurin ja se vien serverin mennessään.

Mutta koko palvelin, jossa nuo kaikki asuvat, on ihan tuliterä ja asennuksen jälkeen kaikki toimi — mikä sen nyt sitten rikkoi noin viikko myöhemmin :face_with_thermometer:

Ihmetellään. Mutta katkoksia ja kaatumisia on odotettavissa.

1 Like

Huoh.

Nyt se on varma. SSL-sertifikaateista nuo kaatumiset johtuu.

2 Likes

Minulla alkaa nyt mennä hermot, Olen tämän saatanan paskan kanssa tapellut kaikki päivät ja aika pitkälle yötkin. Onneksi eilen satoi koko päivän, niin ei tarvinnut mennä metrinen holmes otsassa lenkille.

Nyt tiedän ihan varmuudella mistä ongelmat johtuu. Se palikka, nimeltään certbot, joka tarkistaa täytyykö SSL-sertifikaatit uusia, sammuttaa sitä varten webserverin. Mutta se sammuttaa sen ennen kuin se saa sieltä yhden välttämättömän tiedon — ja kaataa siihen koko webserveriympäristön. Eikä sitten käynnistä serveriä enää oikein. Silloin koko surkeus on umpisolmussa, eikä mikään toimi.

Eikä tämä ole edes uusi ongelma. Siitä on vinguttu ympäriinsä kohta 8 vuotta.

Löydän purkkavirityksiä, enkä pidä niistä yhdestäkään.

Ajan tilalle täysin erilaisen systeemin. Mutta siksi joudun illan aikana taas katkaisemaan kaikki yhteydet. Olen sitä testaillut jokunen vuosi sitten, ja siinäkin oli omat ongelmansa — mutta alan olla epätoivoinen. Tai sitten vaan väsynyt :rofl:

Ajastuksen mukaan 14 minuutin kuluttua kaikki joko kaatuu tai sitten tuo surkimus on niin rikki, että se ei tee enää edes sitä mitä sen pitäisi yrittää…

Ohhoh. Pysyi pystyssä.

Teen silti suunnittelemani muutoksen, mutta en ehkä tänään. Nyt alkaa olla jo riittämiin tätä kivaa.

Mutta ei sitä vielä tiedä… huomasin sellaisenkin hauskuuden, että systeemissä on kolme eri paikkaan syntynyttä ajastusta samalle hommalle :man_facepalming:

Paskat. Jos lakkaa satamasta, haen lakkaa satamasta — eli menen lenkille. Taitaa olla kävelypäivä tänään, vaikka eilinen menikin ihan levoksi.

2 Likes

Joopa joo. Kokeilin ihan uutta serverirakennelmaa ja perseelleenhän se meni. Jos tämä nyt lähtee, enkä saa jotain outoa error 403 virhettä, niin ollaan palattu takaisin entiseen.

edit: toimii

Oli cache liian tiukalla, ja siksi foorumi ei toiminut. Nyt toimii taas.

3 Likes

Kello 02:38 serveri meni pyllylleen taas. Ja ihan samasta syystä: SSL-sertifikaattien uusiminen epäonnistui.

Alan olla ihan pikkuisen väsynyt koko helvetin https-juttuun. Koko täysin turha pelleily on aivan totaalisesti Googlen vika, eikä siitä ole suuremmassa osassa maailman sivustoja yhtään mitään hyötyä.

Verkkokaupoissa, jotka prosessoivat itse luottokortteja, siitä on periaatteellinen hyöty. Koskee siis vain niitä maita, joissa ei ole toimivaa pankkijärjestelmää, kuten USA. Ja sielläkin vain niitä tapauksia, joissa ei käytetä maksunvälittäjää, kuten Stripe tai PayPal.

Älkää muuten koskaan ostako sellaisesta, joka ei käytä maksunvälittäjää. Riski tulla huijatuksi on megalomaaninen.

Tällä hetkellä http-liikenne uudelleenohjataan https:ään. Ihan siksi, että se aivokuollut varoitus turvattomasta yhteydestä on vaan väsyttävä. Mutta tulen poistamaan sen kaikista muista yhteyksistä paitsi foorumilta ja Katiskan kaupasta.

Joten silloin pääsee sisälle http-osoitteellakin, vaikka https kaatuisi. Foorumilla ja kaupassa on pakko pitää https päällä, ne eivät toimi muutoin.

3 Likes

Serveri on toiminut nyt moitteetta pidemmän aikaa. Joten kun — valitettavasti ei jos — tulee omituisia katkoksia, niin syy on joku muu ja uusi.

Joten suljen tämän.

2 Likes