Well, that was awkward.
It was a normal Tuesday otherwise. However, somewhere around 21:00 (Finnish time, UTC +2) Sopuli went offline due to a sudden database problem. It wasn't a problem I could fix immediately, so I decided to wait until the next day. @MentalEdge@sopuli.xyz helped me once again, and with his help we looked at the problem, and the database was restored from a backup made at 18:00 on Tuesday. Great thanks to him!
Because of the time gap, new data from 18:00 UTC+2 to 21:00 UTC+2 wasn't recoverable. I doubt there was an Internet equivalent to James Joyce's Ulysses among the data, but this has to be mentioned. This may affect federating posts and comments to other instances.
There was no way to just ignore an instance this active being offline for this long and move on. For normal users it creates uncertainty and for admins solving it may sometimes be nerve-wracking. I hope you all have been patient. After all, Sopuli hadn't been offline this long for over two years. The last time was in June 2024 when Sopuli was migrated from Hetzner's VPS to dedicated server hardware. It also took over a day, and it was surely nerve-wracking for me. All the effort was worth it, and because of improved website performance, long downtime has been an exception ever since.
This was unexpected downtime, but hopefully anything like this won't happen again for a really long time.
As always, you can get information about possible downtime by following me on Mastodon or by joining Sopuli's Matrix space.
Hope you all have a good day! (Or night, when I am writing this)
Noh, tämäpä oli noloa.
Se oli muuten normaali tiistai. Kuitenkin joskus klo 21 aikaan Sopuli meni pois linjoilta yhtäkkisen tietokantaongelman takia. Se ei ollut ongelma jonka olisin voinut korjata heti, minkä takia päätin odottaa seuraavaan päivään.@MentalEdge@sopuli.xyz auttoi minua taas kerran, ja hänen avullaan katsoimme ongelmaan, ja tietokanta palautettiin tiistaina klo 18 otetusta varmuuskopiosta. Paljon kiitoksia hänelle!
Varmuuskopion ja tietokannan kippaamisen välillä on toki aikaväli 18–21. Tämän takia sillä välillä syntynyttä uutta dataa ei voitu palauttaa. Epäilen tosin että sen datan joukossa oli mitään Internetin vastinetta James Joycen Odysseukselle, mutta tämä on kuitenkin mainittava. Tämä voi vaikuttaa viestien ja vastausten federoitumiseen muille instansseille.
Näin aktiivisen instanssin kaatumista ei voi mitenkään sivuuttaa ja jatkaa menoa normaalisti. Tavallisille käyttäjille se luo epävarmuutta, ja ylläpitäjille sen ratkaiseminen voi raastaa hermoja. Toivottavasti olette olleet kärsivällisiä. Sopuli ei ole kuitenkaan ollut poissa linjoilta näin pitkään yli kahteen vuoteen. Viimeisin kerta oli kesäkuussa 2024 kun Sopuli siirrettiin Hetznerin virtuaalipalvelimelta dedikoidulle palvelimelle. Siinä kesti yli päivän, ja se tosiaankin raastoi hermojani. Kaikki siihen käytetty vaiva oli kuitenkin sen arvoista, ja parantuneen suorituskyvyn takia pitkä poissaolo linjoilta on ollut siitä lähtien poikkeus.
Tämä oli odottamaton sattumus, mutta toivon että mitään tällaista ei tapahdu uudelleen todella pitkään aikaan.
Kuten aina, saatte tietoa mahdollisesta kaatumisesta seuraamalla minua Mastodonissa tai liittymällä Sopulin Matrix-tilaan.
Toivottavasti teillä kaikilla on hyvä päivä! (Tai yö, kun kirjoitan tätä)
It was about the database having corrupted data, and the best option turned out to restore from an earlier backup. Luckily the database is backed up automatically twice a day.