Nabigong Security Update, Sanhi ng Pagkagambala sa Serbisyong Pangkalusugan sa Singapore; 4,000 Appointment, Inilipat

Maiiwasang pagkabigo sa tatlong kumpol ng serbisyong pangkalusugan

Ang hindi pagkumpleto ng isang kontratista sa kinakailangang security update ang naging sanhi ng pagkaantala noong Oktubre 13 sa mga pampublikong sistema ng serbisyong pangkalusugan ng Singapore. Dahil dito, kinailangang ilipat sa ibang oras ang humigit-kumulang 4,000 appointment para sa outpatient, at may ilang pasyenteng naghintay nang hanggang dalawang oras. Tumagal nang humigit-kumulang siyam at kalahating oras ang pagkaantala at naapektuhan ang NHG Health, National University Health System at SingHealth.

Ayon kay Senior Minister of State for Health Tan Kiat How, may kinalaman ang update sa isang pinagsasaluhang serbisyo ng Domain Name System, o DNS. Kumuha ng service provider ang pambansang ahensiya ng teknolohiyang pangkalusugan na Synapxe upang magsagawa ng trabaho, ngunit hindi ito natapos bago ang nakatakdang pandaigdigang pagbabago. Inilarawan ni Tan na maiiwasan ang pagkukulang at humingi siya ng paumanhin sa pagkaantalang aniya ay hindi dapat nangyari.

Ipinaliwanag din ng imbestigasyon kung bakit hindi nalutas ng backup infrastructure ang problema. May dalawang data center ang mga pampublikong sistema ng serbisyong pangkalusugan ng Singapore, ngunit kapwa nakadepende ang mga ito sa iisang serbisyo ng DNS at security configuration. Kung inilipat ang operasyon mula sa isang sentro patungo sa isa pa, mananatili pa rin ang ugat ng pagkabigo.

Walang naiulat na insidente sa kaligtasan ng pasyente na maiuugnay sa pagkaantala. Walang natuklasan ang mga imbestigador na cyberattack, hindi awtorisadong pag-access, kompromiso o pagkawala ng datos ng pasyente. Kabilang sa mga agarang epekto ang pagkaantala ng serbisyo, mas mahabang paghihintay at mga appointment na kinailangang ilipat sa ibang oras.

Naranasan ng mga pasyente at kawani

Kabilang sa mga serbisyong naapektuhan ang pag-book ng appointment, pagpaparehistro ng bisita, pagbibigay ng gamot at pagsingil. Nagkakaiba-iba ang mga problema sa koneksiyon sa tatlong kumpol, kaya hindi pare-pareho ang naging epekto ng pagkaantala sa bawat institusyon.

Para sa mga pasyente, hindi lamang ito usapin ng computer screen na hindi mag-load. Mas matagal na naghintay ang ilan para sa mga serbisyo, habang inilipat naman sa ibang oras ang outpatient appointment ng iba. Humigit-kumulang 4,000 appointment ang iniskedyul muli, ngunit bilang lamang ito ng mga appointment at hindi ng lahat ng nakaranas ng abala habang may outage.

Ipinatupad ng mga institusyong pangkalusugan ang mga pamamaraan para sa panahon ng outage, na ginagamit kapag hindi magamit ang karaniwang mga computer system. Nagdagdag sila ng mga kawani at nagpatuloy sa mahahalagang pangangalaga gamit ang mga manwal na proseso at piling rekord ng pasyente na makikita sa hiwalay at read-only na anyo.

Sa read-only na mga rekord, maaaring tingnan ng mga kawani ang impormasyon nang hindi ito binabago sa pamamagitan ng sistemang iyon. Nabigyan nito ang mga clinician ng access sa piling impormasyon ng pasyente habang naaantala ang mga karaniwang serbisyo. Kinailangan ding harapin ng mga kawani ang dagdag na trabahong dulot ng mga prosesong karaniwang ginagawa sa elektronikong paraan.

Takbo ng pagkaantala

Ayon sa salaysay ng Synapxe tungkol sa insidente, nagsimula ito bandang 7.10am noong Oktubre 13. Unti-unting nagsimulang bumalik ang mga serbisyo bandang 3pm, at naibalik ang lahat ng naapektuhang serbisyo pagsapit ng 4.37pm. Siyam na oras at 27 minuto ang pagitan mula sa iniulat na pagsisimula hanggang sa ganap na pagbabalik ng serbisyo, alinsunod sa bilugang paglalarawang tumagal nang siyam at kalahating oras ang pagkaantala.

• Oktubre 13, bandang 7.10am: Nagsimulang magdulot ng pagkaantala sa mga serbisyo sa tatlong pampublikong kumpol ng serbisyong pangkalusugan ang isang teknikal na problemang nakaapekto sa koneksiyon ng network.
• Oktubre 13, bandang 3pm: Unti-unting nagsimulang bumalik ang mga naapektuhang serbisyo.
• Oktubre 13, 4.37pm: Naibalik na ang lahat ng naapektuhang serbisyo, ayon sa Synapxe.
• Oktubre 13, bandang 5.40pm: Naglabas ang Synapxe ng karagdagang pahayag na nagkumpirma sa pagbabalik ng mga serbisyo.
• Nobyembre 3: Nakatakdang tanungin ng mga mambabatas ang pamahalaan tungkol sa outage, epekto nito sa mga pasyente at pagiging maaasahan ng mga backup na sistema.

Una nang inilarawan ng Synapxe ang insidente bilang teknikal na problemang nakaapekto sa koneksiyon ng network at sinabing walang palatandaan ng cyber incident habang nagpapatuloy ang imbestigasyon. Natukoy sa mga sumunod na natuklasan na ang hindi naisagawang security update ang sanhi, at kinumpirmang hindi nakompromiso o nawala ang datos ng pasyente.

Bakit napakahalaga ng iisang serbisyo ng DNS

Tinutulungan ng serbisyo ng DNS ang mga computer system na hanapin at kumonekta sa mga application. Para itong direktoryo: nagtatanong ang isang sistema kung saan matatagpuan ang isang serbisyo, at ibinibigay ng DNS ang impormasyong kailangan para maabot ito. Kapag hindi gumagana nang maayos ang pinagsasaluhang direktoryong ito, maaaring mahirapan o tuluyang hindi ma-access ang ilang application na kung hindi man ay magkakahiwalay.

Para sa pinagsasaluhang DNS ang kinakailangang security update. Dahil hindi ito nakumpleto ng kontratista bago ang nakatakdang pandaigdigang pagbabago, naging sanhi ng pagkabigo ang isang teknikal na bahaging ginagamit sa buong pampublikong serbisyong pangkalusugan.

Ayon kay Tan, alam na ang pagbabago bago pa ito mangyari. Samakatuwid, ang pangunahing pagkabigo sa operasyon ay ang hindi pagkumpleto sa kinakailangang paghahanda para sa inaasahang pagbabago. Bahagi lamang ng proseso ang pagsubaybay sa isang tagubilin; kailangan ding tiyaking aktuwal na natapos ang trabaho.

Kabilang sa mga hakbang ng pamahalaan para itama ang problema ang mas mahigpit na pagsubaybay at pagberipika sa mahahalagang teknikal na pagbabago. Sa praktika, kailangang magkaroon ang organisasyong responsable sa isang sistema ng maaasahang paraan para matiyak na nailapat ang kinakailangang update bago magkabisa ang pagbabagong pinaghahandaan nito.

Bakit hindi sapat ang dalawang data center

May backup infrastructure ang mga pampublikong sistema ng serbisyong pangkalusugan, kabilang ang dalawang data center. Pinahihintulutan ng ganitong kaayusan na ilipat ang mga serbisyo kapag hindi magamit ang isang pasilidad o bahagi ng infrastructure nito. Gayunman, sa insidenteng ito, nakadepende ang dalawang sentro sa iisang serbisyo ng DNS at security configuration.

Kaya kung inilipat ang mga pasilidad, hahantong pa rin ang mga sistema sa parehong problemang hindi pa nareresolba. Nagbigay ang ikalawang lokasyon ng isa pang lugar para patakbuhin ang mga serbisyo, ngunit dahil sa pinagsasaluhang bahaging inaasahan ng mga ito, hindi ito naging mabisang paraan ng pagpapanumbalik para sa partikular na pagkabigong ito.

Tinutugunan ng pamahalaan ang mga bahaging pinagsasaluhan ng mga sistema at pinagbubuti ang mga paraan ng pagpapanumbalik bilang bahagi ng pagtugon nito. Ang praktikal na tanong ay kung gagana ang backup kapag pumalya ang serbisyong ginagamit ng pangunahing sistema at ng backup.

Naghain ng mga tanong si Nominated MP Haresh Singaraju kung may hiwalay na backup ang mga sistema, gaano kabilis dapat maibalik ang mga serbisyo at kung naabot ang target na iyon. Tinanong din ni MP Joan Pereira kung bakit hindi napigilan ng backup infrastructure ang pagkaantala at humingi ng bilang ng mga pasyenteng naapektuhan.

Nananatiling responsable ang Synapxe

Sinusuri ng Synapxe ang mga obligasyong nakasaad sa kontrata ng service provider at gagawa ito ng nararapat na hakbang kung mapatunayang may paglabag. Ayon kay Tan, nananatiling responsable ang ahensiya sa katatagan ng mahahalagang sistema nito, anuman ang mga kaayusan nito sa pagkuha ng mga panlabas na serbisyo.

Bahagi ng pagtugon ang parehong pananagutan ng kontratista na isagawa ang update at pananagutan ng Synapxe na panatilihing maaasahan ang mga sistema ng serbisyong pangkalusugan. Kahit kumuha ng ibang organisasyon upang magsagawa ng teknikal na trabaho, responsable pa rin ang ahensiya sa pangangasiwa sa mga sistemang inaasahan ng mga ospital, klinika at pasyente.

Hindi tinukoy ang pagkakakilanlan ng provider, anumang parusang kontraktuwal o iskedyul para makumpleto ang mga hakbang sa pagwawasto. Humingi si MP Cassandra Lee ng update sa imbestigasyon at mga hakbang upang mabawasan ang posibilidad ng panibagong pagkaantala.

Nagtalaga ang Synapxe ng ekspertong lupon mula sa mga organisasyong may kahalintulad na kakayahan sa inhinyeriya. Susuriin nito ang mga natuklasan ng imbestigasyon at mga iminumungkahing lunas, at tutukoy ng iba pang pagpapahusay. Pangangasiwaan ng Ministry of Health ang mga hakbang sa pagwawasto at titiyakin ang pagiging epektibo ng mga ito.

Bahagi ng plano sa pagpapanumbalik ang mas mabilis na pagtukoy sa problema

Nakatukoy ang monitoring ng hindi pangkaraniwang aktibidad habang nagaganap ang insidente, ngunit kinailangan ng panahon upang mahanap ang ugat ng problema at maibalik nang ligtas ang mga serbisyo. Magkaibang yugto ng pagtugon ang pagtukoy na may mali at ang pagkilala sa eksaktong kailangang kumpunihin.

Pinagbubuti ng Synapxe ang monitoring at pagtukoy ng problema upang mas mapabilis ang pagpapanumbalik. Para sa sistemang naglilingkod sa ilang kumpol ng serbisyong pangkalusugan, kabilang sa hamon ang pagtunton sa problema sa mga pinagsasaluhang serbisyo, sa halip na hiwa-hiwalay na suriin ang bawat apektadong application.

Sa pahayag nito matapos maibalik ang mga serbisyo, binanggit ng Synapxe ang naranasan ng mga pasyente at bisita, at ang pakikipagtulungan nito sa mga institusyong pangkalusugan:

Habang may pagkaantala, mas matagal na naghintay ang mga pasyente at bisita sa ilang pampublikong institusyong pangkalusugan para sa ilang serbisyo.

"Mahigpit na nakipagtulungan ang aming mga pangkat sa mga pampublikong kumpol ng serbisyong pangkalusugan upang maibalik sa lalong madaling panahon ang mga naapektuhang serbisyo.

Ipinakikita ng mga oras ng pagpapanumbalik na paunti-unting naibalik ang mga serbisyo. May ilang serbisyong nagsimulang bumalik bandang 3pm, mahigit isa't kalahating oras bago maibalik ang lahat ng naapektuhang serbisyo. Kaya kinailangan ng mga kawani na pangasiwaan ang panahong hindi sabay-sabay bumalik sa normal ang operasyon.

Pagpapatuloy ng pangangalaga kapag pumalya ang mga sistema

Pinanatili ng mga institusyong pangkalusugan ang mahahalagang serbisyo sa pamamagitan ng dagdag na kawani, piling read-only na rekord at mga manwal na pamamaraan. Iniulat ni Tan na walang insidente sa kaligtasan ng pasyenteng maiuugnay sa outage, kahit na naantala ang mga pasyente at kinailangang ilipat sa ibang oras ang libu-libong appointment.

Plano ng pamahalaan na palakasin ang mga sistema para sa panahon ng outage, kahandaan ng mga kawani at regular na pagsasanay, kabilang ang pagsasanay para sa bahagyang outage. Maaaring manatiling magamit ang ilang application habang hindi ma-access ang iba kapag may bahagyang outage, kaya kailangang magpasya ang mga kawani kung aling mga proseso ang maaaring magpatuloy nang normal at alin ang nangangailangan ng alternatibo.

May tatlong magkakaugnay na layunin ngayon ang pagtugon: pigilan ang pag-ulit sa pamamagitan ng mas mahusay na pamamahala sa mga teknikal na pagbabago, bawasan ang lawak ng epekto ng mga pagkabigo sa pamamagitan ng pagtugon sa mga bahaging pinagsasaluhan ng mga sistema, at panatilihing tuloy ang pangangalaga sa pamamagitan ng mas mahusay na paghahanda sa operasyon.

Para sa mga pasyente, nangangahulugan ang tagumpay ng mas kaunting kanselado o naantalang appointment kapag may teknikal na problema. Para sa mga kawani ng serbisyong pangkalusugan, nangangahulugan ito ng maaasahang access sa mahahalagang impormasyon at mga pamamaraang magagamit kapag may pagkaantala. Ayon kay Tan, kailangang maging mas maaasahan ang teknolohiya sa serbisyong pangkalusugan, habang tinitiyak na maipagpapatuloy ng mga kawani ang ligtas na pangangalaga sa mga pasyente kapag pumalya ang mga sistema.

Mahahalagang Punto

• Isang hindi naisagawang security update ang sanhi ng outage noong Oktubre 13 sa tatlong pampublikong kumpol ng serbisyong pangkalusugan ng Singapore.
• Humigit-kumulang 4,000 outpatient appointment ang iniskedyul muli, at may ilang pasyenteng naghintay nang hanggang dalawang oras.
• Naantala ang mga serbisyo mula bandang 7.10am at ganap na naibalik pagsapit ng 4.37pm.
• Nakadepende ang dalawang data center sa iisang serbisyo ng DNS at security configuration, kaya hindi naging mabisa ang paglipat sa backup infrastructure.
• Walang naiulat na insidente sa kaligtasan ng pasyente na maiuugnay sa outage, at walang natuklasan ang mga imbestigador na cyberattack o pagkawala ng datos ng pasyente.
• Sinusuri ng Synapxe ang mga obligasyon ng kontratista, habang pangangasiwaan ng Ministry of Health ang mga hakbang sa pagwawasto at titiyakin ang pagiging epektibo ng mga ito.