English page Verkkosivu suomeksi

Steg 6: Utvärderingsmodell

Vad är en utvärderingsmodell och varför är den viktig för processen för arbete med välfärdsteknik?

Detta steg är helt avgörande för att säkerställa att en teknisk lösning som ni överväger att implementera faktiskt passar er organisation. Utvärderingsmodellen ska säkerställa att tekniken uppfyller de behov ni har identifierat och kan leverera inom de parametrar ni har ställt upp – till exempel högre servicekvalitet, förbättrad arbetsmiljö, bättre kostnadseffektivitet eller alla dessa parametrar tillsammans.

Utvärderingen av lösningen är er chans att samla information om samspelet mellan den föreslagna tekniken och er organisation, tjänsten ni levererar samt självklart mellan tekniken och er personal och era slutanvändare. En bra utvärderingsmodell kan hjälpa er att sortera ut eventuella misslyckade produkter och projekt och utgör grunden på vilken en senare implementeringsprocess ofta byggs. Detta innebär att validiteten är helt avgörande.

Utvärderingsmodellen mäter om produkterna ni har identifierat i marknadsundersökningen faktiskt tillgodoser behoven på ett tillfredsställande sätt, och ger er en plattform att bygga på inför framtida implementering och resultatövervakning.

Rekommendationer

  • För att öka effektiviteten och säkerställa enhetlighet i utvärderingsprocessen rekommenderas det att använda en fast utvärderingsmodell (till exempel en av modellerna som beskrivs i detta dokument). På så vis säkerställs ett systematiskt angreppssätt vilket leder till ökad tydlighet i både besluts- och prioriteringsprocesser.
  • Det kan vara en bra idé att genomföra en "potentialbedömning" (att bedöma en given tekniks potentiella fördelar) innan stora resurser läggs på en fullständig utvärderingsprocess. Det är emellertid viktigt att potentialbedömningen bygger på samma ramverk som er fasta utvärderingsmodell så att kontinuitet och precision i bedömningen säkerställs. Om den inte bygger på samma ramverk ökar risken för att er potentialbedömning blir missvisande och att beslutet att genomföra eller inte genomföra utvärderingen bygger på felaktig information.
  • När en given tekniks potential utvärderas är det viktigt att koppla detta till både era identifierade behov samt strategin och visionen ni formulerat för arbetet med välfärdsteknik.
  • En utvärderingsprocess är både tids- och kompetenskrävande. Se till att fordrade resurser anslås, och koordinera om möjligt med andra befintliga aktiviteter.
  • Det är klokt att inleda en utvärderingsprocess med att bestämma processens målsättningar. Fundera alltid på om slutanvändarna ska vara med och fastställa målsättningarna. Målsättningarna kan justeras efterhand, men finns de med från början hjälper det till att ge processen riktning och skapar transparens. På samma vis kan det också vara gångbart att involvera personalen på golvet och/eller slutanvändare för att avgöra vilka datainsamlingsmetoder som ska användas (frågeformulär, intervjuer etc.), eftersom deltagande bidrar till ägande och engagemang.

Riktlinjer baserade på erfarenheter

  • Sättet er kommun är organiserad på spelar stor roll för vilka resultat tekniken kan ge. Se till att utvärderingsmodellen också innehåller en analys av hur bra en given teknik fungerar i er organisation. När denna analys genomförs kan det vara bra att fundera på om organisationsförändringar skulle kunna förbättra teknikens prestanda.
  • För att säkerställa lokalt ägande och engagemang är det mycket viktigt att utvärderingsmålsättningarna är relevanta i vardagslivet. Detta görs för att se till att utvärderingsprocessen blir del av vardagsrutinen, tillsammans med andra arbetsuppgifter, och inte något extra vid sidan av.
  • Kom ihåg att teknikens framtida framgångar bygger på er utvärderings validitet. När utvärderingsprocessen utformas är det alltså viktigt att se till att tekniken testas tillräckligt länge och med tillräckligt många testobjekt. Genvägar kan ge en billigare utvärderingsprocess, men också avsevärt öka riskerna för att en implementering av den slutgiltiga lösningen misslyckas.
  • Se till att testgruppen är representativ för den tilltänkta målgruppen. Se dessutom till att testgruppen är informerad, också om vad som händer när testperioden är slut.
  • Det är mycket viktigt att komma ihåg att göra en baslinjemätning som fungerar som en grund ni sedan bygger utvärderingen på. En baslinje krävs för alla parametrar ni vill utvärdera.
  • Kontrollera i ert nätverk eller med nationella myndigheter om andra har utvärderat denna specifika teknik eller något liknande. Även om en befintlig utvärdering inte är direkt gångbar för er kan den fungera som värdefull inspiration och spara tid och resurser.
  • Det rekommenderas att låta utvärderingen, utöver andra parametrar, också omfatta ett ekonomiskt perspektiv, till exempel en kostnads-nyttoanalys. Om ni vill klargöra eventuella ekonomiska besparingar som tekniken kan medföra är det viktigt att också låta detta ingå i utvärderingsmodellen. Detta är viktigt eftersom eventuella ekonomiska fördelar ofta inte synliggörs förrän man tittar närmre på en organisation och sättet tjänsterna finansieras internt.
  • Kom ihåg att er utvärderingsrapport också ska omfatta en modell för hur en given teknik får stöd och distribution efter en lyckad implementering.
  • Kom ihåg att en tekniks långsiktiga framgång kan bero på personalens kompetens. Ytterligare utbildning av personalen är självklart en viktig del av en utvärderingsmodell, och den påverkar också kostnadssidan av ett slutgiltigt business case.

Vad har en utvärderingsmodell betytt för CONNECT-deltagarna?

Odense

Den har gett Odense ett verktyg som används på alla avdelningar vilket säkerställer att alla använder liknande metodik och parametrar. Den ger oss ett systematiskt tillvägagångssätt och ökar också medvetenheten om komplexiteten i att utvärdera ny teknik. Slutligen ger utvärderingsmodellen en solid plattform för beslutsfattare.

Metoder och verktyg

Odense använder en dansk utvärderingsmodell vid namn VTV som utvecklats av det danska teknologiska institutet, tillsammans med en separat business case-modell. Båda återfinns på hemsidan www.nordicwelfare.org/connect

VTV ger en bra översikt och täcker de viktigaste frågorna för produktutvärdering. Den ger också ett visuellt perspektiv på teknikens prestanda och fungerar som en bra plattform för en beslutsprocess. I Odense kombineras den med en mer omfattande business case-modell i som ger en djupare analys av teknikens ekonomi och dess potentiella effekter. Ni kan läsa mer om VTV på danska Teknologisk Instituts hemsida (länk nedan) eller gå till CONNECT-webbplatsen för att via Odenses riktlinjedokument ta del av information hur en VTV genomförs: http://www.teknologisk.dk/ydelser/vtv-velfaerdsteknologivurdering/32944

Göteborg använder modellen balanserat styrkort med fyra perspektiv

  • Användare/anhöriga, anställda, organisation och ekonomi.
  • Ytterligare parametrar kan positioneras på den andra axeln, såsom funktionalitet, säkerhet, kvalitet och kostnad.

Göteborg rekommenderar också följande verktyg:

  • e-delegationens "metod för utveckling i samverkan" (http://www.esamverka.se/stod-och-vagledning/vagledningar/metod-for-utveckling-i-samverkan.html)
  • e-delegationens "Business Case Model".
  • www.opiguide.dk innehåller både business case-modeller och utvärderingsmodeller för innovation som kan vara användbara eller inspirerande.
  • Digitaliseringsstyrelsen i Danmark rekommenderar följande business case-modell: http://www.digst.dk/Styring/Business-case-model
  • Samveis.no innehåller både råd och verktyg som hjälper er igenom utvärderingsprocessen. Mer information på: http://www.samveis.no/metodikken/utvikling-utproving-og-evaluering/
  • Sitra i Finland har en handbok för ledning inom sociala frågor och sjukvård som Södra Karelen har nytta av, både med avseende på utvärdering och andra ledningsfrågor. Mer information på Sitra-webbplatsen: http://www.sitra.fi/julkaisut/muut/Sosiaali_ja_terveyspalveluiden_tietojohtamisen_kasikirja.pdf

Exempel på CONNECT-deltagarnas utvärderingsmodeller

Exempel på detta specifika steg återspeglas både i avsnittet för metoder och verktyg och i metodiken. CONNECT-kommunerna delar gärna med sig av utvärderingsmodeller för specifika tekniker om ni kontaktar dem direkt.

Odense

Som ett exempel kan man på www.odense.dk/cfv se vilka tekniker som testats och implementerats i Odense. På webbplatsen www.nordicwelfare.org/connect återfinns också Odenses riktlinjedokument för hur de använder (ovan nämnda) VTV-metodik och hur de gör ett grundligt business case.

CONNECT-deltagarna genomför också utvärderingsprocessen på olika sätt och med eller utan partners. Ett exempel på en process med partners är följande:

Uleåborg

OuluHealth Labs tillhandahåller en unik, integrerad miljö för hälsotester och utveckling, inklusive synpunkter från personalen, för alla delar av F&U-processen.

OuluHealth Labs tjänster tillhandahålls av regionens främsta organisationer, till exempel Universitetssjukhuset i Uleåborg, Oulu University of Applied Sciences och Uleåborg stads sjukvårds- och socialtjänst. Oulu CityLab är del av OuluHealth Labs. Testmiljön är där slutanvändarna befinner sig – i kundernas och patienternas hem på alla vård- och stödinstitutioner i Uleåborgs stad. Produktutvecklarna får direkt återkoppling om produkten från personal och kunder i riktiga vardagssituationer i vårdmiljön. Läs mer: www.ouluhealth.fi

Västerås

I Västerås används följande allmänna tillvägagångssätt för att utvärdera nya lösningar: • Vi har nu genomfört utvärderingar av ny teknik i sju år. Vi försöker utforma utvärderingsmetoden individuellt från fall till fall. Vi delar i generellt in utvärderingen i två faser:

  • I den första fasen ber vi testpersonerna hjälpa oss utifrån deras expertkunskap (om hur det är att vara gammal eller ha funktionshinder) när de testar den nya tekniken åt oss. Vi betonar att detta handlar om att hjälpa oss att utvärdera och vi fortsätter ge dem lika mycket hjälp som vanligt, eller är närvarande när de använder den nya tekniken.
  • Den andra fasen innebär att vi ersätter den normala vårdservicen med det nya sättet genom tekniken. I denna fas har vi fortfarande extra resurser för stöd och för att kunna gå in om tekniken inte fungerar, så det är fortfarande en pilot men vi kan ändå säga att vi faktiskt ger vård med tekniken.

I båda dessa faser samlar vi erfarenheter från alla inblandade: användare, anhöriga, personal och andra. Datan är vanligtvis kvalitativ och ostrukturerad men ibland – särskilt när vi jämför liknande lösningar – gör vi också utfrågningar och använder annan kvantitativ data.

Senast uppdaterad

2017-03-30

Nordens välfärdscenter | tel: +46 8 545 536 00 | | En institution under Nordiska ministerrådet