User Interface Evaluation

Teknik Evaluasi
Metode yang dilakukan untuk melakukan evaluasi

• Formal vs Non-Formal 
• Dengan atau tanpa end-user 
• Dapat menggunakan bebagai jenis prototype

Secara khusus terdapat 3 (tiga) bentuk,
Heuristic evaluation, Cognitive walkthrough, think aloud observation

Heuristic Evaluation

• Sejumlah pakar diminta untuk mengevaluasi desain interface secara independen untuk menilai desain tersebut berdasar prinsip-prinsip usabilitas.
• Bersifat formal dan kualitatif.
• Cocok untuk mengevaluasi paper-based / low-fidelity prototype.

Prosedur

• Input
• Evaluasi secara independen
• Debriefing
• Severity rating

Input

• Tim evaluasi (terdiri dari beberapa pakar  usability expert)
• Anggota Tim harus familier dengan konteks permasalahan
• Prototype dari interface yang akan dievaluasi (biasanya berupa sketsa screen atau storyboard)

Debriefing

• Diskusi antar evaluator untuk membahas semua error / kesalahan yang mereka temukan pada prototype yang dievaluasi.
• Diskusi ini untuk menentukan tingkat urgensi error / kesalahan.

Severity rating Penentuan rating error yang didasarkan pada :

• Frekuensi (seberapa sering error itu terjadi).
• Dampak terhadap proses bisnis yang ditangani oleh sistem.
• Dampak bagi kenyamanan dan penerimaan pengguna terhadap sistem.
• Pengaruh terhadap daya saing sistem (terutama aplikasi- aplikasi komersial).

Rating

• 0 – Bukan suatu error / kesalahan.
• 1 – Cosmetic problem, kesalahan tampilan/ dilakukan perbaikan kalau ada waktu saja. 
• 2 – Minor problem, prioritas rendah untuk diperbaiki.
• 3 – Major problem, prioritas tinggi untuk diperbaiki. 
• 4 – Catastrophe, harus diperbaiki sebelum produk dirilis.

Cognitive Walkthrough

• Evaluasi terhadap tingkat kemudahan sistem melalui eksplorasi yang dilakukan oleh end-user..
• Cocok untuk software-based/ high fidelity prototype
• End-user diberi instruksi yang terstruktur untuk mencoba prototype kemudian diminta memberikan tanggapan.

Prosedur CW

• Input.
• Serangkaian penugasan bagi pengguna untuk mengeksplorasi fungsionalitas prototype sistem.
• Selama proses eksplorasi, end-user diminta untuk memberikan komentar / tanggapan sebagai masukan dalam evaluasi prototype sistem.

Input

• Mendefinisikan penugasan terstruktur bagi end-user.
• Mengidentifikasi end-user  berdasar tingkat pengetahuan & pengalaman  Adanya prototype  sebagai objek eksplorasi end-user.

Proses walkthrough

• End-user diminta untuk melakukan tugas yang telah disiapkan satu per satu kemudian dimintai komentar / masukan.
• Tidak berjalan optimal jika end-user merasa grogi, under pressure, atau tidak nyaman.

4 Pertanyaan sebagai indikator

• Apakah pengguna tertarik untuk mengakses fungsionalitas sistem? 
• Apakah pengguna tahu jika pada sistem terdapat fungsionalitas yang dia inginkan? 
• Apakah pengguna tahu bahwa fungsionalitas pada sistem yang dia pilih sudah tepat seperti yang dia inginkan? 
• Apakah pengguna dapat memahami feedback / output dari sistem?

Observation
Langsung

• Pada ruangan yang sama
• bisa menjadi intrusif, pengguna tidak nyaman karena mungkin grogi, tidak percaya diri 
• Hanya dapat diamati satu kali saja 
• Dapat menggunakan cermin 1 arah untuk mengurangi ketidaknyamanan pengguna.

Tidak langsung

• melalui rekaman video 
• dapat mengurangi rasa intrusif 
• Kamera diarahkan pada tampilan layar/ interface, wajah pengguna, dan keyboard 
• Dapat menghabiskan waktu lama untuk dapat dianalisis.

Lokasi
Observasi dapat dilakukan di Laboratorium – bisa lab khusus usabilitas 

• Mudah dilakukan kontrol 
• Dapat menyusun penugasan yang lebih terstruktur (tempat, kondisi nyaman) 

Tempat kerja pengguna 

• Mengamati secara langsung 
• Lebih realistis 
• Kesulitan dalam mengontrol faktor-faktor eksternal