Tentang Pengukuran

Not everything that can be counted counts, and not everything that counts can be counted.
William Bruce Cameron

Aku sedang gamang. Gamangnya sih sederhana, aku sedang kerajingan mengukur segala hal yang bisa diukur. Alasannya begini, karena menurutku performa yang bisa diukur itu penting untuk bisa membuat informed decision. Penting sekali untuk membuat dan mengenali metriks-metriks yang bisa menggambarkan keadaan dalam sistem. Misal, dalam sistem komputer kita bisa kasih parameter response time, kalau response time-nya lambat maka ada sesuatu yang tidak optimal dalam sistem dan kudu diperbaiki.

Prinsip Metriks yang bagus
Kalau dariku prinsip metriks yang baik itu adalah:
1. Deskriptif. Metriks yang kita pilih haruslah metriks yang bisa menggambarkan keadaan sistem saat itu. Response time dari website adalah contoh yang bagus. Kita bisa cepat tahu sistemnya sedang lambat atau cepat hanya dengan melihat response time.
2. Investigatif. Metriks yang ini biasanya beda dengan nomor 1. Jika di metriks 1 kita bisa melihat ada masalah, metriks investigatif ini gunanya untuk tahu, masalahnya dimana. Jika metriks pertama bilang website lambat, metriks kedua bisa bilang lambatnya dimana. Apakah lambat saat proses, akses database, akses webserver atau yang lain.
3. Konsisten. Prinsip metriks yang ini sedikit bermasalah memang, ini salah satu yang membuatku berpikir keras. Misal aku membuat perubahan pada sistem dan sistemnya jadi lebih cepat, aku harus tahu juga, apakah website yang lebih cepat itu memang karena perubahan yang dilakukan atau karena kebetulan (pengunjungnya drop, memang bukan jam sibuk, atau ternyata kabel fiber optik di Sumatera sudah diperbaiki).
4. Cepat, mudah dan murah. Prinsip ini juga yang kudu dipegang erat. Mungkin kita tahu bahwa suatu metriks itu penting, tapi jika butuh 10 orang yang mengerjakan dalam waktu sebulan untuk dapat metriks tersebut maka metriks itu terlalu mahal. Seringkalo metriks yang terlalu lama pengerjaannya juga tidak efektif karena kita telat meresponnya. Jadi, metriks itu harus cepat agar bisa direspon dengan segera jika ada yang salah, mudah dan murah agar tidak menghabiskan sumber daya yang berharga.
5. Tepat guna. Ini terkait dengan kutipan di awal artikel ini, tidak semua yang bisa diukur itu berguna. Tapi ini juga relatif. Contoh kasus, perusahaan UPS di US saat mengatur jalur pengiriman barang akan membuat rutenya sedemikian hingga belok kirinya diminimalisir hal ini karena mereka menemukan bahwa belok kiri itu menghabiskan banyak bensin. Ide ini cuma bisa terjadi jika UPS mencatat berapa kali supir belok kiri, lurus dan belok kanan, berapa jumlah bensin sebelum jalan dan berapa saat kembali ke gudang. Sekilas, memang datanya mubazir dan tidak tepat guna, tapi selama pengumpulan datanya cepat mudah dan murah, ya kenapa tidak? Siapa tahu nantinya bisa dipakai.
6. Sensor, sensor dan sensor. Terkait dengan pertentangan antara 4 dan 5, sensor adalah enabler revolusi data metriks. Kita bisa memasang berbagai sensor di mobil UPS untuk mengukur performa supir sehingga kita bisa punya gambaran komprehensif apa saja yang terjadi di mobil UPS.

Masalah dengan metriks.
1. Data overload. Karena mengukur sesuatu sekarang gampang, maka data poinnya semakin banyak. Kadang kita malah punya terlalu banyak data yang kudu diolah sehingga kesimpulannya tidak ada, lebih parah lagi kadang kesimpulannya salah karena begitu banyaknya data sehingga hipotesis yang sebenarnya salah pun bisa dibuktikan.
2. Bias kognitif. Ini sebenarnya terkait dengan siapa yang mengukur. 2 orang yang memandangi data yang sama bisa melihat dua hal yang berbeda. Yang mana yang benar? Tergantung mana yang teriaknya lebih kencang tentunya.
3. Gaming the system. Hal ini biasanya terjadi jika yang diukur adalah performa pegawai. Contohnya jika kita mengupah pelayan hotel dengan jumlah kamar yang dibersihkan maka kita akan melihat para pelayan ini tiba-tiba bisa menyelesaikan banyak kamar dalam sehari, tapi kamarnya tidak dibersihkan dengan benar.
4. Data yang penting ternyata tidak bisa atau susah diukur. Ini adalah inti kutipan di awal artikel. Ternyata memang ada hal-hal yang ingin kita tahu tapi susah diukur. Contohnya produktifitas pegawai dan performa perusahaan. Kita tidak bisa dengan mudah mengukur produktifitas pegawai tanpa para pegawai kita mempermainkan sistem kita. Performa perusahaan juga begitu, misal kita bilang, perusahaan yang bagus adalah perusahaan yang profit per kuartalnya besar, kita akan menemukan banyak perusahaan akan memotong banyak pos-pos pengeluaran penting agar profit kuartal ini besar dan jadi short-term thinking. Akhirnya untung besar, tapi lama kelamaan malah bangkrut.

Kesimpulan
Tidak ada kesimpulan selain mengukur performa sistem itu tidak semudah yang dibayangkan.

About these ads

Tentang dnial

You don't see anything You don't hear anything You don't know anything Move along and pretend nothing happen

Posted on 8 Mei, 2013, in career, experience, IT, life and tagged , . Bookmark the permalink. Tinggalkan komentar.

Tinggalkan Balasan

Isikan data di bawah atau klik salah satu ikon untuk log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Logout / Ubah )

Twitter picture

You are commenting using your Twitter account. Logout / Ubah )

Facebook photo

You are commenting using your Facebook account. Logout / Ubah )

Google+ photo

You are commenting using your Google+ account. Logout / Ubah )

Connecting to %s

Ikuti

Get every new post delivered to your Inbox.

Bergabunglah dengan 42 pengikut lainnya.

%d bloggers like this: