Kết hợp bằng chứng nghiên cứu với bối cảnh doanh nghiệp

Trong evidence-based management, Center for Evidence-Based Management (CEBMa) xem bằng chứng khoa học là một trong nhiều nguồn cần được cân nhắc cùng dữ liệu của tổ chức, kinh nghiệm chuyên môn và mối quan tâm của các bên liên quan. Cách tiếp cận này đặc biệt quan trọng vì một nghiên cứu có thể đáng tin cậy về mặt phương pháp nhưng vẫn không đủ để trở thành quyết định kinh doanh nếu điều kiện áp dụng khác đáng kể.

Bằng chứng nghiên cứu không phải là công thức áp dụng nguyên xi

Một kết quả nghiên cứu thường trả lời một câu hỏi có điều kiện: với nhóm đối tượng này, cách can thiệp này, quy trình này và khoảng thời gian này, kết quả quan sát được là gì. Quyết định doanh nghiệp lại phải trả lời một câu hỏi khác: nếu triển khai trong hệ thống hiện tại, lợi ích có đủ lớn so với chi phí, rủi ro và các phương án thay thế hay không.

Sự khác biệt đó giải thích vì sao chất lượng của nghiên cứu và khả năng áp dụng nghiên cứu phải được đánh giá riêng.

Một nghiên cứu có kiểm soát tốt có thể có internal validity cao, tức là có cơ sở tương đối mạnh để kết luận rằng tác động quan sát được liên quan đến yếu tố được nghiên cứu. Nhưng external validity — khả năng chuyển kết quả sang môi trường khác — còn phụ thuộc vào mức độ giống nhau giữa bối cảnh nghiên cứu và doanh nghiệp.

Giả sử một nghiên cứu cho thấy một phương pháp làm việc giúp năng suất tăng 8% trong các nhóm có quy trình chuẩn hóa và người quản lý được đào tạo trước. Con số 8% không có nghĩa mọi doanh nghiệp triển khai phương pháp đó đều được thêm 8%. Nếu doanh nghiệp không có quy trình ổn định, cấp quản lý không thực hiện đúng can thiệp hoặc hệ thống khuyến khích tạo hành vi ngược lại, cơ chế tạo ra kết quả trong nghiên cứu có thể không hoạt động.

Vì vậy, câu hỏi đầu tiên không nên là “nghiên cứu này có uy tín không?” rồi lập tức chuyển sang triển khai. Cần tách thành hai phép kiểm tra: bằng chứng đáng tin đến đâu và bằng chứng đó có đủ khả năng chuyển giao sang điều kiện hiện tại hay không.

Đánh giá khả năng chuyển giao của bằng chứng sang doanh nghiệp

Khả năng chuyển giao không thể được xác định chỉ bằng việc nghiên cứu có cùng ngành hay không. Hai doanh nghiệp cùng ngành vẫn có thể khác nhau đáng kể về khách hàng, quy trình, năng lực quản lý, công nghệ, cơ chế khuyến khích và mức trưởng thành vận hành.

Cách đáng tin cậy hơn là so sánh những điều kiện có khả năng tham gia vào cơ chế tạo ra kết quả.

So sánh đối tượng và vấn đề thực tế

Trước tiên, cần xem đối tượng trong nghiên cứu có tương đồng với đối tượng mà doanh nghiệp đang tác động hay không. Đó có thể là nhân viên, khách hàng, đội bán hàng, nhà quản lý hoặc một loại quy trình.

Điều cần so sánh không chỉ là đặc điểm nhân khẩu học hay quy mô doanh nghiệp. Quan trọng hơn là những đặc điểm có thể làm thay đổi phản ứng đối với can thiệp: mức kinh nghiệm, động lực, hành vi hiện tại, mức độ phức tạp của công việc, cấu trúc quyết định hay điểm xuất phát của chỉ số đang được cải thiện.

Nếu các đặc điểm khác nhau nhưng không liên quan tới cơ chế của can thiệp, sự khác biệt đó có thể không đáng lo. Ngược lại, chỉ một khác biệt nhỏ nhưng nằm đúng trên chuỗi nhân quả có thể khiến kết quả khó chuyển giao.

Xác định cơ chế thay vì chỉ sao chép hoạt động

Một nghiên cứu có thể mô tả hoạt động cụ thể, nhưng doanh nghiệp cần hiểu tại sao hoạt động đó tạo ra kết quả.

Chẳng hạn, nếu một can thiệp thành công vì làm giảm thời gian phản hồi giữa hành vi và thông tin sửa lỗi, yếu tố quan trọng là tốc độ và chất lượng phản hồi. Hình thức triển khai — cuộc họp trực tiếp, dashboard hay quy trình phản hồi trên phần mềm — có thể chỉ là phương tiện.

Việc xác định cơ chế giúp phân biệt phần cần giữ nguyên với phần có thể điều chỉnh theo doanh nghiệp. Nếu chỉ sao chép hình thức mà bỏ mất cơ chế, tổ chức có thể thực hiện một chương trình trông giống nghiên cứu nhưng không còn là cùng một can thiệp về mặt chức năng.

Đọc mức độ bất định, không chỉ đọc kết quả trung bình

Kết quả trung bình có thể che giấu sự khác biệt đáng kể giữa các môi trường nghiên cứu.

Với tổng quan hệ thống hoặc meta-analysis, doanh nghiệp nên chú ý không chỉ tới effect size trung bình mà còn tới khoảng tin cậy, mức độ không đồng nhất giữa các nghiên cứu và các phân tích cho thấy tác động thay đổi theo điều kiện nào. Một tác động xuất hiện khá nhất quán trong nhiều bối cảnh khác nhau thường cho cơ sở chuyển giao tốt hơn một tác động chỉ được quan sát trong một nhóm môi trường rất hẹp.

Ngược lại, meta-analysis cũng không tự động giải quyết vấn đề. Nếu các nghiên cứu thành phần có chất lượng thấp, đo lường khác nhau hoặc không giống bối cảnh cần áp dụng, việc tổng hợp nhiều nghiên cứu không biến chúng thành bằng chứng phù hợp với doanh nghiệp.

Đặt bằng chứng nghiên cứu cạnh dữ liệu và điều kiện nội bộ

Bằng chứng bên ngoài cho doanh nghiệp một điểm xuất phát. Dữ liệu nội bộ cho biết điểm xuất phát đó có ý nghĩa gì trong hệ thống thực tế.

Đây là lý do evidence-based management không đặt nghiên cứu khoa học một mình ở vị trí quyết định. Mô hình của CEBMa kết hợp bằng chứng khoa học với dữ liệu tổ chức, chuyên môn nghề nghiệp và mối quan tâm của các bên liên quan. Các nguồn này không có nhiệm vụ “bỏ phiếu” xem nguồn nào thắng; chúng trả lời những phần khác nhau của cùng một quyết định.

Chuyển tác động nghiên cứu thành tác động tuyệt đối

Một trong những lỗi dễ gặp là lấy mức cải thiện tương đối trong nghiên cứu và xem đó là lợi ích kinh doanh.

Giả sử bằng chứng phù hợp cho thấy một biện pháp có khả năng tạo mức tăng tương đối 10%. Nếu tỷ lệ chuyển đổi hiện tại của doanh nghiệp là 2%, tác động tương ứng sẽ đưa tỷ lệ lên khoảng 2,2%, tức tăng 0,2 điểm phần trăm. Với doanh nghiệp khác có baseline 8%, cùng mức tăng tương đối 10% sẽ đưa tỷ lệ lên khoảng 8,8%, tức tăng 0,8 điểm phần trăm.

Cùng một effect size tương đối nhưng giá trị tuyệt đối hoàn toàn khác nhau.

Nếu doanh nghiệp có 100.000 lượt cơ hội và baseline 2%, mức tăng từ 2% lên 2,2% tương đương khoảng 200 kết quả bổ sung. Giả sử mỗi kết quả tạo 200.000 đồng lợi nhuận đóng góp, phần tăng thêm trước chi phí triển khai vào khoảng 40 triệu đồng.

Ví dụ này không chứng minh biện pháp nào đó sẽ tạo đúng 10%. Nó cho thấy lý do một kết quả nghiên cứu phải được đặt vào baseline và economics của doanh nghiệp trước khi trở thành business case.

Kiểm tra các điều kiện vận hành

Sau baseline, cần đối chiếu những điều kiện có khả năng làm thay đổi việc triển khai:

·         Năng lực của người thực hiện

·         Quy trình và công nghệ hiện có

·         Thời gian và nguồn lực cần thiết

·         Cơ chế khuyến khích có hỗ trợ hành vi mong muốn hay không

·         Khả năng đo lường kết quả

·         Mức chấp nhận của những bên chịu tác động

Một can thiệp có thể có bằng chứng khoa học tốt nhưng vẫn không phải lựa chọn kinh tế tốt ở thời điểm hiện tại nếu chi phí tạo điều kiện để nó hoạt động vượt quá giá trị kỳ vọng.

Ngược lại, “bối cảnh của chúng ta khác” cũng không phải lý do đủ để loại bỏ nghiên cứu. Doanh nghiệp phải chỉ ra khác biệt nào, khác biệt đó nằm ở đâu trong cơ chế và tại sao nó có khả năng thay đổi kết quả.

Giữ cơ chế cốt lõi nhưng điều chỉnh cách triển khai

Đưa bằng chứng vào bối cảnh doanh nghiệp gần như luôn đòi hỏi một mức độ thích nghi. Vấn đề là thích nghi cái gì.

Hai cực đều có rủi ro. Áp dụng nguyên xi có thể bỏ qua điều kiện thực tế. Điều chỉnh quá nhiều có thể phá vỡ chính cơ chế đã tạo ra bằng chứng ban đầu.

Cách xử lý là tách can thiệp thành hai lớp.

Lớp thứ nhất là thành phần cốt lõi: những yếu tố cần thiết để cơ chế nhân quả có cơ hội hoạt động. Lớp thứ hai là hình thức triển khai: kênh, lịch trình, công cụ, vai trò hoặc cách tổ chức có thể thay đổi mà không làm mất cơ chế.

Ví dụ, nếu giá trị của một phương pháp phản hồi nằm ở việc phản hồi phải kịp thời, cụ thể và có thể hành động, doanh nghiệp cần bảo vệ ba đặc tính đó. Việc phản hồi diễn ra qua cuộc họp hàng tuần, một dashboard hay công cụ quản lý công việc có thể được điều chỉnh dựa trên quy trình nội bộ, miễn là sự điều chỉnh không khiến phản hồi trở nên chậm, mơ hồ hoặc không thể hành động.

Đây cũng là lý do cần theo dõi implementation fidelity. Khi kết quả thực tế không giống nghiên cứu, doanh nghiệp cần biết mình đã kiểm thử cùng một cơ chế trong điều kiện khác hay trên thực tế đã biến can thiệp thành một thứ khác.

Trade-off quan trọng nằm ở đây: càng giữ nguyên thiết kế nghiên cứu, khả năng so sánh với bằng chứng gốc càng cao nhưng mức phù hợp vận hành có thể thấp; càng tùy biến, khả năng tích hợp với doanh nghiệp càng cao nhưng mức chắc chắn rằng bằng chứng gốc còn áp dụng càng giảm.

Mục tiêu không phải tối đa hóa một phía. Mục tiêu là thay đổi đủ để phù hợp nhưng giữ được những thành phần mà lập luận nhân quả phụ thuộc vào.

Xử lý khi nghiên cứu, kinh nghiệm và dữ liệu nội bộ không cùng một hướng

Xung đột giữa các nguồn bằng chứng không nên được xử lý bằng cách chọn nguồn thuận với quan điểm có sẵn. Chính sự bất đồng thường cung cấp thông tin về phần bối cảnh chưa được hiểu đúng.

Nếu nghiên cứu chất lượng tương đối cao cho thấy một tác động nhưng dữ liệu doanh nghiệp không thấy tác động đó, có ít nhất bốn nhóm nguyên nhân cần được phân biệt: khả năng chuyển giao của nghiên cứu, chất lượng đo lường nội bộ, mức độ triển khai đúng cơ chế và sự tồn tại của một điều kiện đặc thù đang làm thay đổi tác động.

Một vài trải nghiệm cá nhân tiêu cực không đủ để bác bỏ một tổng hợp nghiên cứu đáng tin cậy. Kinh nghiệm có thể chịu ảnh hưởng của chọn mẫu nhỏ, trí nhớ và nhiều yếu tố không được kiểm soát.

Nhưng chiều ngược lại cũng quan trọng. Nếu doanh nghiệp có dữ liệu nội bộ được đo nhất quán qua nhiều chu kỳ và kết quả liên tục khác với bằng chứng bên ngoài, không nên ép thực tế phải khớp với nghiên cứu. Khi đó, sự khác biệt trở thành một giả thuyết cần điều tra: baseline có khác không, khách hàng có phản ứng khác không, cơ chế có bị chặn bởi quy trình hay điều kiện nào của nghiên cứu không tồn tại ở đây.

Ba hiểu nhầm cần tránh là:

·         Nghiên cứu chất lượng cao đồng nghĩa với việc chắc chắn hiệu quả tại mọi doanh nghiệp

·         Bối cảnh doanh nghiệp khác biệt nên có thể bỏ qua bằng chứng bên ngoài

·         Một “best practice” có thể được chuyển nguyên trạng từ tổ chức này sang tổ chức khác

Cách tiếp cận tốt hơn là xem độ tin cậy của bằng chứng và mức độ phù hợp bối cảnh như hai trục riêng. Bằng chứng mạnh nhưng khả năng chuyển giao chưa rõ thường dẫn tới một thử nghiệm thận trọng. Bằng chứng yếu nhưng quyết định có chi phí thấp và dễ đảo ngược cũng có thể được kiểm thử, nhưng với mức tin cậy ban đầu thấp hơn. Bằng chứng yếu kết hợp với quyết định tốn kém, khó đảo ngược cần ngưỡng chấp nhận cao hơn nhiều.

Như vậy, độ mạnh của bằng chứng không chỉ quyết định “có làm hay không”; nó còn quyết định quy mô cam kết hợp lý trước khi có thêm dữ liệu.

Chuyển bằng chứng thành thử nghiệm, chỉ số và tiêu chí quyết định

Bước cuối cùng là biến lập luận thành một quy trình có thể kiểm chứng. Nếu doanh nghiệp không xác định trước điều gì sẽ khiến mình thay đổi quyết định, việc “thử nghiệm” rất dễ trở thành một chương trình đã được lựa chọn trước rồi tìm số liệu để biện minh sau.

Một quy trình thực tế có thể đi theo sáu bước:

1.    Xác định claim cần kiểm tra — Viết rõ can thiệp được kỳ vọng tác động đến kết quả nào, thông qua cơ chế nào

2.    Đánh giá bằng chứng bên ngoài — Kiểm tra chất lượng nghiên cứu, effect size, độ bất định và các điều kiện mà tác động đã được quan sát

3.    Đối chiếu bối cảnh nội bộ — So sánh baseline, đối tượng, quy trình, năng lực, nguồn lực, cơ chế khuyến khích và các bên chịu tác động

4.    Xác định phần giữ nguyên và phần điều chỉnh — Bảo vệ cơ chế cốt lõi nhưng thích nghi hình thức triển khai

5.    Thử nghiệm với tiêu chí được xác định trước — Chọn chỉ số kết quả, chỉ số bảo vệ, khoảng thời gian đo và ngưỡng tác động đủ giá trị kinh doanh

6.    Cập nhật quyết định từ kết quả — Mở rộng, điều chỉnh, dừng hoặc thu thập thêm bằng chứng tùy theo dữ liệu

Một chi tiết quan trọng là xác định minimum worthwhile effect theo economics của doanh nghiệp, thay vì chỉ hỏi kết quả có “statistically significant” hay không.

Giả sử một chương trình chỉ bù được toàn bộ chi phí khi tỷ lệ chuyển đổi tăng ít nhất 0,3 điểm phần trăm. Khi đó, 0,3 điểm phần trăm là một ngưỡng quyết định có ý nghĩa kinh doanh. Nếu ước lượng tốt nhất của thử nghiệm chỉ tăng 0,1 điểm phần trăm, việc kết quả có đạt một ngưỡng thống kê nào đó cũng không biến tác động thành đủ giá trị kinh tế.

Ngược lại, nếu ước lượng tác động lớn nhưng khoảng bất định còn rộng, doanh nghiệp có thể chưa cần lựa chọn giữa “triển khai toàn bộ” và “loại bỏ”. Một pilot lớn hơn hoặc triển khai từng giai đoạn có thể tạo thêm thông tin với mức rủi ro thấp hơn.

Đây là điểm mà bằng chứng nghiên cứu và bối cảnh doanh nghiệp thực sự được kết hợp: nghiên cứu tạo prior về điều gì có khả năng xảy ra và thông qua cơ chế nào; dữ liệu doanh nghiệp cho biết tác động có xuất hiện ở đây hay không; còn tiêu chí kinh tế xác định tác động đó có đủ giá trị để hành động hay không.

Kết hợp bằng chứng nghiên cứu với bối cảnh doanh nghiệp không có nghĩa làm loãng nghiên cứu cho phù hợp với quan điểm nội bộ. Cũng không có nghĩa áp dụng kết luận khoa học như một công thức phổ quát. Cách tiếp cận chặt chẽ hơn là đánh giá riêng chất lượng và khả năng chuyển giao của bằng chứng, đối chiếu nó với baseline và điều kiện vận hành, giữ nguyên cơ chế cốt lõi khi thích nghi cách triển khai, rồi kiểm chứng bằng dữ liệu thực tế và ngưỡng quyết định đã xác định trước.

Khi làm như vậy, doanh nghiệp không còn phải chọn giữa “theo nghiên cứu” và “theo thực tế”. Nghiên cứu cung cấp cơ sở để hình thành kỳ vọng; bối cảnh xác định điều kiện áp dụng; còn thử nghiệm và dữ liệu nội bộ giúp doanh nghiệp cập nhật mức độ tin cậy trước khi mở rộng cam kết.