Phản ánh sự không chắc chắn vào ra quyết định

Một quyết định tốt cần tách ba lớp. Lớp thứ nhất là bằng chứng: hiệu ứng được ước lượng ra sao và độ chắc chắn của ước lượng thế nào. Lớp thứ hai là hậu quả quyết định: lợi ích, tổn thất và rủi ro của từng phương án trong các trạng thái khác nhau. Lớp thứ ba là quy tắc hành động: khi nào triển khai, khi nào thí điểm, khi nào trì hoãn để thu thập thêm thông tin và khi nào không nên tiếp tục. Cách tiếp cận này giúp sự không chắc chắn trở thành một biến đầu vào của quyết định thay vì một lý do chung chung để “thận trọng”.

Bất định phải thay đổi quyết định, không chỉ thay đổi cách diễn đạt kết quả

Sai lầm phổ biến là tách nghiên cứu và quyết định thành hai bước gần như độc lập: nhà nghiên cứu báo cáo một kết quả cùng một mức độ bất định, sau đó người ra quyết định chọn “có” hoặc “không”. Cách làm này bỏ qua câu hỏi quan trọng nhất: mức bất định hiện tại có ý nghĩa gì đối với lựa chọn giữa các phương án cụ thể?

Một kết quả chưa chắc chắn không tự động dẫn đến kết luận “không hành động”. Ngược lại, một kết quả có độ chắc chắn cao cũng không tự động đồng nghĩa với “phải triển khai”. Quyết định còn phụ thuộc vào độ lớn của lợi ích và tác hại, chi phí của sai lầm, giá trị mà các bên liên quan đặt vào từng kết quả, tính khả thi và khả năng đảo ngược hành động.

GRADE Evidence to Decision minh họa rõ nguyên tắc này: độ chắc chắn của bằng chứng chỉ là một trong nhiều tiêu chí cần xem xét cùng với tác động mong muốn và không mong muốn, giá trị, nguồn lực, khả năng chấp nhận và tính khả thi. Trong khuôn khổ này, bằng chứng càng ít chắc chắn thì càng khó biện minh cho một khuyến nghị mạnh và càng có lý do để cân nhắc đánh giá tiếp nếu phương án được triển khai.

Do đó, thay vì hỏi “bằng chứng đã đủ chắc chưa?”, câu hỏi hữu ích hơn là: “Với mức bất định hiện tại, phương án nào có kết quả kỳ vọng tốt nhất và quyết định đó nhạy đến mức nào với những điều chúng ta chưa biết?”

Biểu diễn bất định bằng phạm vi, xác suất và mức tin cậy thay vì một kết quả nhị phân

Muốn bất định ảnh hưởng được đến quyết định, trước hết phải biểu diễn nó đúng cách. Một ước lượng điểm như “tác động trung bình là 8%” chỉ cho biết vị trí trung tâm của kết quả; nó chưa cho biết mức độ dao động của ước lượng, khả năng các kịch bản khác nhau xảy ra hay mức độ đáng tin của toàn bộ cơ sở bằng chứng.

Đặc biệt, không nên biến kiểm định thống kê thành quy tắc quyết định. Tuyên bố năm 2016 của American Statistical Association nhấn mạnh rằng kết luận khoa học cũng như quyết định kinh doanh hoặc chính sách không nên chỉ dựa vào việc p-value có vượt qua một ngưỡng cố định hay không; p-value cũng không cho biết độ lớn hay tầm quan trọng thực tế của một hiệu ứng.

Khi dữ liệu cho phép lượng hóa, người ra quyết định nên nhìn vào phân bố hoặc phạm vi kết quả có thể xảy ra, mức độ chính xác của ước lượng và xác suất liên quan đến các kết quả có ý nghĩa đối với quyết định. Chẳng hạn, câu hỏi thực tế không nhất thiết là “hiệu ứng có khác 0 với p < 0,05 hay không?”, mà có thể là “bao nhiêu phần của phân bố kết quả nằm trên ngưỡng lợi ích tối thiểu mà chúng ta coi là đáng hành động?”.

Khi bằng chứng không đủ để gán xác suất đáng tin cậy, không nên tạo ra độ chính xác giả. IPCC phân biệt confidence — đánh giá định tính dựa trên chất lượng, lượng và tính nhất quán của bằng chứng cùng mức độ đồng thuận — với likelihood, tức biểu diễn bất định bằng xác suất khi có cơ sở để làm vậy. IPCC cũng thừa nhận những tình huống “deep uncertainty”, nơi mô hình thích hợp, phân bố xác suất hoặc cách định giá kết quả chưa được biết hoặc chưa có đồng thuận; trong những trường hợp đó, phân tích kịch bản và các câu chuyện tương lai hợp lý có thể hữu ích hơn việc ép mọi thứ thành một xác suất duy nhất.

Như vậy, mức biểu diễn bất định phải tương xứng với kiến thức thực sự có sẵn: lượng hóa khi có thể, hiệu chỉnh ngôn ngữ khi chưa thể lượng hóa và dùng kịch bản khi bản thân cấu trúc của vấn đề còn chưa chắc chắn.

Không gộp mọi nguồn bất định thành một con số duy nhất

Hai nghiên cứu có cùng một khoảng ước lượng rộng chưa chắc cần cùng một phản ứng. Điều quan trọng là biết bất định đến từ đâu, bởi mỗi nguồn đòi hỏi một cách xử lý khác nhau.

Trong đánh giá bằng chứng, GRADE phân biệt các vấn đề như nguy cơ sai lệch, sự không nhất quán giữa nghiên cứu, tính gián tiếp của bằng chứng, độ thiếu chính xác và thiên lệch công bố. Trong mô hình quyết định, NICE đồng thời yêu cầu xem xét bất định từ độ chính xác của tham số, lựa chọn nguồn dữ liệu và các giả định cấu trúc của mô hình.

Bất định do thiếu chính xác thường có thể giảm bằng thêm dữ liệu phù hợp. Nếu mẫu nhỏ khiến ước lượng dao động rộng, nghiên cứu lớn hơn có thể thu hẹp vấn đề đó. Nhưng thêm hàng nghìn quan sát không tự động loại bỏ một sai lệch có hệ thống trong thiết kế; vì vậy, tăng cỡ mẫu không phải thuốc chữa chung cho mọi bất định.

Bất định do sai lệch đòi hỏi xem lại thiết kế, đo lường, lựa chọn mẫu hoặc các giả định nhân quả. Nếu nguồn sai số nằm trong cách dữ liệu được tạo ra, thu thập thêm dữ liệu bằng cùng một cơ chế có thể làm ước lượng chính xác hơn nhưng vẫn chính xác quanh một giá trị sai.

Bất định do không nhất quán hoặc khác biệt bối cảnh đặt ra câu hỏi khác: hiệu ứng có phụ thuộc vào nhóm người, địa điểm, thời gian hoặc điều kiện triển khai hay không. Khi đó, quyết định có thể cần mang tính điều kiện thay vì cố tìm một con số trung bình duy nhất áp dụng cho mọi nơi.

Bất định cấu trúc xuất hiện khi chính mô hình về cách hệ thống vận hành còn gây tranh luận. NICE khuyến nghị kiểm tra các giả định cấu trúc bằng những kịch bản hợp lý khác nhau thay vì chỉ thay đổi từng tham số trong một mô hình cố định.

Ý nghĩa thực tế là: trước khi hỏi “cần thêm bằng chứng không?”, phải hỏi “cần thêm loại bằng chứng nào để giải quyết đúng nguồn bất định đang có?”

Đo mức bất định có thể làm đảo chiều quyết định

Không phải bất định nào cũng quan trọng như nhau đối với quyết định. Một tham số có thể được ước lượng rất kém nhưng nếu toàn bộ phạm vi hợp lý của nó đều dẫn đến cùng một lựa chọn, thì bất định đó có ít giá trị quyết định. Ngược lại, một thay đổi rất nhỏ ở một tham số khác có thể khiến phương án tối ưu đổi từ A sang B.

Đây là lý do cần chuyển từ uncertainty about estimates sang decision uncertainty. Trong hướng dẫn đánh giá công nghệ, NICE mô tả decision uncertainty theo xác suất một quyết định khác sẽ được đưa ra nếu giá trị thực của các đại lượng liên quan được biết. NICE sử dụng phân tích xác suất, phân tích kịch bản và phân tích ngưỡng để xác định mức độ mà lựa chọn phụ thuộc vào các giả định và tham số chưa chắc chắn.

Có thể tổng hợp cơ chế này thành một chuỗi đơn giản. Trước hết, xác định các phương án đang thực sự cạnh tranh. Sau đó, xác định lợi ích và tổn thất của từng phương án trong những trạng thái có thể xảy ra. Tiếp theo, truyền bất định của các đầu vào qua mô hình để xem kết quả quyết định thay đổi ra sao. Cuối cùng, tìm những điểm đảo chiều: giá trị hoặc giả định mà tại đó lựa chọn ưu tiên thay đổi.

Giả sử một mô hình cho thấy phương án A có giá trị kỳ vọng cao hơn B, nhưng trong 30% các trạng thái được mô hình hóa, B lại tốt hơn. Con số 30% không có nghĩa là “nghiên cứu có 30% khả năng sai”; nó cho biết quyết định đang chịu mức độ nhạy đáng kể đối với các yếu tố chưa biết trong mô hình. Nếu hậu quả của việc chọn nhầm nhỏ và quyết định dễ đảo ngược, A vẫn có thể là lựa chọn hợp lý. Nếu hậu quả có thể nghiêm trọng và gần như không thể đảo ngược, cùng một mức bất định đó có thể đòi hỏi bằng chứng mạnh hơn.

Vì vậy, mức bất định không nên được đánh giá tách khỏi hàm hậu quả. Điều cần quản trị không đơn thuần là khả năng sai, mà là khả năng sai nhân với mức độ nghiêm trọng của việc sai.

Chuyển mức bất định thành cường độ hành động phù hợp

Khi đã biết quyết định nhạy đến đâu, bước tiếp theo là phản ánh điều đó vào hình thức hành động. Một khung thực hành có thể phân biệt các trạng thái sau:

Đây không phải bảng tra cứu cơ học. Hai tổ chức có thể nhìn cùng một bằng chứng nhưng hợp lý khi đưa ra quyết định khác nhau nếu hậu quả, khả năng đảo ngược, nguồn lực hoặc mức chấp nhận rủi ro của họ khác nhau. Chính vì vậy, GRADE EtD yêu cầu làm rõ không chỉ độ chắc chắn của bằng chứng mà cả những tiêu chí dẫn từ bằng chứng đến khuyến nghị.

Điều quan trọng là làm cho tính điều kiện của quyết định trở nên quan sát được. Thay vì ghi “triển khai vì kết quả tích cực”, một quyết định tốt hơn có thể nêu rõ rằng phương án được triển khai vì lợi ích kỳ vọng dương trong phần lớn kịch bản hợp lý, rủi ro có thể kiểm soát, quyết định có thể đảo ngược và sẽ được xem xét lại nếu một chỉ số nhất định vượt ngưỡng đã định.

Bằng cách đó, bất định không làm quyết định mơ hồ hơn. Ngược lại, nó buộc quyết định phải rõ hơn về điều kiện mà dưới đó quyết định vẫn còn hợp lý.

Chỉ nghiên cứu thêm khi thông tin mới có giá trị đối với quyết định

Một hiểu nhầm khác là “còn bất định” đồng nghĩa với “cần nghiên cứu thêm”. Trong thực tế, nghiên cứu bổ sung chỉ có giá trị quyết định nếu thông tin mới có khả năng thay đổi hành động và lợi ích của việc giảm nguy cơ quyết định sai đủ lớn để bù cho chi phí thu thập thông tin cũng như chi phí của việc chờ đợi.

Lý thuyết Value of Information biến câu hỏi này thành một bài toán có cấu trúc. EVPI — Expected Value of Perfect Information — biểu diễn giá trị kỳ vọng tối đa của việc loại bỏ toàn bộ một nhóm bất định; EVSI — Expected Value of Sample Information — đánh giá giá trị kỳ vọng của một nghiên cứu cụ thể; còn Expected Net Benefit of Sampling đưa chi phí nghiên cứu vào phép so sánh. Các phương pháp này được ISPOR trình bày như công cụ để đồng thời đánh giá hậu quả của decision uncertainty và liệu nghiên cứu tiếp theo có đáng thực hiện hay không.

Điểm quan trọng nằm ở hệ quả của logic này. Bất định lớn nhưng không thể làm đổi quyết định có thể có giá trị nghiên cứu thấp. Bất định nhỏ nhưng nằm ngay sát ngưỡng đảo chiều của một quyết định có hậu quả lớn có thể có giá trị nghiên cứu rất cao.

Vì thế, ưu tiên nghiên cứu không nên chỉ dựa vào câu hỏi “chúng ta biết ít nhất về điều gì?”, mà còn phải hỏi “nếu biết thêm điều đó, chúng ta có làm khác đi không?”. Nếu câu trả lời là không, việc giảm bất định có thể làm khoa học chính xác hơn nhưng chưa chắc làm quyết định tốt hơn.

Ngược lại, khi quyết định có thể đảo chiều, hậu quả của lựa chọn sai đáng kể và một nghiên cứu khả thi có khả năng giải quyết đúng nguồn bất định, thu thập thêm bằng chứng có thể là một phần của chính quyết định — chứ không phải một hoạt động tách biệt diễn ra sau đó.

Sự không chắc chắn trong ra quyết định nên được phản ánh bằng mức độ tin cậy của bằng chứng, phạm vi hoặc phân bố kết quả có thể xảy ra, nguồn tạo ra bất định, độ nhạy của lựa chọn trước các giả định, hậu quả của quyết định sai và khả năng thu được thông tin tốt hơn. Không yếu tố nào trong số đó, đứng riêng lẻ, đủ để quyết định nên hành động hay trì hoãn.

Câu hỏi cuối cùng vì thế không phải “nghiên cứu đã chắc chắn chưa?”, mà là: “Với những gì hiện biết và chưa biết, lựa chọn nào hợp lý nhất; điều gì có thể khiến lựa chọn đó thay đổi; và có đáng trả chi phí để biết thêm trước khi hành động hay không?” Khi ba câu hỏi này được trả lời minh bạch, bất định không còn là phần chú thích của nghiên cứu mà trở thành một thành phần có thể quản trị trong chính quyết định.