Cách đánh giá độ chính xác dữ liệu nghiên cứu

Phân biệt độ chính xác với độ chụm trước khi đánh giá

Độ chính xác trả lời câu hỏi: giá trị quan sát gần giá trị đúng hoặc giá trị tham chiếu đến mức nào? Độ chụm lại trả lời một câu hỏi khác: các lần đo lặp có gần nhau hay không? Hai khái niệm có liên quan nhưng không thể thay thế cho nhau. Trong khoa học đo lường, cách tiếp cận của ISO 5725 tách vấn đề accuracy thành hai thành phần quan trọng là độ đúng (trueness) và độ chụm (precision): một bộ dữ liệu có thể rất chụm nhưng vẫn lệch có hệ thống khỏi giá trị tham chiếu.

Ví dụ, giả sử một đại lượng có giá trị tham chiếu bằng 100. Ba lần đo cho kết quả 103,0; 103,1 và 102,9. Độ phân tán chỉ khoảng 0,2 đơn vị, nên phép đo có độ chụm cao. Tuy nhiên, trung bình của ba lần đo xấp xỉ 103, tức lệch khoảng 3 đơn vị so với chuẩn. Nếu chỉ nhìn vào sự ổn định giữa các lần đo, người nghiên cứu có thể kết luận nhầm rằng dữ liệu “rất chính xác”, trong khi thực tế dữ liệu đang có bias dương khoảng 3%.

Vì vậy, đánh giá độ chính xác dữ liệu nghiên cứu nên tách ít nhất hai lớp kiểm tra. Lớp thứ nhất xem dữ liệu có ổn định khi lặp lại hay không; lớp thứ hai xem dữ liệu có gần giá trị tham chiếu hay không. Chỉ lớp thứ hai mới trực tiếp trả lời câu hỏi về accuracy. Độ chụm là bằng chứng hỗ trợ, không phải bằng chứng đủ để xác nhận độ chính xác.

Đối chiếu dữ liệu nghiên cứu với chuẩn nào?

Chuẩn đối chiếu quyết định độ mạnh của kết luận. Nếu giá trị tham chiếu không đáng tin cậy, việc tính sai số rất chính xác về mặt toán học vẫn không tạo ra một đánh giá accuracy đáng tin. Về nguyên tắc, nên ưu tiên nguồn tham chiếu có tính độc lập, khả năng truy nguyên hoặc quy trình xác nhận tốt hơn chính dữ liệu đang được kiểm tra.

Thứ tự ưu tiên thường có thể hiểu theo ba mức. Mức mạnh nhất là chuẩn được chứng nhận, giá trị chuẩn hoặc “gold standard” phù hợp với lĩnh vực. Trong nghiên cứu thực nghiệm, đó có thể là vật liệu chuẩn, thiết bị đã hiệu chuẩn, phép xét nghiệm tham chiếu hoặc bộ nhãn đã được xác lập bằng quy trình chuyên môn. Mức tiếp theo là nguồn dữ liệu bên ngoài đã được thẩm định, chẳng hạn hồ sơ gốc, cơ sở dữ liệu chính thức hoặc hệ đo độc lập có chất lượng đã biết. Khi hai lựa chọn trên không tồn tại, có thể dùng một phương pháp hoặc nguồn độc lập thứ hai để kiểm tra chéo.

Tính độc lập rất quan trọng. Nếu hai bộ dữ liệu cùng được sinh ra từ một nguồn gốc hoặc cùng phụ thuộc vào một bước xử lý sai, sự giống nhau giữa chúng không phải là xác nhận độc lập. Chẳng hạn, một bảng tổng hợp và một dashboard cùng lấy dữ liệu từ một tệp nhập liệu bị lệch đơn vị có thể khớp hoàn toàn nhưng vẫn sai cùng một cách.

Khi chọn chuẩn, cần đặt ba câu hỏi: chuẩn có liên quan trực tiếp đến biến đang đánh giá hay không; mức không chắc chắn của chuẩn có nhỏ hơn sai số mà nghiên cứu muốn phát hiện hay không; và chuẩn có độc lập với quy trình tạo dữ liệu cần kiểm tra hay không. Nếu không đáp ứng được các điều kiện này, kết luận nên được giới hạn ở mức “phù hợp với nguồn đối chiếu” thay vì khẳng định dữ liệu phản ánh đúng giá trị thực.

Đo sai lệch bằng chỉ số phù hợp với loại dữ liệu

Sau khi có chuẩn đối chiếu, bước tiếp theo là biến chênh lệch thành số đo. Một nhận xét như “dữ liệu khá gần chuẩn” không đủ để đánh giá khách quan, vì không cho biết sai bao nhiêu, sai theo hướng nào và sai có tập trung ở một số quan sát hay trải đều trên toàn bộ mẫu.

Dữ liệu định lượng: đo sai số so với giá trị tham chiếu

Với một quan sát xi​ và giá trị tham chiếu ri​, sai số có dấu là:

ei​=xi​−ri​

Giá trị này cho biết hướng lệch. Nếu trung bình các ei​ dương rõ rệt, dữ liệu có xu hướng đo cao hơn chuẩn; nếu âm, dữ liệu có xu hướng đo thấp hơn. Bias trung bình có thể viết là:

eˉ=n1​∑ei​

Chỉ số này hữu ích để phát hiện sai lệch hệ thống.

Nếu quan tâm đến độ lớn của sai số bất kể hướng, dùng sai số tuyệt đối ∣xi​−ri​∣ hoặc sai số tương đối:

Sai soˆˊ tương đoˆˊi=∣ri​∣∣xi​−ri​∣​×100%

Trên toàn bộ tập dữ liệu, MAE là trung bình của các sai số tuyệt đối và dễ diễn giải theo đơn vị gốc. RMSE lấy căn bậc hai của trung bình bình phương sai số, vì vậy phạt các sai số lớn mạnh hơn MAE. Nếu một vài sai số lớn có hậu quả nghiêm trọng, RMSE thường cung cấp tín hiệu nhạy hơn; nếu muốn mô tả độ lệch điển hình mà không để các ngoại lệ chi phối quá mạnh, MAE thường trực quan hơn.

Ví dụ, với giá trị tham chiếu 100 và quan sát 103, sai số tuyệt đối là 3 và sai số tương đối là 3%. Con số 3% chỉ có ý nghĩa khi được so với một ngưỡng chấp nhận đã được xác định cho bối cảnh nghiên cứu. Không thể mặc định rằng 3% luôn tốt hoặc luôn kém.

Dữ liệu phân loại: đo mức đồng thuận với nhãn chuẩn

Với dữ liệu phân loại, khoảng cách số học thường không có ý nghĩa. Khi có nhãn chuẩn, có thể tính tỷ lệ khớp giữa dữ liệu quan sát và nhãn tham chiếu. Nếu cần hiệu chỉnh phần đồng thuận có thể xuất hiện do ngẫu nhiên, Cohen's kappa là một lựa chọn cho hai người đánh giá hoặc hai hệ phân loại trong những điều kiện phù hợp.

Nếu dữ liệu là kết quả phân loại chẩn đoán hoặc phát hiện sự kiện, một tỷ lệ đúng chung có thể che giấu lỗi quan trọng. Khi đó nên xem thêm độ nhạy và độ đặc hiệu so với gold standard. Một bộ dữ liệu có tỷ lệ đúng tổng thể cao vẫn có thể bỏ sót phần lớn các trường hợp dương tính nếu lớp dương tính hiếm.

Điểm cốt lõi là metric phải phù hợp với cấu trúc dữ liệu và loại sai lệch cần kiểm soát. Không có một chỉ số duy nhất chứng minh accuracy cho mọi nghiên cứu.

Kiểm tra bias và độ lặp lại để phát hiện sai số hệ thống

Sai số tổng thể thường gồm ít nhất hai thành phần: biến thiên ngẫu nhiên và sai lệch có hệ thống. Đo lặp giúp ước lượng thành phần ngẫu nhiên; so với chuẩn hoặc với một phương pháp độc lập giúp phát hiện bias. Nếu chỉ làm một trong hai, người nghiên cứu có thể bỏ sót một kiểu lỗi quan trọng.

Repeatability kiểm tra mức nhất quán khi đo lại trong điều kiện gần như giữ nguyên, chẳng hạn cùng thiết bị, cùng người thao tác và khoảng thời gian ngắn. Reproducibility mở rộng kiểm tra sang các điều kiện thay đổi hơn, chẳng hạn khác người đo, khác thiết bị hoặc khác phòng thí nghiệm. Độ phân tán tăng mạnh khi thay đổi điều kiện cho thấy kết quả phụ thuộc vào quy trình nhiều hơn mức mong muốn.

Khi so sánh hai phương pháp đo định lượng, chỉ tính hệ số tương quan là chưa đủ. Hai phương pháp có thể tương quan gần như hoàn hảo nhưng một phương pháp luôn cao hơn phương pháp kia 10 đơn vị. Tương quan phản ánh mức độ cùng biến thiên, không phản ánh trực tiếp mức độ đồng thuận về giá trị tuyệt đối.

Một cách phù hợp hơn để xem agreement là phân tích chênh lệch giữa hai phương pháp. Với cách tiếp cận Bland–Altman, người nghiên cứu quan tâm đến chênh lệch trung bình giữa hai phương pháp và khoảng mà phần lớn chênh lệch dự kiến nằm trong đó. Khi các giả định phù hợp, giới hạn đồng thuận thường được biểu diễn xấp xỉ bằng chênh lệch trung bình ± 1,96 độ lệch chuẩn của các chênh lệch. Nếu cả bias và độ rộng của giới hạn này đều nằm trong phạm vi chấp nhận trước, bằng chứng về khả năng thay thế hoặc đồng thuận giữa hai phương pháp mới thuyết phục hơn.

Tuy nhiên, agreement giữa hai phương pháp vẫn không tự tạo ra “sự thật”. Nếu cả hai cùng chịu chung một nguồn bias, chúng có thể đồng thuận với nhau nhưng cùng lệch khỏi giá trị thực. Vì thế, khi có thể, đánh giá bias vẫn cần một reference standard độc lập.

Xác lập ngưỡng chấp nhận và xử lý khi không có giá trị chuẩn

Không có một ngưỡng phần trăm chung cho mọi loại dữ liệu nghiên cứu. Sai số 1% có thể không đáng kể trong một phép đo thăm dò nhưng lại không thể chấp nhận trong một ứng dụng mà sai lệch nhỏ làm thay đổi kết luận khoa học hoặc quyết định an toàn. Ngưỡng cần xuất phát từ mục tiêu sử dụng dữ liệu, yêu cầu chuyên môn của lĩnh vực, khả năng của phương pháp đo và hậu quả của việc phân loại sai.

Một ngưỡng tốt nên được xác định trước khi xem kết quả nếu điều kiện nghiên cứu cho phép. Ví dụ, có thể quy định sai số tuyệt đối không vượt một đơn vị, sai số tương đối không vượt một tỷ lệ nhất định, bias trung bình nằm trong một khoảng cho phép, hoặc giới hạn đồng thuận phải nằm trong biên dung sai chuyên môn. Việc đặt ngưỡng sau khi đã thấy dữ liệu làm tăng nguy cơ lựa chọn tiêu chí thuận lợi cho kết quả.

Độ không đảm bảo cũng phải được đưa vào quyết định. Nếu sai số quan sát là 2 đơn vị nhưng bản thân chuẩn tham chiếu có độ không đảm bảo lớn, không nên trình bày con số 2 như một độ lệch chính xác tuyệt đối. Khi sai số nằm sát ngưỡng chấp nhận, kết luận cần phản ánh phần không chắc chắn thay vì phân loại cứng “đạt/không đạt”.

Trường hợp khó hơn là không có ground truth. Khi đó, không nên tuyên bố rằng dữ liệu đã được chứng minh là “đúng tuyệt đối”. Có thể tăng mức tin cậy bằng cách tam giác hóa bằng chứng: so với nhiều nguồn độc lập, dùng phương pháp đo khác nguyên lý, thực hiện đo lặp, kiểm tra tính nhất quán với các ràng buộc khoa học đã biết và lượng hóa độ không đảm bảo. Nếu các bằng chứng hội tụ, có thể kết luận dữ liệu có mức đồng thuận hoặc độ tin cậy cao hơn; nhưng boundary của kết luận vẫn là chưa quan sát được giá trị thực một cách trực tiếp.

Quy trình xác minh độ chính xác theo nhiều lớp bằng chứng

Một quy trình thực hành tốt nên kiểm tra các kiểu sai số khác nhau thay vì cố tìm một “chỉ số accuracy” duy nhất. Có thể triển khai theo sáu bước sau:

1.    Xác định biến và mức sai số có ý nghĩa: Nêu rõ sai lệch nào có khả năng làm thay đổi kết luận nghiên cứu

2.    Chọn chuẩn đối chiếu độc lập: Ưu tiên reference standard, nguồn chính thức hoặc phương pháp đã được thẩm định tốt hơn dữ liệu cần kiểm tra

3.    Chọn metric phù hợp với loại dữ liệu: Dùng sai số, bias, MAE hoặc RMSE cho dữ liệu số; dùng agreement, kappa hoặc các chỉ số phân loại phù hợp cho dữ liệu nhãn

4.    Thực hiện đo lặp hoặc kiểm tra tái lập: Ước lượng độ chụm và xem sai số có ổn định qua điều kiện đo hay không

5.    Tìm bias và so với ngưỡng đã định trước: Kiểm tra không chỉ độ lớn của sai số mà cả hướng sai lệch và độ không đảm bảo

6.    Kết luận theo mức bằng chứng thực tế: Nếu có reference mạnh, có thể kết luận về accuracy; nếu chỉ có các nguồn đồng thuận, nên dùng ngôn ngữ “agreement”, “consistency” hoặc “evidence convergence” thay cho khẳng định tuyệt đối

Điểm quan trọng của quy trình này là mỗi lớp kiểm tra trả lời một câu hỏi khác nhau. Reference kiểm tra mức gần giá trị chuẩn; đo lặp kiểm tra biến thiên; bias kiểm tra lệch hệ thống; agreement kiểm tra mức phù hợp giữa các phương pháp; ngưỡng chấp nhận xác định sai số có ảnh hưởng thực tế hay không. Một chỉ số mạnh ở một lớp không bù được việc thiếu bằng chứng ở lớp khác.

Ba dấu hiệu thường bị dùng nhầm làm bằng chứng accuracy là tương quan cao, độ lặp lại cao và số chữ số thập phân nhiều. Cả ba đều có thể xuất hiện trong dữ liệu vẫn sai. Vì vậy, kết luận đáng tin nhất không phải “dữ liệu trông ổn định”, mà là: dữ liệu đã được đối chiếu với chuẩn nào, sai bao nhiêu, sai theo kiểu nào, sai số có nằm trong ngưỡng cho phép hay không và còn giới hạn nào chưa loại trừ được.

Độ chính xác dữ liệu nghiên cứu được xác minh thuyết phục nhất khi dữ liệu được đối chiếu với một chuẩn đáng tin cậy và độc lập, sai lệch được lượng hóa bằng chỉ số phù hợp, bias và độ lặp lại được kiểm tra riêng, rồi kết quả được so với ngưỡng chấp nhận có căn cứ. Độ chụm cao hoặc tương quan cao không đủ để chứng minh accuracy. Nếu không tồn tại ground truth, kết luận nên giới hạn ở mức độ đồng thuận, tính nhất quán và độ không đảm bảo, thay vì khẳng định dữ liệu đúng tuyệt đối.