Ý nghĩa của tính kiểm chứng trong nghiên cứu

Ở đây, “độ tin cậy” nên được hiểu theo nghĩa mức độ có cơ sở để tin vào một kết luận nghiên cứu, không chỉ theo nghĩa kỹ thuật của độ tin cậy của thang đo hay công cụ đo lường. Một nghiên cứu có tính kiểm chứng cao không mặc nhiên đúng; nó giúp người đọc biết vì sao kết luận đáng được tin đến mức nào và trong những điều kiện nào.

Tính kiểm chứng biến kết luận thành phát biểu có thể bị thử thách bằng bằng chứng

Tính kiểm chứng trong nghiên cứu là khả năng một phát biểu, kết quả hoặc lập luận khoa học được đối chiếu với bằng chứng theo một quy trình đủ rõ. Muốn làm được điều đó, nghiên cứu phải cho thấy mình đã quan sát hoặc đo lường điều gì, dữ liệu đến từ đâu, phương pháp được thực hiện như thế nào và tiêu chí nào được dùng để đi từ dữ liệu tới kết luận.

Điểm quan trọng nằm ở chỗ kết luận phải để ngỏ khả năng bị kiểm tra. Nếu một phát biểu được diễn đạt theo cách mọi kết quả quan sát đều có thể được giải thích là “phù hợp”, phát biểu đó rất khó kiểm chứng vì không có bằng chứng nào thực sự có khả năng làm giảm mức độ tin cậy của nó. Ngược lại, khi điều kiện ủng hộ và không ủng hộ kết luận được xác định rõ, người khác có thể đối chiếu phát biểu với dữ liệu thực tế.

Chẳng hạn, nếu một nghiên cứu kết luận yếu tố A có liên hệ với kết quả B, người đọc cần biết A và B được xác định ra sao, mẫu nghiên cứu được chọn như thế nào, yếu tố gây nhiễu nào đã được xem xét và phân tích nào dẫn đến kết luận. Khi các mắt xích này có thể được kiểm tra, kết quả không còn phụ thuộc hoàn toàn vào uy tín hay cách diễn giải của tác giả.

Vì sao tính kiểm chứng làm tăng độ tin cậy của kết quả nghiên cứu

Tính kiểm chứng làm tăng độ tin cậy trước hết vì nó tạo ra khả năng kiểm tra độc lập. Người đọc hoặc nhóm nghiên cứu khác có thể xem xét liệu dữ liệu có phù hợp với kết luận hay không, phương pháp có được áp dụng nhất quán hay không và các giả định phân tích có hợp lý trong phạm vi nghiên cứu hay không. Cơ chế này làm giảm nguy cơ một sai sót chỉ tồn tại vì chưa có ai đủ thông tin để phát hiện.

Một kết quả có thể sai vì nhiều nguyên nhân: đo lường không phù hợp, xử lý dữ liệu không nhất quán, lựa chọn mô hình chưa hợp lý, sai sót trong mã phân tích hoặc diễn giải vượt quá dữ liệu. Tính kiểm chứng không tự loại bỏ các vấn đề đó, nhưng khiến chúng có khả năng bị phát hiện hơn. Nói cách khác, nó chuyển độ tin cậy từ “tin tác giả” sang “có thể kiểm tra chuỗi lập luận và bằng chứng”.

Độ tin cậy còn tăng khi kết quả đứng vững qua nhiều phép kiểm tra độc lập. Nếu cùng một kết luận vẫn được hỗ trợ khi dữ liệu được rà soát lại, phân tích được tái tạo hoặc nghiên cứu được lặp lại trong điều kiện phù hợp, khả năng kết quả chỉ là sản phẩm của một thao tác riêng lẻ hoặc một mẫu dữ liệu đặc biệt sẽ giảm. Tuy nhiên, mức độ tin cậy phải được cập nhật theo chất lượng và tính độc lập của từng phép kiểm tra; nhiều lần kiểm tra yếu không tương đương một phép kiểm tra mạnh.

Điều gì khiến một nghiên cứu thực sự có thể được kiểm chứng

Tính kiểm chứng không đến từ một câu tuyên bố rằng nghiên cứu “minh bạch”. Nó phụ thuộc vào việc người khác có đủ thông tin để hiểu và kiểm tra các bước quan trọng hay không. Tùy lĩnh vực, mức độ chi tiết cần thiết khác nhau, nhưng một nghiên cứu có khả năng kiểm chứng tốt thường làm rõ các thành phần sau:

·         Câu hỏi nghiên cứu, giả thuyết hoặc kết luận chính được diễn đạt đủ cụ thể

·         Nguồn dữ liệu, cách chọn mẫu và điều kiện thu thập dữ liệu được mô tả rõ

·         Khái niệm, biến số, tiêu chí quan sát hoặc cách đo lường được xác định

·         Quy trình xử lý và phân tích dữ liệu, cùng các giả định quan trọng, được trình bày đủ để kiểm tra

·         Các quyết định loại trừ dữ liệu, xử lý dữ liệu thiếu và thay đổi so với kế hoạch ban đầu được giải thích

·         Giới hạn, độ bất định và phạm vi áp dụng của kết luận được nêu rõ

Mục tiêu của những thông tin này không phải để mọi người bắt buộc làm lại toàn bộ nghiên cứu. Chúng tạo một “dấu vết kiểm tra” đủ rõ để người khác đánh giá xem kết luận có đi đúng từ câu hỏi, dữ liệu và phương pháp hay không.

Trong một số nghiên cứu, dữ liệu thô không thể công khai hoàn toàn vì quyền riêng tư, bảo mật hoặc nghĩa vụ đạo đức. Điều đó không đồng nghĩa nghiên cứu mất toàn bộ tính kiểm chứng. Khi không thể chia sẻ dữ liệu trực tiếp, nhà nghiên cứu vẫn có thể tăng khả năng kiểm tra bằng cách mô tả rõ quy trình, cấu trúc dữ liệu, tiêu chí phân tích, cách tiếp cận dữ liệu và những tài liệu có thể cung cấp trong giới hạn cho phép.

Kiểm chứng khác gì với tái tạo kết quả và lặp lại nghiên cứu

“Tính kiểm chứng” là khái niệm rộng hơn việc một nhóm khác có tạo ra đúng cùng một con số hay không. Nó bao gồm khả năng xem xét bằng chứng, phương pháp và logic của kết luận. Trong khi đó, tái tạo kết quả và lặp lại nghiên cứu là những cách cụ thể để kiểm tra một phần của chuỗi này.

Một cách phân biệt có tính hệ thống được National Academies of Sciences, Engineering, and Medicine sử dụng là reproducibility liên quan đến việc thu được kết quả tính toán nhất quán khi sử dụng cùng dữ liệu và quy trình phân tích, còn replicability liên quan đến việc các nghiên cứu mới với dữ liệu riêng cho kết quả nhất quán khi cùng nhằm trả lời một câu hỏi khoa học. Tuy nhiên, cách dùng hai thuật ngữ này có thể khác giữa các lĩnh vực, nên khi cần chính xác phải xem tác giả đang định nghĩa hành động kiểm tra nào.

Khả năng bị bác bỏ bằng bằng chứng cũng liên quan nhưng không đồng nhất với tính kiểm chứng. Một phát biểu có thể được xây dựng theo cách có khả năng bị dữ liệu phản bác, nhưng để kiểm tra nó trong thực tế vẫn cần dữ liệu thích hợp và quy trình quan sát hoặc phân tích đủ rõ. Vì vậy, khả năng kiểm tra về mặt logic là điều kiện quan trọng, còn kiểm chứng là quá trình đưa phát biểu đó đối diện với bằng chứng thực tế.

Sự phân biệt này giúp tránh một hiểu lầm phổ biến: nghiên cứu không cần phải cho phép mọi người “làm lại y hệt” mới có giá trị. Điều cần thiết là kết luận phải mở cho việc xem xét bằng những hình thức kiểm tra phù hợp với loại câu hỏi, dữ liệu và phương pháp của lĩnh vực đó.

Tính kiểm chứng giúp phát hiện sai số nhưng không chứng minh chân lý tuyệt đối

Một kết quả vượt qua kiểm tra không trở thành chân lý bất biến. Bất kỳ nghiên cứu nào cũng được thực hiện trên một tập dữ liệu, một cách đo lường, một mô hình và một phạm vi điều kiện nhất định. Do đó, kiểm chứng chỉ cho biết kết luận đã đứng vững trước những phép kiểm tra đã được thực hiện, chứ không chứng minh rằng mọi cách kiểm tra trong tương lai đều sẽ cho cùng kết quả.

Đây là lý do khoa học thường tích lũy độ tin cậy theo mức độ thay vì chia kết quả thành hai nhóm “đúng” và “sai” tuyệt đối. Một kết luận được hỗ trợ bởi dữ liệu rõ ràng, phân tích có thể kiểm tra và nhiều đánh giá độc lập thường đáng tin hơn một kết luận chỉ xuất hiện một lần trong điều kiện khó kiểm tra. Nhưng mức độ tin cậy đó vẫn phụ thuộc vào chất lượng dữ liệu, độ phù hợp của phương pháp và phạm vi mà kết luận được đưa ra.

Ngược lại, một lần không tái tạo được kết quả cũng chưa đủ để kết luận nghiên cứu ban đầu chắc chắn sai. Sự khác biệt có thể đến từ mẫu, điều kiện thực hiện, cách đo lường hoặc một yếu tố bối cảnh chưa được nhận diện. Tuy nhiên, nếu các phép kiểm tra độc lập, được thiết kế phù hợp và thực hiện cẩn thận liên tục không ủng hộ kết luận, cơ sở để tin vào kết luận phải giảm xuống.

Vì vậy, ý nghĩa lớn của tính kiểm chứng không phải là “đóng dấu sự thật”, mà là tạo một cơ chế tự sửa sai. Kết luận nào chịu được kiểm tra thì được củng cố; kết luận nào bộc lộ vấn đề thì được giới hạn, điều chỉnh hoặc bác bỏ khi bằng chứng đủ mạnh.

Cách đánh giá tính kiểm chứng khi đọc một công trình khoa học

Khi đọc một nghiên cứu, có thể đánh giá tính kiểm chứng bằng cách theo dõi chuỗi từ phát biểu đến bằng chứng. Thay vì chỉ hỏi “kết quả có thuyết phục không?”, nên đặt các câu hỏi cụ thể hơn:

·         Kết luận có đủ cụ thể để biết bằng chứng nào có thể ủng hộ hoặc không ủng hộ nó hay không

·         Nguồn dữ liệu và điều kiện tạo ra dữ liệu có được mô tả đủ rõ hay không

·         Phương pháp đo lường, thu thập và phân tích có cho phép người khác hiểu cách kết quả được tạo ra hay không

·         Các giả định, quyết định phân tích và ngoại lệ quan trọng có được giải thích hay không

·         Có hình thức kiểm tra độc lập nào khả thi như rà soát dữ liệu, tái tạo phân tích hoặc lặp lại nghiên cứu hay không

·         Tác giả có nêu phạm vi áp dụng, độ bất định và những trường hợp kết luận có thể không còn đúng hay không

Một nghiên cứu trả lời tốt các câu hỏi này cho phép người đọc đánh giá độ tin cậy dựa trên bằng chứng và quy trình, thay vì chỉ dựa vào kết luận cuối cùng. Đây cũng là cách sử dụng tính kiểm chứng đúng nhất: xem độ tin cậy như một mức độ có căn cứ, có thể tăng hoặc giảm khi xuất hiện phép kiểm tra và bằng chứng mới.

Tính kiểm chứng có ý nghĩa cốt lõi vì nó làm cho kết quả nghiên cứu trở thành tri thức có thể được người khác xem xét, thử thách và xác nhận ở những mức độ khác nhau. Nhờ khả năng đối chiếu kết luận với dữ liệu, phương pháp và điều kiện nghiên cứu, sai sót có cơ hội được phát hiện và những kết quả đứng vững qua kiểm tra có cơ sở đáng tin hơn.

Tuy vậy, tính kiểm chứng không biến một kết luận thành sự thật tuyệt đối. Giá trị của nó nằm ở việc tạo ra một quy trình đánh giá minh bạch và có khả năng tự sửa sai: kết luận được tin đến đâu phải phụ thuộc vào chất lượng bằng chứng, mức độ độc lập của phép kiểm tra và giới hạn mà chính nghiên cứu đã xác định.