Cách hoàn thiện nghiên cứu khoa học trước công bố

Vì vậy, lần kiểm tra cuối nên được tổ chức như một cuộc kiểm toán khoa học thu nhỏ. Mỗi kết quả quan trọng phải truy vết được về dữ liệu và phân tích tạo ra nó; mỗi diễn giải quan trọng phải có kết quả trực tiếp hỗ trợ; mọi thay đổi so với kế hoạch ban đầu phải được nhận diện; các giới hạn đủ sức thay đổi cách hiểu kết quả phải được trình bày rõ. Khi những mắt xích này khép kín, việc rà soát ngôn ngữ và trình bày mới thực sự là bước hoàn thiện cuối cùng.

Xác lập tiêu chí nghiên cứu đã sẵn sàng công bố

Một nghiên cứu có thể đọc rất trôi chảy nhưng vẫn chưa sẵn sàng công bố nếu phương pháp, dữ liệu, kết quả và kết luận không còn khớp với nhau. Ngược lại, một bản thảo chưa hoàn hảo về câu chữ vẫn có thể có nền tảng khoa học vững nếu chuỗi bằng chứng đã được kiểm tra đầy đủ. Vì thế, tiêu chí “hoàn thành” cần đặt ở cấp độ nghiên cứu trước khi đặt ở cấp độ văn bản.

Có thể kiểm tra trạng thái sẵn sàng qua năm điều kiện cốt lõi:

·         Tính nhất quán giữa câu hỏi, mục tiêu, thiết kế, phương pháp, phân tích, kết quả và kết luận

·         Khả năng truy vết mỗi kết quả quan trọng về dữ liệu và đầu ra phân tích tương ứng

·         Khả năng tái tạo các phân tích trọng yếu từ tập dữ liệu và quy trình đã được khóa

·         Mức độ tương xứng giữa ngôn ngữ kết luận với thiết kế nghiên cứu, kích thước hiệu ứng, độ bất định và các giới hạn

·         Tính đầy đủ, minh bạch của báo cáo về phương pháp, sai lệch khỏi kế hoạch, dữ liệu thiếu và hạn chế của nghiên cứu

Điểm quan trọng là các điều kiện này liên quan nhưng không thay thế nhau. Một nghiên cứu có thể tái tạo được hoàn toàn nhưng vẫn sử dụng thiết kế không đủ để hỗ trợ một kết luận nhân quả. Một bản thảo cũng có thể tuân thủ đầy đủ checklist báo cáo nhưng vẫn chứa một phân tích không phù hợp. Vì vậy, “đã báo cáo đủ” và “đã chứng minh đủ” phải được kiểm tra riêng.

Không có một điểm số chung áp dụng cho mọi lĩnh vực để xác nhận nghiên cứu đã sẵn sàng công bố. Tiêu chuẩn có ý nghĩa hơn là không còn mâu thuẫn khoa học chưa được giải thích, không còn kết quả trọng yếu không truy vết được và không còn kết luận quan trọng thiếu cơ sở trực tiếp.

Kiểm tra tính nhất quán từ câu hỏi đến kết luận

Tính nhất quán nên được kiểm tra như một chuỗi phụ thuộc thay vì đọc bản thảo từ đầu đến cuối và tìm lỗi bằng cảm giác. Mỗi mắt xích phải vừa phù hợp với mắt xích đứng trước vừa cung cấp đủ cơ sở cho mắt xích đứng sau.

Một cách thực tế là lập ma trận đối chiếu:

Câu hỏi và mục tiêu phải khớp với thiết kế

Nếu câu hỏi yêu cầu đánh giá quan hệ nhân quả nhưng thiết kế chỉ tạo ra bằng chứng về mối liên hệ, vấn đề không thể được giải quyết bằng cách viết kết luận mạnh hơn. Cần thu hẹp ngôn ngữ diễn giải về đúng khả năng của thiết kế.

Tương tự, khi mục tiêu hoặc biến kết quả chính trong bản thảo khác với kế hoạch nghiên cứu ban đầu, cần xác định đó là thay đổi có lý do, một phân tích thăm dò hay một sai lệch chưa được giải thích. Việc âm thầm chỉnh lại phần Methods để khiến nghiên cứu trông như đã được lên kế hoạch như vậy từ đầu làm mất khả năng phân biệt giữa phân tích định trước và phân tích hậu nghiệm.

Phương pháp phải sinh ra đúng dữ liệu cần thiết

Mỗi biến được dùng để trả lời câu hỏi nghiên cứu cần có nguồn gốc, cách đo và quy tắc xử lý rõ ràng. Nếu một kết quả quan trọng phụ thuộc vào biến không được mô tả trong Methods, hoặc Methods mô tả một phép đo nhưng Results sử dụng phiên bản được xử lý theo cách khác, chuỗi nhất quán đã bị đứt.

Kiểm tra theo chiều ngược lại cũng quan trọng. Nếu Methods cam kết một phân tích nhưng Results không có kết quả tương ứng, cần xác định phân tích đó đã bị bỏ sót, không thể thực hiện hay được loại bỏ vì một lý do có thể giải thích.

Kết quả và kết luận phải giữ nguyên phạm vi suy luận

Đây là mắt xích dễ xuất hiện “overclaim” nhất. Kết quả có thể chính xác nhưng kết luận vẫn sai nếu ngôn ngữ diễn giải mạnh hơn bằng chứng. Một mối liên hệ quan sát được không tự động trở thành quan hệ nhân quả; một kết quả không có ý nghĩa thống kê cũng không tự động chứng minh hai nhóm tương đương.

Tính nhất quán vì thế không chỉ là các phần của bản thảo “nói giống nhau”. Chúng phải duy trì cùng một logic nghiên cứu. Tuy nhiên, ngay cả một chuỗi hoàn toàn nhất quán cũng chưa chứng minh nghiên cứu không có thiên lệch hoặc sai số hệ thống. Kiểm tra nhất quán phát hiện đứt gãy logic; nó không thay thế việc đánh giá chất lượng thiết kế.

Đối chiếu dữ liệu, phân tích và số liệu báo cáo

Sau khi logic nghiên cứu đã khớp, bước tiếp theo là kiểm tra dòng truy vết từ bằng chứng gốc tới từng kết quả xuất hiện trong bản thảo.

Với nghiên cứu định lượng, dòng truy vết thường có dạng:

Dữ liệu gốc → dữ liệu đã làm sạch → tập dữ liệu phân tích → script hoặc quy trình phân tích → output → bảng/hình → số liệu trong văn bản

Mỗi chuyển đổi quan trọng cần có dấu vết đủ để giải thích dữ liệu đã thay đổi như thế nào và vì sao. Nếu một giá trị trong bảng chỉ tồn tại vì đã được chỉnh thủ công sau khi xuất kết quả, nhưng thay đổi đó không được ghi lại trong quy trình phân tích, khả năng truy vết đã bị suy giảm.

Truy vết mỗi con số về một nguồn phân tích

Không nên kiểm tra số liệu chỉ bằng cách so bảng với văn bản, bởi hai vị trí có thể cùng sao chép từ một giá trị sai. Điểm đối chiếu cuối cùng phải là output phân tích đã được xác nhận hoặc nguồn dữ liệu có thẩm quyền tương ứng.

Các thành phần dễ phát sinh sai lệch gồm cỡ mẫu và mẫu số, đơn vị đo, số trường hợp bị loại, dữ liệu thiếu, số thập phân, nhãn nhóm, ước lượng hiệu ứng, khoảng bất định và kết quả kiểm định. Abstract cũng cần được đối chiếu riêng vì đây thường là nơi các kết quả chính được sao chép và rút gọn.

Sai khác do làm tròn có thể chấp nhận được nếu quy tắc làm tròn nhất quán và không làm thay đổi cách diễn giải. Sai khác do sử dụng hai phiên bản dữ liệu hoặc hai lần chạy phân tích khác nhau thì phải được giải quyết ở nguồn, thay vì chỉ sửa con số trên bản thảo.

Tái chạy các phân tích quan trọng từ dữ liệu đã khóa

Khi quy trình cho phép, nên tái chạy các phân tích tạo ra kết quả chính từ phiên bản dữ liệu phân tích cuối cùng và script đã khóa. Mục tiêu không phải tạo thêm phân tích mà kiểm tra xem kết quả đang được công bố có thực sự được sinh ra từ quy trình được mô tả hay không.

Nếu kết quả tái chạy khác với bảng hoặc hình hiện có, cần truy nguyên nguyên nhân trước khi tiếp tục: dữ liệu đã thay đổi, script khác phiên bản, tham số phân tích khác hay bảng đã được chỉnh thủ công.

Với nghiên cứu định tính, nguyên tắc tương tự vẫn áp dụng dù hình thức bằng chứng khác. Chủ đề và diễn giải cần truy vết được về tài liệu nguồn, quá trình mã hóa, codebook hoặc ghi chép phân tích thích hợp. Khả năng truy vết ở đây không có nghĩa một người khác bắt buộc phải tạo ra chính xác cùng một chủ đề, mà là người đánh giá có thể hiểu bằng chứng nào và quá trình phân tích nào dẫn tới diễn giải đó.

Việc tái chạy phân tích chỉ kiểm tra tính toàn vẹn của chuỗi xử lý. Nó không thể sửa dữ liệu đo lường kém, mẫu bị thiên lệch hoặc một thiết kế không phù hợp với câu hỏi nghiên cứu. Những giới hạn đó phải được xử lý ở cấp độ diễn giải và báo cáo.

Kiểm tra bằng chứng cho từng diễn giải và kết luận

Một nghiên cứu có thể có dữ liệu và phân tích chính xác nhưng vẫn chưa hoàn thiện nếu Discussion hoặc Conclusion chứa những nhận định mà Results không trực tiếp hỗ trợ. Do đó, sau khi kiểm tra số liệu cần chuyển từ “number audit” sang “claim audit”.

Một ma trận claim–evidence đơn giản có thể gồm bốn câu hỏi:

Lập ma trận claim–evidence

Nên ưu tiên kiểm tra các câu trong Abstract, Discussion và phần kết luận vì đây là nơi bản thảo chuyển từ báo cáo kết quả sang giải thích ý nghĩa.

Nếu không thể chỉ ra kết quả trực tiếp hỗ trợ một claim, có ba khả năng: claim là kiến thức nền cần được phân biệt với phát hiện của nghiên cứu; claim là một suy luận cần hạ mức chắc chắn; hoặc claim không đủ cơ sở và nên được loại bỏ.

Ngược lại, có bằng chứng không đồng nghĩa với mọi cách diễn đạt đều hợp lệ. Cùng một kết quả quan sát, câu “X liên quan đến Y” và câu “X gây ra Y” có mức yêu cầu bằng chứng khác nhau. Kết luận nhân quả cần được bảo vệ bởi thiết kế và chiến lược nhận diện phù hợp, chứ không chỉ bởi việc một hệ số đạt ngưỡng thống kê.

Kiểm tra độ bất định và ý nghĩa của kết quả

Một con số ước lượng không nên được diễn giải tách khỏi độ bất định và bối cảnh. Kích thước hiệu ứng, khoảng ước lượng, độ ổn định qua các phân tích phù hợp và giới hạn dữ liệu thường mang nhiều thông tin hơn một nhãn đơn giản như “có ý nghĩa” hoặc “không có ý nghĩa”.

Đặc biệt, không tìm thấy bằng chứng về khác biệt không đồng nghĩa đã chứng minh hai điều kiện tương đương. Nếu nghiên cứu muốn đưa ra kết luận về tương đương hoặc không kém hơn, thiết kế và phương pháp phân tích phải được xây dựng cho loại câu hỏi đó.

Tương tự, ý nghĩa thống kê không tự động đồng nghĩa với ý nghĩa khoa học hoặc thực tiễn. Diễn giải cuối cùng phải xem xét quy mô của hiệu ứng, độ bất định, cách đo lường và bối cảnh nghiên cứu.

Loại bỏ kết luận mạnh hơn thiết kế

Khi phát hiện một overclaim, cách sửa đúng không phải luôn là bổ sung thêm câu giải thích. Nhiều trường hợp cần trực tiếp hạ mức kết luận: từ “gây ra” thành “liên quan”, từ “chứng minh” thành “hỗ trợ”, hoặc từ một khẳng định tổng quát thành kết luận giới hạn ở quần thể và điều kiện đã được nghiên cứu.

Ma trận claim–evidence giúp bảo đảm ngôn ngữ kết luận phản ánh đúng bằng chứng hiện có. Nhưng nó không thể biến một thiết kế yếu thành một thiết kế mạnh; nếu bằng chứng nền tảng không đủ, giới hạn đó phải được giữ lại trong kết luận cuối cùng.

Rà soát tính đầy đủ, minh bạch và giới hạn nghiên cứu

Sau khi tính nhất quán và chuỗi bằng chứng đã được kiểm tra, cần xác nhận rằng người đọc có đủ thông tin để hiểu nghiên cứu đã được thực hiện như thế nào, phần nào đã thay đổi và những điều gì không thể kết luận từ kết quả.

Đối chiếu với hướng dẫn báo cáo phù hợp

Các hướng dẫn báo cáo theo loại thiết kế có thể được dùng như một lớp kiểm tra tính đầy đủ. Ví dụ, CONSORT được sử dụng cho thử nghiệm ngẫu nhiên, STROBE cho nghiên cứu quan sát và PRISMA cho tổng quan hệ thống.

Giá trị của các hướng dẫn này nằm ở việc chỉ ra những thành phần dễ bị bỏ sót khi báo cáo. Chúng không phải giấy chứng nhận rằng thiết kế, dữ liệu hoặc phân tích của nghiên cứu chắc chắn đúng. Vì vậy, kiểm tra theo reporting guideline nên diễn ra sau hoặc song song với kiểm tra khoa học, không thay thế nó.

Ngoài nội dung khoa học chính, cần kiểm tra các thông tin bắt buộc theo bối cảnh nghiên cứu như đăng ký nghiên cứu, phê duyệt đạo đức, đồng thuận tham gia, xung đột lợi ích hoặc khả năng truy cập dữ liệu khi những yêu cầu này áp dụng.

Ghi rõ sai lệch khỏi protocol và kế hoạch phân tích

Không phải thay đổi sau khi nghiên cứu bắt đầu đều sai. Dữ liệu thực tế có thể buộc nhóm nghiên cứu điều chỉnh một phép phân tích, thay đổi cách xử lý dữ liệu thiếu hoặc bổ sung phân tích thăm dò. Vấn đề nằm ở việc thay đổi có bị trình bày như thể đã được quyết định từ đầu hay không.

Khi có protocol, preregistration hoặc kế hoạch phân tích, nên đối chiếu chúng với bản thảo cuối và xác định những khác biệt có khả năng ảnh hưởng đến cách hiểu kết quả. Sai lệch quan trọng cần được mô tả cùng lý do thích hợp.

Nếu nghiên cứu không được đăng ký trước, không nên tạo ra một lịch sử giả về các quyết định phân tích. Thay vào đó, nên sử dụng hồ sơ phiên bản, protocol nội bộ và tài liệu phân tích còn tồn tại để phân biệt rõ nhất có thể giữa quyết định lên kế hoạch trước và quyết định phát sinh trong quá trình phân tích.

Trình bày giới hạn theo tác động lên kết luận

Một phần Limitations tốt không chỉ liệt kê những điểm yếu chung như “cỡ mẫu nhỏ” hoặc “cần nghiên cứu thêm”. Mỗi giới hạn quan trọng nên trả lời được hai câu hỏi: giới hạn đó có thể làm thay đổi kết quả theo hướng nào và nó làm suy yếu loại kết luận nào.

Ví dụ, sai số đo lường có thể ảnh hưởng độ chính xác của ước lượng; dữ liệu thiếu có thể làm thay đổi tính đại diện; nhiễu chưa được kiểm soát có thể hạn chế diễn giải nhân quả; một quần thể nghiên cứu hẹp có thể hạn chế khả năng khái quát.

Cách viết này biến phần giới hạn thành một phần của lập luận khoa học thay vì thủ tục bắt buộc. Người đọc biết không chỉ nghiên cứu “có hạn chế”, mà còn biết ranh giới hợp lý của kết luận nằm ở đâu.

Thực hiện kiểm tra chéo cuối cùng trước công bố

Lần đọc cuối hiệu quả nhất không nên chỉ lặp lại cách tác giả đã đọc bản thảo nhiều lần trước đó. Nên chia việc kiểm tra thành các lượt có nhiệm vụ khác nhau để tránh một lỗi khoa học bị che khuất bởi việc tập trung đồng thời vào câu chữ, số liệu và hình thức.

Kiểm tra độc lập bằng vai trò người phản biện

Lượt thứ nhất tập trung vào logic: câu hỏi, thiết kế, phương pháp, kết quả và kết luận có tạo thành một chuỗi hợp lý hay không.

Lượt thứ hai tập trung vào bằng chứng: chọn từng kết quả và claim quan trọng rồi truy ngược về dữ liệu, output hoặc tài liệu phân tích. Người kiểm tra nên cố tìm những con số không có nguồn rõ ràng, phân tích xuất hiện ở Results nhưng không được mô tả trong Methods và kết luận không có kết quả trực tiếp hỗ trợ.

Lượt thứ ba tập trung vào tính đầy đủ và nhất quán của báo cáo: Abstract có khớp thân bài không, bảng và hình có thống nhất với Results không, các giới hạn và sai lệch quan trọng đã được nêu chưa, thuật ngữ và định nghĩa có được dùng nhất quán không.

Nếu có thể, một thành viên không trực tiếp tạo ra phân tích chính nên thực hiện ít nhất một phần của việc kiểm tra. Người tạo dữ liệu hoặc code thường đã quen với cấu trúc của chính mình nên dễ vô thức bổ sung thông tin còn thiếu khi đọc.

Khóa phiên bản và lưu hồ sơ truy vết

Sau khi các lỗi quan trọng đã được giải quyết, cần xác định một phiên bản chính thức của dữ liệu phân tích, code hoặc quy trình phân tích, output và bản thảo. Nếu tiếp tục sửa sau thời điểm này, thay đổi cần được thực hiện có kiểm soát để tránh tình trạng manuscript dùng kết quả từ nhiều phiên bản khác nhau.

Gói hồ sơ cuối nên cho phép nhóm nghiên cứu trả lời nhanh các câu hỏi như: con số này đến từ đâu, phiên bản phân tích nào tạo ra bảng này, tại sao một tiêu chí được thay đổi và bằng chứng nào hỗ trợ câu kết luận này.

Trước khi coi nghiên cứu đã hoàn thiện, có thể thực hiện lần xác nhận cuối:

Không còn mâu thuẫn chưa giải thích giữa mục tiêu, Methods, Results và kết luận

Mọi kết quả trọng yếu trong văn bản, bảng và hình đều truy vết được về nguồn phân tích đã xác nhận

Các phân tích chính có thể được tái tạo hoặc có quy trình đủ rõ để kiểm tra

Mọi claim quan trọng đều có bằng chứng trực tiếp và ngôn ngữ không vượt khả năng của thiết kế

Các thay đổi quan trọng so với protocol hoặc kế hoạch phân tích đã được nhận diện và trình bày minh bạch

Các giới hạn được liên hệ trực tiếp với phạm vi của kết luận

Hướng dẫn báo cáo phù hợp đã được dùng để kiểm tra tính đầy đủ

Dữ liệu, phân tích, output và bản thảo cuối đã được khóa thành các phiên bản có thể truy vết

Hoàn thiện nghiên cứu khoa học trước công bố là quá trình đóng toàn bộ chuỗi kiểm chứng, không phải chỉ sửa bản thảo cho hoàn chỉnh về hình thức. Nghiên cứu đạt trạng thái sẵn sàng khi câu hỏi, thiết kế, dữ liệu, phân tích, kết quả và kết luận nhất quán với nhau; các kết quả quan trọng có nguồn truy vết; các claim được giới hạn bởi bằng chứng thực tế; và những thay đổi, độ bất định cùng hạn chế đã được trình bày minh bạch.

Cách kiểm tra đáng tin cậy nhất là đi qua nghiên cứu theo cả hai chiều: từ câu hỏi xuống dữ liệu và kết quả, rồi từ từng con số và kết luận truy ngược về bằng chứng tạo ra chúng. Khi cả hai chiều đều khép kín và phiên bản cuối có thể được kiểm tra lại, việc công bố không còn dựa vào cảm giác rằng bản thảo “có vẻ hoàn thiện”, mà dựa trên một chuỗi bằng chứng có thể giải thích và bảo vệ.