Tự động hóa tài liệu hóa nghiên cứu hỗ trợ gì?

Tự động hóa hỗ trợ bằng cách chuyển một phần hoạt động tài liệu hóa từ nhiệm vụ phải nhớ và nhập thủ công thành dữ liệu được sinh ra trong chính workflow nghiên cứu. Khi một bước xử lý được chạy, hệ thống có thể đồng thời ghi thời gian, đầu vào, đầu ra, tham số, phiên bản hoặc quan hệ giữa các thành phần. Nhờ đó, tài liệu không còn hoàn toàn tách rời khỏi quá trình tạo ra kết quả.

Giá trị quan trọng vì thế không nằm ở việc “viết tài liệu nhanh hơn”, mà ở khả năng ghi nhận quy trình theo cùng một cấu trúc, tại đúng thời điểm hoạt động xảy ra và gắn bản ghi với đối tượng nghiên cứu tương ứng.

Tự động hóa biến hoạt động nghiên cứu thành hồ sơ có cấu trúc

Trong quy trình thủ công, nhà nghiên cứu thường thực hiện một hành động trước rồi ghi chép lại sau. Khoảng cách giữa hai hoạt động tạo ra nguy cơ mất chi tiết: tên tệp có thể nhớ sai, một tham số có thể bị bỏ qua hoặc lý do thay đổi phương pháp không được ghi nhận đầy đủ.

Tự động hóa thay đổi cơ chế đó bằng cách gắn thao tác với hoạt động ghi nhận. Một workflow có thể tạo bản ghi khi dữ liệu được nhập, khi tập lệnh được chạy, khi một phiên bản được lưu hoặc khi kết quả được xuất. Hồ sơ do đó có thể phản ánh chuỗi:

Đầu vào → hoạt động → tham số → đầu ra → thời điểm → tác nhân → phiên bản

Cấu trúc này gần với mô hình provenance của W3C PROV, trong đó các thành phần cốt lõi được mô tả theo quan hệ giữa Entity, Activity và Agent. Cách biểu diễn như vậy giúp truy ngược một kết quả về dữ liệu và hoạt động đã tạo ra nó thay vì chỉ lưu kết quả cuối cùng.

Ví dụ, nếu một tập dữ liệu trải qua ba bước làm sạch, chuyển đổi và phân tích, hệ thống không nhất thiết chỉ lưu tệp cuối cùng. Nó có thể ghi nhận dữ liệu ban đầu, ba hoạt động xử lý, các phiên bản trung gian và mối quan hệ giữa chúng. Khi cần kiểm tra kết quả, người nghiên cứu có một chuỗi lịch sử thay vì phải tái dựng quy trình từ trí nhớ.

Đây là khác biệt cơ bản giữa tự động lưu tệp và tự động tài liệu hóa. Lưu tệp chỉ bảo tồn sản phẩm; tài liệu hóa phải bảo tồn thêm ngữ cảnh giải thích sản phẩm đó được hình thành như thế nào.

Tự động hóa giúp thông tin được ghi nhận nhất quán hơn

Một vấn đề của ghi chép thủ công là mức độ chi tiết phụ thuộc vào từng người và từng thời điểm. Cùng một thao tác, người thứ nhất có thể ghi tên dữ liệu và ngày thực hiện, người thứ hai thêm tham số, còn người thứ ba chỉ ghi kết quả.

Nếu workflow quy định trước các trường thông tin bắt buộc, hệ thống có thể tạo bản ghi theo một schema thống nhất. Chẳng hạn, mỗi lần chạy đều phải có mã thực nghiệm, thời gian, nguồn dữ liệu, phiên bản quy trình, tham số và vị trí đầu ra. Tính nhất quán lúc này đến từ cấu trúc của hệ thống thay vì phụ thuộc hoàn toàn vào thói quen cá nhân.

Cơ chế này đặc biệt có ý nghĩa đối với metadata. FAIR Principles nhấn mạnh rằng dữ liệu cần được mô tả bằng metadata phong phú và, để tăng khả năng tương tác và tái sử dụng, metadata nên sử dụng cách biểu diễn và từ vựng có thể được hiểu trong những hệ thống khác nhau.

Tự động hóa có thể hỗ trợ yêu cầu đó ở hai cấp độ. Thứ nhất, hệ thống buộc các bản ghi cùng loại sử dụng cùng trường metadata. Thứ hai, một số trường có thể được lấy trực tiếp từ môi trường thực thi thay vì nhập lại bằng tay.

Tuy nhiên, tự động hóa không tự đảm bảo metadata có chất lượng. Nếu schema ban đầu thiếu trường quan trọng hoặc cách đặt tên không nhất quán, hệ thống có thể tự động tạo ra rất nhiều bản ghi nhưng vẫn thiếu ngữ cảnh cần thiết. Khâu thiết kế cấu trúc ghi nhận vì thế vẫn phải được quyết định trước khi tự động hóa.

Lịch sử phiên bản và provenance giúp truy ngược kết quả nghiên cứu

Một kết quả nghiên cứu thường không xuất hiện sau một thao tác duy nhất. Dữ liệu có thể được chỉnh sửa nhiều lần, mã phân tích thay đổi, tham số được điều chỉnh và phương pháp được cập nhật trong quá trình thử nghiệm.

Nếu chỉ lưu phiên bản cuối, câu hỏi “kết quả này được tạo ra như thế nào?” có thể rất khó trả lời.

Tự động hóa hỗ trợ bằng cách tạo dấu vết thay đổi. Tùy hệ thống, dấu vết có thể bao gồm phiên bản dữ liệu, phiên bản mã, thời gian chạy, cấu hình, người thực hiện và quan hệ giữa đầu vào với đầu ra. Khi những bản ghi này được liên kết, chúng hình thành provenance của sản phẩm nghiên cứu.

W3C mô tả provenance là thông tin có thể được sử dụng để đánh giá chất lượng, độ tin cậy hoặc mức độ đáng tin của dữ liệu hay sản phẩm được tạo ra.

Giá trị thực tế xuất hiện khi cần điều tra một kết quả bất thường. Thay vì hỏi “lúc đó chúng ta đã làm gì?”, nhóm nghiên cứu có thể truy lại phiên bản dữ liệu, bước xử lý và cấu hình tương ứng. Nếu phát hiện một bước có lỗi, phạm vi ảnh hưởng cũng dễ xác định hơn vì có thể nhận diện các kết quả nào phụ thuộc vào bước đó.

Điều cần phân biệt là provenance không đồng nghĩa với backup. Backup trả lời câu hỏi “có thể lấy lại dữ liệu cũ không?”, trong khi provenance hướng tới câu hỏi “dữ liệu hoặc kết quả này xuất phát từ đâu và đã trải qua những hoạt động nào?”.

Tài liệu được tạo cùng workflow hỗ trợ khả năng tái lập

Một quy trình khó tái lập khi người khác chỉ nhận được kết quả nhưng không biết chính xác dữ liệu, phương pháp, cấu hình hoặc chuỗi xử lý đã được sử dụng.

Tự động hóa tài liệu hóa có thể làm giảm khoảng trống này bằng cách ghi thông tin ngay khi workflow chạy. Nếu đầu vào, bước xử lý, tham số và phiên bản được lưu cùng nhau, người khác có thêm cơ sở để hiểu hoặc tái tạo chuỗi hoạt động dẫn đến kết quả.

Đây cũng là lý do quản trị dữ liệu và tài liệu hóa thường gắn với reproducibility. NIH coi khả năng tiếp cận và chia sẻ dữ liệu khoa học là một yếu tố hỗ trợ tính chặt chẽ, khả năng tái lập và tái sử dụng nghiên cứu.

FAIR Principles bổ sung một khía cạnh khác: dữ liệu và metadata cần hướng tới khả năng Findable, Accessible, Interoperable và Reusable. Đặc biệt, khả năng tái sử dụng phụ thuộc vào việc dữ liệu được mô tả đủ rõ để có thể được hiểu, kết hợp hoặc sử dụng trong bối cảnh khác.

Tuy vậy, tài liệu tự động không tạo ra khả năng tái lập nếu nó chỉ ghi “workflow đã chạy thành công”. Một bản ghi hữu ích phải bảo tồn đủ thông tin liên quan đến điều kiện tạo ra kết quả. Mức độ chi tiết cần thiết phụ thuộc vào loại nghiên cứu và công cụ sử dụng.

Tự động hóa giảm bỏ sót nhưng không thay thế giải thích của nhà nghiên cứu

Một hiểu nhầm phổ biến là sau khi thiết lập hệ thống tự động, nhà nghiên cứu không còn phải ghi chép.

Trong thực tế, máy phù hợp với những thông tin mà nó có thể quan sát trực tiếp: thời gian chạy, tên tệp, checksum, tham số, phiên bản phần mềm, trạng thái workflow hoặc quan hệ đầu vào–đầu ra. Nhưng nhiều thông tin quan trọng thuộc về ý nghĩa và quyết định của con người.

Hệ thống có thể ghi rằng tham số thay đổi từ A sang B, nhưng không nhất thiết biết tại sao nhà nghiên cứu thực hiện thay đổi đó. Nó có thể ghi một mẫu bị loại khỏi phân tích, nhưng không tự hiểu đầy đủ lý do khoa học dẫn đến quyết định loại mẫu.

Vì vậy, mô hình hiệu quả không phải:

Tài liệu thủ công → loại bỏ hoàn toàn

mà là:

Thông tin máy có thể quan sát → tự động ghi nhận

Lý do, diễn giải và quyết định khoa học → con người bổ sung

Sự phân chia này vừa giảm khối lượng nhập liệu lặp lại vừa giữ được ngữ cảnh mà hệ thống không thể tự suy ra.

Nó cũng tạo một ranh giới quan trọng: nhiều log hơn không đồng nghĩa với tài liệu tốt hơn. Nếu hệ thống thu thập hàng nghìn sự kiện nhưng không tổ chức chúng thành các quan hệ có ý nghĩa, người đọc vẫn khó tái dựng quy trình nghiên cứu.

Muốn tự động hóa hiệu quả cần xác định trước những gì phải được ghi nhận

Tự động hóa nên bắt đầu từ câu hỏi về khả năng truy vết, không phải từ việc chọn công cụ.

Trước hết cần xác định một kết quả nghiên cứu phải trả lời được những câu hỏi nào: nó đến từ dữ liệu nào, quy trình nào đã tác động lên dữ liệu, phiên bản nào được sử dụng, điều kiện thực hiện là gì và ai hoặc thành phần nào chịu trách nhiệm cho hoạt động tương ứng.

Từ đó mới có thể phân chia thông tin thành hai nhóm: thông tin có thể thu tự động và thông tin cần con người cung cấp.

Các thành phần thường phù hợp để tự động ghi nhận gồm:

·         Thời điểm hoạt động

·         Định danh dữ liệu đầu vào và đầu ra

·         Phiên bản tệp, mã hoặc workflow

·         Tham số và cấu hình thực thi

·         Quan hệ giữa các bước xử lý

·         Trạng thái thực hiện và lỗi phát sinh

Trong khi đó, lý do thay đổi thiết kế nghiên cứu, diễn giải một quan sát, quyết định loại dữ liệu hoặc đánh giá ý nghĩa của kết quả thường cần phần ghi nhận của nhà nghiên cứu.

Sau khi xác định các thành phần này, nhóm nghiên cứu mới thiết kế schema metadata, quy tắc đặt định danh và quan hệ provenance. Nếu dữ liệu cần trao đổi hoặc tái sử dụng giữa nhiều hệ thống, việc sử dụng metadata có cấu trúc và từ vựng được chuẩn hóa càng quan trọng. FAIR nhấn mạnh metadata có thể đọc bằng máy là yếu tố thiết yếu cho khả năng khám phá tự động và metadata có cấu trúc hỗ trợ khả năng tìm kiếm, tương tác và tái sử dụng dữ liệu.

Cuối cùng, cần kiểm tra bằng một tình huống thực tế: chọn một kết quả và thử truy ngược toàn bộ đường đi từ kết quả về dữ liệu, hoạt động, phiên bản và điều kiện tạo ra nó. Nếu vẫn phải phụ thuộc vào trí nhớ của một thành viên để lấp những mắt xích quan trọng, phạm vi tự động hóa tài liệu hóa vẫn chưa bao phủ đủ workflow.

Tự động hóa tài liệu hóa nghiên cứu có giá trị nhất khi biến việc ghi nhận từ một công việc bổ sung sau nghiên cứu thành một phần của chính quy trình nghiên cứu. Hệ thống có thể tự động lưu metadata, phiên bản, thời gian, tham số và provenance để tạo dấu vết nhất quán giữa dữ liệu, hoạt động và kết quả.

Điều đó giúp giảm nguy cơ bỏ sót thông tin, hỗ trợ truy vết thay đổi và tạo điều kiện tốt hơn cho việc kiểm tra, tái lập và tái sử dụng dữ liệu. Nhưng tự động hóa không thể thay thế hoàn toàn tài liệu do con người tạo ra. Những quyết định khoa học, lý do thay đổi và diễn giải kết quả vẫn cần được ghi nhận có chủ đích. Vì vậy, thiết kế phù hợp nhất là để hệ thống tự ghi những gì máy có thể quan sát một cách đáng tin cậy, còn nhà nghiên cứu tập trung tài liệu hóa phần ngữ cảnh và lập luận mà máy không thể tự xác định.