Tiêu chí đánh giá độ tin cậy ứng dụng sức khỏe

Vì vậy, cách đánh giá phù hợp là kiểm tra một chuỗi yếu tố gồm mục đích sử dụng, bằng chứng khoa học, an toàn lâm sàng, nguồn gốc nội dung, quyền riêng tư và bảo mật, tình trạng quản lý, khả năng hoạt động ổn định và giới hạn sử dụng. Đây cũng là cách tiếp cận gần với các khung đánh giá chuyên môn hiện nay. Chẳng hạn, NHS England sử dụng các nhóm tiêu chí về an toàn lâm sàng, bảo vệ dữ liệu, bảo mật kỹ thuật, khả năng tương tác, tính khả dụng và khả năng tiếp cận khi đánh giá công nghệ số trong y tế.

Xác định ứng dụng đang làm gì và sai sót có thể gây hậu quả đến đâu

Bước đầu tiên không phải xem ứng dụng có bao nhiêu sao, mà là xác định “intended use” — mục đích sử dụng thực sự. Cùng mang nhãn “ứng dụng sức khỏe”, nhưng mức bằng chứng cần thiết sẽ thay đổi rất lớn tùy chức năng.

Nếu ứng dụng chỉ ghi nhật ký vận động, nhắc uống nước hoặc cung cấp nội dung giáo dục chung, sai số thường có hậu quả hạn chế. Ngược lại, nếu ứng dụng phát hiện bất thường tim mạch, phân tích hình ảnh, dự báo nguy cơ bệnh, hỗ trợ chẩn đoán hoặc ảnh hưởng đến quyết định điều trị, yêu cầu về độ chính xác, kiểm thử và kiểm soát rủi ro phải cao hơn nhiều.

FDA cũng áp dụng cách tiếp cận dựa trên rủi ro đối với phần mềm y tế. Cơ quan này tập trung giám sát những chức năng phần mềm đáp ứng định nghĩa thiết bị y tế và có thể gây nguy hiểm cho bệnh nhân nếu hoạt động không đúng; trong khi nhiều chức năng hỗ trợ sức khỏe hoặc tự quản lý bệnh có rủi ro thấp hơn có thể không thuộc trọng tâm giám sát.

Điều đó dẫn đến một nguyên tắc quan trọng: không thể áp dụng cùng một chuẩn tin cậy cho mọi ứng dụng sức khỏe. Người dùng nên đặt tiêu chuẩn kiểm chứng cao hơn khi kết quả của ứng dụng có khả năng thay đổi một quyết định y khoa quan trọng.

Các dấu hiệu cần đặc biệt thận trọng gồm:

·         Ứng dụng tuyên bố có thể chẩn đoán bệnh nhưng không giải thích cơ sở kiểm chứng

·         Kết quả của ứng dụng trực tiếp dẫn đến thay đổi thuốc, liều dùng hoặc điều trị

·         Ứng dụng đưa ra kết luận chắc chắn từ dữ liệu rất hạn chế

·         Không có cảnh báo về các trường hợp cần gặp bác sĩ hoặc cần đánh giá trực tiếp

Kiểm tra bằng chứng khoa học đứng sau các tuyên bố sức khỏe

Một ứng dụng có thể hoạt động ổn định về mặt kỹ thuật nhưng vẫn không đáng tin về mặt y khoa. Vì vậy, câu hỏi quan trọng tiếp theo là: tuyên bố mà ứng dụng đưa ra đã được chứng minh bằng loại bằng chứng nào?

Cần phân biệt ba mức rất khác nhau. Mức thấp nhất là nội dung dựa trên lời chứng thực, quảng cáo hoặc ý kiến của nhà phát triển. Cao hơn là nội dung dựa trên hướng dẫn chuyên môn hoặc nghiên cứu khoa học liên quan. Mạnh hơn nữa là bằng chứng trực tiếp cho thấy chính ứng dụng, thuật toán hoặc phương pháp đang sử dụng đã được đánh giá ở nhóm người dùng phù hợp.

Ví dụ, một ứng dụng giảm căng thẳng cho biết phương pháp nhận thức–hành vi có bằng chứng khoa học chưa đồng nghĩa với việc chính cách triển khai phương pháp đó trong ứng dụng đã được chứng minh hiệu quả. Tương tự, thuật toán sử dụng một chỉ số y khoa đã được công nhận cũng chưa chứng minh rằng cách ứng dụng thu thập và xử lý dữ liệu tạo ra kết quả đủ chính xác.

Khi xem bằng chứng, nên kiểm tra:

·         Nội dung sức khỏe có nguồn tham khảo cụ thể hay không

·         Nguồn có phải hướng dẫn chuyên môn, nghiên cứu khoa học hoặc tổ chức y tế có thẩm quyền hay không

·         Có nghiên cứu đánh giá trực tiếp ứng dụng hoặc chức năng quan trọng của ứng dụng hay không

·         Đối tượng trong nghiên cứu có tương đồng với người dùng mà ứng dụng hướng đến hay không

·         Phiên bản hoặc thuật toán được nghiên cứu có còn tương ứng với phiên bản hiện tại hay không

·         Nhà phát triển có công khai giới hạn, sai số hoặc trường hợp chưa được kiểm chứng hay không

Đây là lý do điểm sao trên kho ứng dụng không thể thay thế bằng chứng khoa học. Trong một nghiên cứu đánh giá 312 ứng dụng hoạt động thể chất, điểm sao của người dùng chỉ có tương quan nhỏ với điểm chất lượng chuyên môn theo Mobile App Rating Scale, với hệ số tương quan r = 0,22; nghiên cứu cũng không tìm thấy nghiên cứu hiệu quả cho bất kỳ ứng dụng nào trong mẫu.

Ở cấp độ rộng hơn, một umbrella review năm 2024 cho thấy các khung đánh giá ứng dụng sức khỏe sử dụng nhiều nhóm tiêu chí khác nhau và chưa tồn tại một tiêu chuẩn duy nhất bao phủ mọi khía cạnh. Điều này củng cố nhu cầu đánh giá ứng dụng theo nhiều chiều thay vì tìm một chỉ báo đơn lẻ.

Đánh giá an toàn lâm sàng và cách ứng dụng xử lý giới hạn

Một ứng dụng đáng tin không chỉ cho biết mình làm được gì mà còn phải nói rõ mình không làm được gì.

Giới hạn này đặc biệt quan trọng đối với chức năng liên quan đến triệu chứng, sàng lọc, chẩn đoán, theo dõi bệnh hoặc điều trị. Một hệ thống có thể cho kết quả đúng trong phần lớn tình huống nhưng vẫn nguy hiểm nếu người dùng không được cảnh báo về những trường hợp mà kết quả có thể sai hoặc không áp dụng được.

Có thể đánh giá an toàn lâm sàng bằng các câu hỏi thực tế: ứng dụng có mô tả đối tượng phù hợp không; có nêu trường hợp không nên sử dụng không; có cảnh báo khi dữ liệu đầu vào không đủ chất lượng không; có hướng dẫn người dùng tìm trợ giúp chuyên môn khi xuất hiện dấu hiệu nguy hiểm không; và có tránh trình bày kết quả mang tính xác suất như một chẩn đoán chắc chắn không.

Đối với chức năng thuộc phạm vi thiết bị y tế, cũng cần kiểm tra tuyên bố về phê duyệt hoặc cấp phép trực tiếp trên cơ sở dữ liệu của cơ quan quản lý thay vì chỉ tin logo hoặc câu quảng cáo của nhà phát triển. FDA cho biết các chức năng phần mềm được phê duyệt hoặc cleared có thể được tra cứu trong những cơ sở dữ liệu quản lý tương ứng. Tuy nhiên, FDA cũng nhấn mạnh rằng rất nhiều ứng dụng hoặc chức năng sức khỏe không thuộc phạm vi thiết bị y tế được cơ quan này xem xét. Vì vậy, việc một ứng dụng không có “FDA approval” tự nó chưa chứng minh ứng dụng kém tin cậy; điều quan trọng là chức năng đó có thuộc diện cần quản lý hay không.

WHO cũng lưu ý rằng can thiệp sức khỏe số cần được đánh giá không chỉ về lợi ích mà còn về tác hại, khả năng chấp nhận, tính khả thi, nguồn lực và vấn đề công bằng; công nghệ số không nên được coi là sự thay thế cho một hệ thống chăm sóc sức khỏe hoạt động đầy đủ.

Với ứng dụng ảnh hưởng trực tiếp đến quyết định y khoa, một tín hiệu tích cực là ứng dụng biết chuyển giao quyết định cho con người đúng lúc, thay vì luôn cố đưa ra kết luận.

Xem xét quyền riêng tư và bảo mật như một phần của độ tin cậy

Dữ liệu sức khỏe có thể bao gồm bệnh sử, triệu chứng, thuốc đang dùng, chu kỳ sinh sản, sức khỏe tâm thần, vị trí, dữ liệu cảm biến hoặc thông tin liên kết với thiết bị đeo. Vì vậy, một ứng dụng có nội dung y khoa tốt nhưng sử dụng dữ liệu thiếu minh bạch vẫn không thể được xem là đáng tin cậy toàn diện.

Khi cài đặt, cần kiểm tra tối thiểu ứng dụng thu thập dữ liệu gì, mục đích sử dụng, dữ liệu được chia sẻ với ai, người dùng có thể xóa hoặc xuất dữ liệu không và ứng dụng yêu cầu những quyền truy cập nào trên điện thoại. Một ứng dụng đếm bước cần quyền truy cập chuyển động có thể hợp lý; cùng ứng dụng đó yêu cầu danh bạ hoặc micro mà không giải thích rõ lại là tín hiệu cần xem xét.

Không nên hiểu sự tồn tại của một “privacy policy” là bằng chứng tự động rằng dữ liệu được bảo vệ tốt. Chính sách cần đủ cụ thể để người dùng biết loại dữ liệu, mục đích xử lý, bên nhận dữ liệu và quyền của mình. Một nghiên cứu về 23 ứng dụng sức khỏe phụ nữ cho thấy toàn bộ ứng dụng đều thu thập dữ liệu liên quan đến sức khỏe, nhưng chỉ 70% hiển thị chính sách quyền riêng tư và 87% chia sẻ dữ liệu với bên thứ ba. Kết quả này không thể đại diện cho mọi ứng dụng sức khỏe, nhưng minh họa rõ lý do quyền riêng tư phải được kiểm tra độc lập thay vì suy đoán từ độ phổ biến.

Tầm quan trọng của tiêu chí này cũng xuất hiện nhất quán trong nghiên cứu về khung đánh giá ứng dụng số: umbrella review năm 2024 ghi nhận quyền riêng tư và/hoặc bảo mật dữ liệu là tiêu chí xuất hiện nhiều nhất, có mặt trong 13/15 bài review, tương đương 87%.

Ngoài ra, không nên mặc định mọi ứng dụng sức khỏe đều được HIPAA bảo vệ chỉ vì chúng xử lý dữ liệu y tế. Tại Hoa Kỳ, FTC đã làm rõ Health Breach Notification Rule áp dụng cho nhiều ứng dụng sức khỏe và công nghệ liên quan nằm ngoài phạm vi HIPAA; quy tắc sửa đổi có hiệu lực từ tháng 7/2024.

Kiểm tra nhà phát triển, chuyên gia chịu trách nhiệm và tính minh bạch

Một ứng dụng đáng tin phải cho người dùng biết ai chịu trách nhiệm về sản phẩm và nội dung.

Thông tin nên tìm gồm tên pháp nhân hoặc tổ chức phát triển, địa chỉ liên hệ, nhóm chuyên môn tham gia, nguồn tài trợ, xung đột lợi ích và quy trình cập nhật nội dung. Nếu ứng dụng cung cấp kiến thức hoặc khuyến nghị y khoa, việc nêu rõ chuyên gia hoặc hội đồng chuyên môn chịu trách nhiệm có giá trị hơn một tuyên bố chung như “được xây dựng cùng các bác sĩ”.

Đồng thời, cần quan sát mô hình kinh doanh. Ứng dụng miễn phí không mặc nhiên kém tin cậy và ứng dụng trả phí cũng không mặc nhiên tốt hơn. Vấn đề cần xem là lợi ích thương mại có khả năng tác động đến nội dung hay không. Ví dụ, ứng dụng vừa đánh giá nguy cơ vừa trực tiếp bán sản phẩm được đề xuất phải được xem xét kỹ hơn về xung đột lợi ích.

Tính minh bạch còn thể hiện ở lịch sử cập nhật. Trong y tế, hướng dẫn chuyên môn, hệ điều hành, thiết bị kết nối và yêu cầu bảo mật đều có thể thay đổi. Một ứng dụng chứa nội dung y khoa nhưng không cho biết thời điểm cập nhật, không có kênh hỗ trợ hoặc đã bị bỏ mặc trong thời gian dài tạo ra rủi ro khác với sản phẩm đang được duy trì tích cực.

Tuy nhiên, “cập nhật gần đây” chỉ là tín hiệu vận hành, không phải bằng chứng khoa học. Một phiên bản mới có thể sửa lỗi giao diện nhưng chưa chắc cải thiện độ chính xác lâm sàng.

Đánh giá khả năng sử dụng thực tế nhưng không nhầm nó với độ chính xác y khoa

Một ứng dụng khó sử dụng có thể làm người dùng nhập sai dữ liệu, hiểu sai kết quả hoặc bỏ dở quá trình theo dõi. Vì vậy, tính khả dụng vẫn là một thành phần của độ tin cậy thực tế.

Các yếu tố nên kiểm tra gồm chức năng có hoạt động ổn định không, hướng dẫn có dễ hiểu không, đơn vị đo có rõ ràng không, dữ liệu có thể sửa khi nhập nhầm không, ứng dụng có hỗ trợ người dùng khuyết tật hoặc nhu cầu tiếp cận khác không và kết quả có được trình bày theo cách hạn chế hiểu nhầm hay không.

Các công cụ đánh giá chuyên môn như Mobile App Rating Scale cũng xem chất lượng ứng dụng theo nhiều chiều thay vì chỉ nội dung, gồm mức độ thu hút, chức năng, thẩm mỹ và chất lượng thông tin. Phiên bản MARS ban đầu gồm 23 mục và cho thấy độ nhất quán nội tại cao cùng độ tin cậy giữa người đánh giá ở mức tốt trong nghiên cứu phát triển công cụ.

Tuy vậy, giao diện đẹp, vận hành mượt hoặc có nhiều tính năng chỉ chứng minh ứng dụng được thiết kế tốt ở một số phương diện. Chúng không chứng minh thuật toán đúng, khuyến nghị an toàn hoặc nội dung có bằng chứng. Đây là điểm dễ gây nhầm lẫn nhất khi người dùng đánh giá ứng dụng qua trải nghiệm ban đầu.

Dùng một checklist nhiều tầng thay vì tìm một “con dấu” duy nhất

Khi cần quyết định nhanh, có thể đánh giá độ tin cậy ứng dụng sức khỏe theo tám câu hỏi. Càng nhiều câu trả lời rõ ràng, có thể kiểm chứng và phù hợp với mức rủi ro của chức năng thì cơ sở tin cậy càng mạnh:

1.    Mục đích: Ứng dụng nói rõ mình dùng để làm gì và không dùng để làm gì

2.    Bằng chứng: Những tuyên bố sức khỏe quan trọng có nguồn khoa học hoặc đánh giá phù hợp

3.    An toàn: Có giới hạn, cảnh báo, ngoại lệ và hướng xử lý khi kết quả không chắc chắn

4.    Quản lý: Nếu chức năng thuộc diện thiết bị y tế, tuyên bố cấp phép hoặc phê duyệt có thể được xác minh

5.    Minh bạch: Xác định được nhà phát triển, chuyên gia chịu trách nhiệm, nguồn tài trợ và kênh liên hệ

6.    Dữ liệu: Người dùng biết dữ liệu nào được thu thập, dùng cho mục đích gì và chia sẻ cho ai

7.    Vận hành: Ứng dụng ổn định, dễ hiểu, được duy trì và phù hợp với người dùng mục tiêu

8.    Giới hạn quyết định: Ứng dụng không khuyến khích người dùng thay thế đánh giá chuyên môn trong những tình huống vượt khả năng của nó

Không cần một ứng dụng phải có mọi chứng nhận có thể tồn tại trên thị trường. Điều quan trọng là mức bằng chứng và kiểm soát phải tương xứng với mức rủi ro của chức năng. Một nhật ký vận động và một phần mềm phát hiện rối loạn nhịp tim không nên bị đánh giá bằng cùng một ngưỡng.

Ngược lại, nên coi là tín hiệu cảnh báo khi ứng dụng đưa ra tuyên bố điều trị mạnh nhưng không có bằng chứng tương ứng, không thể xác định đơn vị chịu trách nhiệm, yêu cầu dữ liệu không liên quan đến chức năng, giấu thông tin chia sẻ dữ liệu, sử dụng điểm sao như bằng chứng khoa học hoặc trình bày kết quả của thuật toán như chẩn đoán chắc chắn.

Độ tin cậy ứng dụng sức khỏe là kết quả của nhiều lớp kiểm chứng, không phải một điểm số duy nhất. Lượt tải, đánh giá năm sao, giao diện chuyên nghiệp hay lời tuyên bố “được bác sĩ phát triển” đều có thể là thông tin tham khảo, nhưng không đủ để chứng minh chất lượng y khoa.

Tiêu chuẩn quan trọng nhất là sự phù hợp giữa mức rủi ro của chức năng và mức độ chứng minh mà ứng dụng cung cấp. Với ứng dụng chỉ hỗ trợ thói quen sức khỏe, yêu cầu có thể tương đối đơn giản. Khi ứng dụng tham gia vào sàng lọc, chẩn đoán, theo dõi bệnh hoặc quyết định điều trị, người dùng cần đòi hỏi bằng chứng khoa học, kiểm soát an toàn, minh bạch dữ liệu và tình trạng quản lý ở mức cao hơn. Nếu một kết quả từ ứng dụng có khả năng khiến bạn trì hoãn khám bệnh, thay đổi thuốc hoặc lựa chọn điều trị, kết quả đó không nên được sử dụng như căn cứ duy nhất cho quyết định y khoa.