Tin tức Thisme

AI chấm bài theo rubric: AI gợi ý điểm, người chấm duyệt và chịu trách nhiệm điểm chính thức

AI chấm bài theo rubric là cách để AI đối chiếu bài tự luận, bài viết hoặc bài nộp với từng tiêu chí chấm, rồi soạn gợi ý điểm và nhận xét dự thảo. Người chấm xem lại, sửa và chốt điểm chính thức. Cách làm này phù hợp khi rubric rõ và có bài mẫu để đối chiếu. Nó không dùng để tự quyết điểm, tự kết luận gian lận hay ra quyết định học vụ.[1]

Ảnh bìa bài viết “AI chấm bài theo rubric: AI gợi ý điểm, người chấm duyệt và chịu trách nhiệm điểm chính thức” trên Thisme

AI chấm bài theo rubric là gì?

Rubric là bảng chấm gồm các tiêu chí đánh giá, các mức đạt được và phần mô tả cụ thể cho mỗi mức. Người chấm dựa vào mô tả đó để xếp bài vào mức phù hợp, thay vì cho điểm theo cảm giác chung. Khi có AI tham gia, rubric trở thành khung đối chiếu: mô tả mức càng rõ, gợi ý của máy càng dễ kiểm tra.[1]

Bài này nói về những dạng bài có tiêu chí chấm mở: bài tự luận, bài viết, bài thảo luận và bài thực hành nộp lên. Với các dạng bài đó, AI đối chiếu tiêu chí chấm và soạn phản hồi dự thảo để người chấm hiệu chỉnh. Chấm trắc nghiệm có đáp án đóng hay dùng AI tạo câu hỏi trắc nghiệm là chuyện khác, không bàn ở đây.

Máy chấm bài luận không phải ý tưởng mới. Lĩnh vực chấm bài luận tự động đã có từ nhiều thập kỷ, và các hệ thống thường được đánh giá bằng mức đồng thuận giữa điểm máy cho với điểm của người chấm. Lĩnh vực này cũng nhận nhiều phê bình, chẳng hạn hệ thống có thể bị đánh lừa bởi bài dài hoặc dùng từ phức tạp mà nội dung nghèo nàn. Điểm khác hiện nay là mô hình ngôn ngữ có thể viết nhận xét bằng lời theo từng tiêu chí, nên người chấm có thêm một bản nháp để sửa chứ không chỉ một con điểm.[2]

AI làm được gì và người chấm giữ phần nào?

  • Đọc bài nộp và đối chiếu với mô tả mỗi mức trong rubric.
  • Đề xuất mức cho mỗi tiêu chí, kèm đoạn trích trong bài làm làm căn cứ.
  • Soạn phản hồi dự thảo cho người học, bám theo tiêu chí chứ không nhận xét chung chung.
  • Đánh dấu bài mà nó không chắc hoặc có tín hiệu cần người xem kỹ.

Người chấm kiểm tra căn cứ AI đưa ra, sửa mức điểm và lời nhận xét khi thấy chưa đúng, chốt điểm và tự xử lý các trường hợp đặc biệt. Phía trên nữa là đơn vị đào tạo: đơn vị vẫn quyết định quy tắc kỳ thi, điểm chính thức, cách phúc khảo và điều kiện cấp chứng nhận. Nói gọn, AI chỉ tạo bản nháp, gợi ý điểm hoặc đánh dấu tín hiệu để người có trách nhiệm duyệt.

Bảng ba cột phân vai khi chấm có AI hỗ trợ: AI đối chiếu và soạn nháp, người chấm kiểm tra và chốt điểm, đơn vị đào tạo quyết định quy tắc, phúc khảo và chứng nhận.

Quy trình chấm có AI gợi ý và người chấm duyệt gồm những bước nào?

Quy trình dưới đây giữ một nguyên tắc: mỗi bài luôn có một người chịu trách nhiệm cuối cùng về điểm, và mọi thay đổi đều để lại dấu vết.

  • Chốt rubric và bài mẫu: người phụ trách học phần duyệt phiên bản rubric, chọn bài mẫu đã chấm cho mỗi mức trước khi mở đợt chấm.
  • AI soạn gợi ý: với mỗi bài, máy đề xuất mức theo tiêu chí, trích căn cứ và viết nhận xét nháp.
  • Người chấm duyệt: xem căn cứ, chấp nhận hoặc sửa từng tiêu chí; bài AI đánh dấu không chắc được chấm lại từ đầu.
  • Chốt điểm và gửi phản hồi: người chấm xác nhận điểm chính thức, phản hồi chỉ gửi cho người học sau khi đã duyệt.
  • Lưu hồ sơ chấm: phiên bản rubric, gợi ý gốc của máy, điểm và nhận xét sau cùng, người chấm, thời điểm, lý do sửa.
  • Xử lý phúc khảo: một người chấm khác xem lại bài dựa trên hồ sơ, không chỉ dựa trên con số cuối.

Mỗi bài nên mang một trạng thái rõ ràng: AI đã gợi ý, người chấm đã sửa, đã chốt. Hệ thống ghi nhận bài làm, trạng thái xử lý, điểm và các trường hợp cần phúc khảo hoặc ngoại lệ, nên trưởng bộ môn nhìn vào là biết còn bao nhiêu bài chưa ai xem. Bài lệch nhiều so với bài mẫu, hoặc bài viết theo hướng máy không nhận diện được, nên chuyển thẳng cho người chấm làm từ đầu thay vì sửa trên gợi ý.

Sơ đồ sáu bước chấm bài: chốt rubric và bài mẫu, AI soạn gợi ý, người chấm duyệt, chốt điểm và gửi phản hồi, lưu hồ sơ chấm, xử lý phúc khảo dựa trên hồ sơ.

Khi nào nên dùng AI hỗ trợ chấm, khi nào không?

Công cụ này phát huy khi các điều kiện sau cùng có mặt:

  • Rubric rõ, mỗi mức mô tả bằng điều quan sát được trong bài.
  • Số bài nhiều và nhận xét có nhiều phần lặp lại giữa các bài.
  • Đã có bài mẫu được chấm và giải thích để đối chiếu.
  • Có người chấm sẵn sàng duyệt từng bài trong thời hạn trả điểm.

Ngược lại, nên tạm dừng hoặc chỉ dùng rất thận trọng trong các trường hợp sau:

  • Tiêu chí mơ hồ như “có chiều sâu” hay “sáng tạo” mà chưa mô tả cụ thể.
  • Đề đánh giá ý tưởng mới, quan điểm cá nhân hoặc lối viết khác thường; máy dễ bỏ sót ý sáng tạo hoặc thiên vị cách diễn đạt quen thuộc.
  • Bài thi có hệ quả lớn, như xét tốt nghiệp hay cấp chứng nhận, khi chưa qua giai đoạn kiểm tra độ lệch.
  • Không có ai duyệt: lúc đó gợi ý của máy thành điểm chính thức, điều không nên để xảy ra.

Đây không chỉ là chuyện kỹ thuật. Đạo luật AI của Liên minh châu Âu xếp các hệ thống AI dùng để đánh giá kết quả học tập vào nhóm rủi ro cao, kèm yêu cầu con người giám sát. Khung quản lý rủi ro AI của NIST hướng dẫn tổ chức quản trị, đo lường và quản lý rủi ro khi dùng AI, trong đó có vai trò giám sát của con người. Dù đơn vị của bạn không chịu các quy định đó, đây vẫn là mốc tham khảo hợp lý.[6][7]

Chuẩn bị rubric và bài mẫu thế nào để AI gợi ý sát hơn?

  • Viết mô tả mỗi mức bằng hành vi nhìn thấy được trong bài, ví dụ “nêu ít nhất một phản biện và trả lời phản biện đó” thay cho “lập luận chặt chẽ”.
  • Chọn bài mẫu đã chấm cho mỗi mức, kèm vài câu giải thích vì sao bài đó ở mức ấy; người phụ trách học phần làm việc này trước đợt chấm.
  • Gắn mỗi tiêu chí với mục tiêu học phần hoặc chuẩn đầu ra, để biết tiêu chí đang đo điều gì và tránh chấm những thứ đề không yêu cầu.
  • Thống nhất thông tin chú thích, cách đặt phiên bản và trạng thái duyệt của rubric trước khi chấm; bài nào chấm theo phiên bản nào phải tra lại được.

Chỗ hay bị bỏ qua là bài mẫu ở mức giữa. Bài rất tốt và bài rất yếu thường dễ nhận ra; khó là phân biệt mức khá với mức trung bình. Nếu chỉ có bài mẫu ở hai đầu, gợi ý ở vùng giữa dễ dao động và người chấm sẽ mất công sửa nhiều nhất ở đó.

Kiểm tra độ lệch giữa AI và người chấm ra sao?

Cách làm cơ bản là chấm đối chiếu: lấy một mẫu bài, để người chấm cho điểm độc lập mà không xem gợi ý, rồi so với AI theo từng tiêu chí. Trong đo lường, mức thống nhất giữa những người cùng chấm một bài gọi là độ tin cậy giữa người chấm. Chúng ta áp dụng đúng khái niệm đó, coi máy như thêm một người chấm.[3]

  • Tỷ lệ khớp hoàn toàn: máy và người chọn cùng mức cho một tiêu chí.
  • Tỷ lệ lệch một mức: hữu ích khi rubric có nhiều mức gần nhau.
  • Cohen's kappa: đo mức đồng thuận giữa hai người chấm sau khi trừ phần trùng khớp do ngẫu nhiên, đáng tin hơn tỷ lệ khớp thô.
  • Lệch theo nhóm: tiêu chí nào máy hay lệch, kiểu bài nào (bài ngắn, bài viết theo lối khác thường) bị chấm khác người.

[3][4]

Sau khi đưa vào dùng, việc theo dõi không dừng lại. Nên xem định kỳ thời gian xử lý, tỷ lệ gợi ý phải sửa, mức nhất quán giữa tiêu chí chấm và kết quả, số trường hợp ngoại lệ cùng yêu cầu phúc khảo. Bài này cố ý không đưa ra ngưỡng “đạt” cố định: ngưỡng chấp nhận được do đơn vị quyết định, chặt hơn với bài thi có hệ quả lớn.

Lưu hồ sơ chấm và xử lý phúc khảo

Khi học viên hỏi “vì sao em được điểm này”, người trả lời cần nhiều hơn con điểm. Hồ sơ chấm nên lưu:

  • Phiên bản rubric dùng để chấm bài đó.
  • Gợi ý gốc của máy cho từng tiêu chí, kể cả đoạn trích làm căn cứ.
  • Điểm và nhận xét đã chốt, tên người chấm và thời điểm chốt.
  • Lý do sửa khi người chấm không theo gợi ý.

Hệ thống ghi nhận bài làm, điểm, phúc khảo và trường hợp ngoại lệ trong cùng một chuỗi, nên người xem lại bài không phải ghép thông tin từ bảng tính và email. Khi lý do sửa được ghi lại, đơn vị còn có dữ liệu để biết tiêu chí nào trong rubric cần viết lại.

Bài làm là dữ liệu của người học. Chỉ người chấm và người phụ trách liên quan được xem bài, và đơn vị cần biết bài được xử lý ở đâu trước khi đưa vào công cụ AI. Hướng dẫn của Bộ Giáo dục Anh về AI tạo sinh trong giáo dục nhấn mạnh người dạy vẫn chịu trách nhiệm với đầu ra, phải kiểm tra kết quả AI tạo ra và bảo vệ dữ liệu người học. Chúng tôi khuyên nói rõ với học viên rằng có AI hỗ trợ chấm và điểm do người chấm duyệt.[8]

AI có được kết luận gian lận hay quyết định học vụ không?

Không. AI chỉ đánh dấu tín hiệu cần kiểm tra rồi đưa đến người có thẩm quyền. Máy không tự kết luận gian lận, không tự hủy bài và không thay quy trình giải trình hoặc khiếu nại của đơn vị. Việc nghe học viên giải trình và xử lý khiếu nại vẫn theo quy trình đơn vị đã ban hành.

Cũng cần tách hỗ trợ học tập khỏi đánh giá chính thức. Trợ giảng AI giúp người học hỏi đáp và ôn tập theo học liệu, nhưng không tự thay đổi giáo trình, không chấm điểm chính thức và không quyết định người học đã đạt chuẩn; kỳ thi chính thức cùng ngân hàng đề thuộc sản phẩm đánh giá. Người học có thể dùng trợ giảng để luyện viết, còn bài nộp chính thức đi qua quy trình chấm có người duyệt.

Bắt đầu thử từ một học phần như thế nào?

  • Chọn một học phần và một dạng bài có rubric rõ nhất; người phụ trách khảo thí quyết định.
  • Chuẩn bị bản thiết kế đề, mục tiêu đánh giá, đáp án hoặc gợi ý trả lời, bài mẫu và người duyệt.
  • Chạy song song một đợt: máy gợi ý, người chấm vẫn chấm như cũ mà không xem gợi ý, sau đó so sánh theo từng tiêu chí.
  • Thống nhất trước chỉ số sẽ theo dõi và người quyết định mở rộng; chưa hứa kết quả khi chưa có dữ liệu chạy thử.

Về công sức, hãy tính thật. Máy bớt cho người chấm phần soạn nhận xét lặp lại, nhưng đơn vị phải đầu tư viết rubric rõ, chuẩn bị bài mẫu, chấm đối chiếu và kiểm tra lại định kỳ. Nếu rubric còn mơ hồ, đừng kỳ vọng bớt việc: người chấm sẽ mất thời gian sửa gợi ý thay vì chấm.

Câu hỏi thường gặp

Gợi ý của AI có chính xác không?

Có thể lệch, và lệch theo những cách khó thấy nếu không đối chiếu: chấm cao bài dài, bỏ sót ý lạ, hoặc viết nhận xét không có căn cứ trong bài. Vì vậy cần chấm đối chiếu trước khi dùng, và người chấm duyệt từng bài khi đã dùng.[2][5]

Có cần báo cho học viên rằng bài được AI hỗ trợ chấm không?

Chúng tôi khuyên nên báo. Công khai việc có dùng AI, người duyệt điểm là ai và cách phúc khảo giúp người học hiểu kết quả thay vì tự đoán. Thông báo này nên có trong quy chế học phần hoặc hướng dẫn nộp bài.

Có chấm được bài viết tay hoặc bài thực hành không?

Tùy định dạng bài nộp. Bài viết tay cần được chuyển thành văn bản đọc được trước, còn bài thực hành như sản phẩm, bản vẽ hay video cần rubric mô tả những gì quan sát được từ tệp nộp. Phần này nên xác định trong buổi khảo sát, trên bài thật của đơn vị.

Có phải thay nền tảng học tập đang dùng không?

Không bắt buộc. Hệ thống có thể dùng độc lập hoặc kết nối nền tảng học tập, hệ thống quản lý học viên, cổng học và hệ thống định danh để nhận danh sách thí sinh, trả kết quả và lưu hồ sơ. Việc kết nối cụ thể chỉ xác nhận sau khi kiểm tra phần mềm bạn đang dùng.

Giảng viên có bị giảm vai trò không?

Vai trò dịch chuyển chứ không mất đi. Người dạy bớt gõ lại những nhận xét giống nhau, dành thời gian cho bài khó, bài lạ và phần phản hồi cần chuyên môn. Đơn vị vẫn quyết định điểm chính thức, và trách nhiệm giải thích điểm vẫn ở người chấm.

Bước tiếp theo cho đơn vị của bạn

Nếu bạn đang cân nhắc AI chấm bài, hãy bắt đầu từ rubric chứ không phải từ công cụ. Đăng ký buổi khảo sát để chúng ta cùng xem rubric, bài mẫu và quy trình chấm hiện tại của bạn, rồi làm thử một quy trình chấm có AI gợi ý và người chấm duyệt trên một học phần trước khi mở rộng.

Nguồn tham khảo

  1. Rubric (academic) – Wikipedia
  2. Automated essay scoring – Wikipedia
  3. Inter-rater reliability – Wikipedia
  4. Cohen's kappa – Wikipedia
  5. Hallucination (artificial intelligence) – Wikipedia
  6. AI Risk Management Framework – NIST
  7. Artificial Intelligence Act – Wikipedia
  8. Generative artificial intelligence (AI) in education – GOV.UK

← Trở về tin tức