Tin tức Thisme
Ngân hàng câu hỏi là gì và cách xây dựng, gắn thẻ, duyệt câu hỏi cho kỳ đánh giá
Ngân hàng câu hỏi là kho câu hỏi đánh giá được sắp xếp theo học phần và mục tiêu học tập. Mỗi câu có đáp án, giải thích, độ khó, kỹ năng, phiên bản và trạng thái duyệt. Nhờ vậy, đơn vị đào tạo lắp ráp được đề cho nhiều kỳ mà không phải soạn lại từ đầu. Để xây kho này, bạn thống nhất cấu trúc và bộ thẻ trước, cho chuyên gia duyệt từng câu trước khi dùng, rồi định kỳ cập nhật hoặc ngừng dùng những câu đã cũ.
Ngân hàng câu hỏi là gì, khác gì một file đề thi?
Một file đề thi là sản phẩm của một kỳ. Các câu nằm cạnh nhau theo thứ tự in, đáp án để cuối file, và thường chỉ người soạn biết vì sao câu này có mặt. Bộ đề cũ cũng vậy. Trong kho câu hỏi, đơn vị nhỏ nhất là từng câu riêng lẻ. Mỗi câu mang theo thông tin chú thích (thuộc học phần nào, đo mục tiêu nào, khó đến đâu), đáp án, lời giải thích, số phiên bản và trạng thái. Đề thi chỉ là một lần lấy câu ra theo một thiết kế cho trước.
Khác biệt này quyết định việc dùng lại. Với file đề, muốn ra đề mới bạn phải mở file cũ, chép, sửa và hy vọng không lẫn câu đã dùng. Với một kho có thẻ, bạn lọc theo học phần, mục tiêu, độ khó và trạng thái rồi ghép đề. Lúc đó đề thi không còn phụ thuộc vào một người soạn duy nhất.
Khi nào đơn vị đào tạo cần xây kho câu hỏi bài bản?
- Mỗi kỳ thi, giảng viên lại soạn đề mới gần như từ đầu.
- Câu hỏi nằm trong file cá nhân của từng người; ai nghỉ hoặc chuyển việc thì câu hỏi đi theo người đó.
- Không ai trả lời chắc được câu nào đã dùng ở kỳ trước, câu nào còn đúng với giáo trình hiện hành.
- Nhiều lớp, nhiều đợt học cùng một học phần cần đề có độ khó và độ phủ tương đương, nhưng hiện mỗi lớp một kiểu.
- Học viên phản ánh đề lớp này dễ hơn đề lớp kia, còn đơn vị không có căn cứ để giải thích.
- Đổi người phụ trách khảo thí là phải dựng lại cách tổ chức câu hỏi.
Kho câu hỏi là phần việc diễn ra trước ngày thi của cả một chuỗi đánh giá. Chúng tôi thiết kế sản phẩm đánh giá của Thisme dựa trên ý này: một hoạt động đánh giá đáng tin cậy bắt đầu trước ngày thi và tiếp tục sau khi có điểm. Câu hỏi, bài nộp, kỳ thi, phản hồi, phúc khảo và hồ sơ kết quả nằm trong cùng một quy trình. Nếu khâu câu hỏi lỏng lẻo, các khâu sau rất khó sửa.
Cấu trúc theo học phần và mục tiêu học tập
Nên tổ chức từ chương trình xuống, đừng đi từ file đề lên. Thứ tự dễ dùng nhất là học phần, rồi đến mục tiêu hoặc chuẩn đầu ra của học phần đó, rồi chủ đề, cuối cùng mới là từng câu. Chương trong giáo trình có thể làm một thẻ chủ đề, nhưng không nên là trục chính. Giáo trình đổi thì chương đổi, còn mục tiêu thường ổn định hơn.
Có một phép thử đơn giản: mỗi câu phải chỉ ra được nó đo mục tiêu nào và thuộc học phần nào. Câu nào chưa chỉ ra được thì chưa nên vào kho.
Nếu đơn vị đã có ma trận đầu ra – học phần – đánh giá, hãy dùng luôn ma trận ấy để soi kho. Chỗ nào trong ma trận chưa có câu hỏi là chỗ cần soạn thêm. Trong sản phẩm Thiết kế và quản lý chương trình, chúng tôi tổ chức chương trình bằng mục tiêu, chuẩn đầu ra và chính ma trận này, để thấy học phần nào đã có đầu ra và cách đánh giá rõ ràng.
Mỗi câu hỏi cần những trường thông tin nào?
- Nội dung câu hỏi và loại câu: trắc nghiệm, tự luận hay thực hành.
- Đáp án đúng và lời giải thích, để học viên đọc lại sau khi làm bài.
- Học phần, mục tiêu hoặc chuẩn đầu ra, chủ đề.
- Độ khó, kỹ năng hoặc mức nhận thức theo bộ thẻ chung.
- Nguồn tham chiếu: đoạn nào trong tài liệu giảng dạy làm căn cứ cho đáp án.
- Người soạn, người duyệt và ngày duyệt.
- Phiên bản và trạng thái: nháp, đang xem xét, đã duyệt, ngừng dùng.
- Lịch sử sử dụng: câu đã vào đề kỳ nào, cho lớp nào.
Gắn thẻ độ khó và kỹ năng sao cho nhất quán
Khi nhiều giảng viên cùng gắn thẻ, lỗi hay gặp nhất không phải là gắn sai mà là mỗi người gọi một kiểu. Người ghi “khó”, người ghi “mức cao”, người khác lại dùng thang riêng. Vì vậy, hãy chốt bộ thẻ trước khi nhập câu đầu tiên: thang độ khó có mấy mức và mỗi mức nghĩa là gì, danh mục kỹ năng, cách gọi tên chủ đề. Viết những quy ước này thành một trang hướng dẫn ngắn và giao cho một người giữ.
Với thẻ mức nhận thức, thang phân loại Bloom là một khung tham khảo quen thuộc, gồm các mức nhớ, hiểu, vận dụng, phân tích, đánh giá và sáng tạo. Bạn không cần dùng nguyên văn khung này. Nhưng dựa vào một khung đã được mô tả công khai, giảng viên sẽ có chung ngôn ngữ khi bàn xem một câu đang đo “hiểu” hay “vận dụng”.[1]
Độ khó lúc mới gắn chỉ là ước lượng của chuyên gia. Sau mỗi kỳ, khi đã có kết quả làm bài thực tế, người phụ trách học phần nên xem lại. Câu được gắn “khó” mà gần như ai cũng làm đúng thì hạ mức, và ngược lại.
Khi kho đã lớn, AI có thể giúp gắn thẻ nhanh hơn. Trong sản phẩm Làm giàu dữ liệu, AI gợi ý chủ đề, kỹ năng, trình độ hay từ khóa. Mỗi gợi ý đi kèm nguồn, căn cứ, độ tin cậy cùng trạng thái duyệt, chứ không được coi là đúng ngay. Người phụ trách xem, sửa rồi mới chấp nhận thẻ.
Quy trình chuyên gia duyệt câu hỏi
Ai duyệt? Nên là người có chuyên môn về học phần, và tốt nhất không phải chính người đã soạn câu đó. Quy trình cần đủ gọn để làm đều đặn sau mỗi đợt soạn:
- Người soạn viết mới hoặc nhập câu có sẵn, kèm đáp án và lời giải thích.
- Người duyệt kiểm tra đáp án có đúng, rõ và khớp với lời giải thích không.
- Đối chiếu câu với tài liệu giảng dạy hiện hành và ghi nguồn tham chiếu.
- Kiểm tra thẻ học phần, mục tiêu, độ khó, kỹ năng theo bộ thẻ chung.
- Duyệt hoặc trả về sửa; khi trả về, ghi rõ lý do và tên người duyệt.
- Chuyển trạng thái sang đã duyệt; chỉ từ lúc này câu mới được lấy vào đề.
Có một quy tắc nên đặt ngay từ đầu: câu ở trạng thái nháp hoặc đang xem xét không bao giờ xuất hiện trong đề chính thức. Khi lắp ráp đề, quản trị viên chỉ lấy từ những câu đã qua bước duyệt.
Dùng AI soạn câu hỏi: được gì và cần kiểm soát gì?
AI có thể tạo câu hỏi hoặc biến thể dạng bản nháp từ nguồn được phép, chẳng hạn từ một chương giáo trình đã duyệt. Giảng viên nhờ đó có thêm phương án để chọn, nhất là khi cần biến thể cho nhiều đề tương đương. Nhưng người có chuyên môn vẫn phải sửa và duyệt trước khi câu được dùng.
Với bản nháp do máy tạo, hãy soi kỹ mấy lỗi sau: câu lệch khỏi nội dung bài học, câu dựa trên tài liệu cũ đã bị thay, đáp án mơ hồ hoặc có hai phương án cùng đúng, phương án nhiễu quá lộ. Để giảm rủi ro, chỉ cho AI dùng tài liệu đã duyệt và còn hiệu lực, yêu cầu mỗi bản nháp ghi nguồn, và đưa bản nháp qua đúng quy trình duyệt như câu do người soạn.
Cập nhật, đặt phiên bản và loại câu hỏi cũ
Khi giáo trình đổi, đừng sửa đè lên câu cũ. Hãy lọc ra mọi câu gắn với học phần hoặc chủ đề bị ảnh hưởng, rà từng câu, và tạo phiên bản mới cho câu cần thay đổi. Bản cũ chuyển sang ngừng dùng nhưng vẫn được giữ lại, vì nó gắn với bài làm và điểm của các kỳ trước. Khi có phúc khảo, bạn cần biết học viên đã thấy đúng câu nào.
Không chỉ lúc đổi giáo trình mới cần xử lý. Có những dấu hiệu cho thấy một câu nên chuyển sang trạng thái xem xét hoặc ngừng dùng:
- Câu quá dễ hoặc quá khó so với mức đã gắn, sau vài kỳ sử dụng.
- Đáp án gây tranh cãi, hoặc câu bị phúc khảo nhiều lần.
- Câu trùng hoặc gần trùng với một câu khác trong kho.
- Câu có khả năng đã lộ, ví dụ đã xuất hiện trong tài liệu ôn tập lan truyền.
- Câu dựa trên nội dung mà giáo trình đã bỏ.
Mỗi học phần nên có một người phụ trách kho và một lịch rà soát cố định, chẳng hạn sau mỗi đợt thi hoặc mỗi lần cập nhật giáo trình. Thông tin chú thích, cách đặt phiên bản và trạng thái duyệt cần được thống nhất trước khi lắp ráp đề hay tạo bản nháp mới. Nếu để sau mới chốt, bạn sẽ phải gắn lại thẻ cho cả kho.
Tạo nhiều đề tương đương từ kho đã duyệt
Việc đầu tiên là lập bản thiết kế đề: mỗi học phần hoặc mục tiêu lấy bao nhiêu câu, tỷ lệ giữa các mức độ khó, dùng loại câu nào. Quản trị viên cấu hình lịch, nhóm thí sinh, số lượt làm và dùng thiết kế này để ghép đề từ các câu đã qua duyệt. Vì mọi đề tuân theo cùng một khung, bạn có thể tạo nhiều đề tương đương cho nhiều lớp hoặc nhiều lượt làm. Học viên ở các lớp khác nhau nhận đề có độ khó và độ phủ gần nhau.
Sau kỳ thi, hệ thống ghi nhận bài làm, điểm, phúc khảo và các trường hợp ngoại lệ. Dữ liệu này quay ngược về kho. Câu nào bị phúc khảo hoặc cho kết quả bất thường thì đưa lại vào danh sách rà soát.
Nên tách câu dùng cho kỳ thi chính thức khỏi câu tự luyện và ôn tập. Câu ôn tập có thể mở cho học viên, còn câu thi cần giữ kín để không bị lộ. Ở Thisme, Trợ giảng AI tạo câu hỏi tự luyện và phiên ôn tập nhưng không chấm điểm chính thức. Kỳ thi chính thức cùng kho đề thuộc về sản phẩm đánh giá.
Đo chất lượng kho bằng gì ngoài số lượng câu?
Kho nhiều câu chưa chắc là kho tốt. Những chỉ số dưới đây phản ánh phần việc mà đơn vị kiểm soát được:
- Tỷ lệ câu hỏi phải sửa, sau bước duyệt hoặc sau khi đã dùng.
- Mức nhất quán giữa tiêu chí chấm và kết quả.
- Số trường hợp ngoại lệ và yêu cầu phúc khảo mỗi kỳ.
- Thời gian xử lý, từ lúc soạn đến lúc câu được duyệt.
- Độ phủ: phần nào trong ma trận đầu ra còn thiếu câu, hoặc chỉ có câu ở một mức khó.
Bắt đầu từ đâu khi câu hỏi đang nằm rải rác?
Bạn không cần dựng cả kho ngay. Hãy chọn một học phần hoặc một kỳ đánh giá sắp tới để làm thử, gom các câu đang có trong file của giảng viên, rồi làm theo trình tự sau:
- Chuẩn bị bản thiết kế đề, mục tiêu đánh giá, câu hỏi hiện có, đáp án, giải thích và danh sách người duyệt.
- Chốt bộ thẻ, cách đặt phiên bản và các trạng thái trước khi nhập.
- Nhập câu, loại câu trùng, gắn thẻ và chuyển cho chuyên gia duyệt.
- Thử ghép một đề từ phần đã duyệt và kiểm tra đề có khớp thiết kế không.
- Rút kinh nghiệm, sau đó mới mở rộng sang học phần khác.
Có phải thay nền tảng học tập đang dùng không? Không nhất thiết. Sản phẩm Đánh giá và chứng nhận của Thisme có thể chạy độc lập, hoặc kết nối với nền tảng học tập và hệ thống quản lý học viên để nhận danh sách thí sinh và trả kết quả. Việc kết nối cụ thể chỉ được xác nhận sau khi kiểm tra. Chúng tôi đồng hành ở phần dựng cấu trúc, quy trình duyệt và lắp ráp đề. Đơn vị vẫn quyết định quy tắc kỳ thi, điểm chính thức, cách phúc khảo và điều kiện cấp chứng nhận.
Bạn muốn sắp xếp lại câu hỏi đang có thành một ngân hàng câu hỏi có thẻ, phiên bản và người duyệt rõ ràng? Hãy đăng ký buổi khảo sát. Chúng ta sẽ cùng xem bản thiết kế đề, những câu bạn đang có, rồi chọn một học phần làm thử trước khi mở rộng.