Regularizerscho phép bạn áp dụng các hình phạt đối với các thông số của lớp hoặc hoạt động của lớp trong quá trình tối ưu hóa. Các hình phạt này được tổng hợp vào chức năng mất mát mà mạng tối ưu hóa. Các hình phạt theo quy định được áp dụng trên cơ sở từng lớp.
Bộ điều chỉnh hoạt động là gì?
Bộ điều chỉnh hoạt động hoạt độngnhư một chức năng của đầu ra của mạngvà chủ yếu được sử dụng để điều chỉnh các đơn vị ẩn, trong khi bộ điều chỉnh trọng lượng, như tên gọi, hoạt động trên các trọng số (ví dụ: làm cho chúng phân rã).
Khi nào tôi nên sử dụng bộ điều chỉnh hoạt động?
Nếu bạn muốn hàm đầu ra đi qua(hoặc có một điểm chặn gần với) điểm gốc, bạn có thể sử dụng bộ điều chỉnh độ lệch. Nếu bạn muốn đầu ra nhỏ hơn (hoặc gần bằng 0), bạn có thể sử dụng bộ điều chỉnh hoạt động.
Làm cách nào để sử dụng bộ điều chỉnh Keras?
Để thêm bộ điều chỉnh vào một lớp, bạn chỉ cần cóđể chuyển kỹ thuật điều chỉnh ưu tiên vào đối số từ khóa của lớp 'kernel_regularizer'. Các phương pháp triển khai chính quy Keras có thể cung cấp một tham số đại diện cho giá trị siêu thông số chính quy.
Nhân và thiên vị là gì?
Lớp dày đặc
Lớp dày đặc thực hiện hoạt động: đầu ra=kích hoạt (dấu chấm (đầu vào, hạt nhân) + thiên vị) trong đó kích hoạt là hàm kích hoạt thông thường phần tử được chuyển làm đối số kích hoạt,kernel là một ma trận trọng số được tạo bởi lớpvàbias là vectơ thiên vị được tạo bởi lớp (chỉ áp dụng nếu use_bias là True).
