Dữ liệu trung gian của người lập bản đồ sẽ được lưu trữ ở đâu?

Mục lục:

Dữ liệu trung gian của người lập bản đồ sẽ được lưu trữ ở đâu?
Dữ liệu trung gian của người lập bản đồ sẽ được lưu trữ ở đâu?
Anonim

Đầu ra của Mapper (dữ liệu trung gian) được lưu trữ trênhệ thống tệp cục bộ (không phải HDFS) của từng nút dữ liệu ánh xạ riêng lẻ. Đây thường là một thư mục tạm thời có thể được thiết lập trong cấu hình bởi quản trị viên Hadoop.

Dữ liệu trung gian của MapReduce ở đâu?

  • Đầu ra của trình ánh xạ (dữ liệu trung gian) được lưu trữ trên hệ thống tệp cục bộ (KHÔNG PHẢI HDFS) của từng nút ánh xạ riêng lẻ. …
  • tôi nghĩ đây là tham số phải được sửa đổi để thay đổi vị trí dữ liệu trung gian..
  • mapreduce.cluster.local.dir.
  • Hy vọng điều này sẽ hữu ích.

Đầu ra của trình liên kết được lưu trữ ở đâu?

9) Đầu ra của Mapper được lưu trữ ở đâu? Dữ liệu giá trị khóa trung gian của đầu ra ánh xạ sẽ được lưu trữ trên hệ thống tệp cục bộcủa các nút ánh xạ. Vị trí thư mục này do Quản trị viên Hadoop đặt trong tệp cấu hình.

Dữ liệu trung gian trong MapReduce là gì?

Tệp dữ liệu trung gian làđược tạo bởi bản đồ và giảm bớt các tác vụ trong một thư mục (vị trí) trên đĩa cục bộ. … Các tệp đầu ra được tạo bởi các tác vụ bản đồ đóng vai trò là đầu vào cho các tác vụ thu gọn. Các tệp tạm thời được tạo bởi các tác vụ thu gọn.

Đầu ra của trình liên kết được viết bằng Hadoop ở đâu?

Trong Hadoop, đầu ra của Mapper làđược lưu trữ trên đĩa cục bộ, vì nó là đầu ra trung gian. Không cần lưu trữ dữ liệu trung giantrên HDFS vì: ghi dữ liệu tốn kém và liên quan đến việc sao chép, điều này làm tăng thêm chi phí và thời gian.

Đề xuất:

Bài viết thú vị
Dấu chấm tiếng vang có thể hiển thị thời gian không?
Đọc thêm

Dấu chấm tiếng vang có thể hiển thị thời gian không?

Màn hình cũng có thể cho bạn biết thời gian còn lại nếu bạn yêu cầu Alexa hẹn giờ. … Màn hình LED trên Echo Dot với Đồng hồ có thể hiển thịnhiệt độ hiện tại, cũng như thời gian còn lại trên đồng hồ đếm ngược. Làm cách nào để hiển thị Đồng hồ trên Echo Dot của tôi?

Có phải các trình dịch chuyển đổi hll thành mã máy không?
Đọc thêm

Có phải các trình dịch chuyển đổi hll thành mã máy không?

Trình biên dịchđược sử dụng để dịch một chương trình được viết bằng ngôn ngữ cấp cao sang mã máy (mã đối tượng). Sau khi được biên dịch (tất cả trong một lần), tệp chương trình đã dịch sau đó có thể được sử dụng trực tiếp bởi máy tính và có thể thực thi độc lập.

Bạn có phải là người có ý nghĩa không?
Đọc thêm

Bạn có phải là người có ý nghĩa không?

:một người đàn ông quan hệ tình dục với nhiều phụ nữ, đặc biệt: một người đàn ông không chung thủy với vợ hoặc bạn tình của mình… Người lừa đảo là gì? Người lăng nhăng làngười có quan hệ tình dục nhiều lần hoặc quan hệ với nhiều phụ nữ một cách thường xuyên.