목록데이터엔지니어 (2)

Software Engineering Note

spark dynamic allocation 지원

버전 - hadoop 2.6.5 - spark 2.1.0 spark-defaults.conf 에 이렇게만 추가하고 돌리니 spark.dynamicAllocation.enabled=true spark.shuffle.service.enabled=true 알 수 없는 에러가 났다. 2021-11-08 17:22:17,230 ERROR org.apache.hadoop.yarn.server.resourcemanager.rmapp.attempt.RMAppAttemptImpl: Can't handle this event at current state org.apache.hadoop.yarn.state.InvalidStateTransitonException: Invalid event: CONTAINER_ALLOCATE..
데이터엔지니어 2021. 11. 9. 12:05
CRDTs with Akka Distributed Data

CRDTs with Akka Distributed Data - akka 는 분산된 환경에서 데이터 일관성을 어떻게 지원하는가- CAP 이론도 살짝 나온다. https://www.slideshare.net/markusjura/crdts-with-akka-distributed-data 좋은 자료다.
데이터엔지니어 2019. 1. 3. 23:27
이전 Prev 1 Next 다음