Spark Connect on Kubernetes 1, 2편 잘 읽었습니다. 저희도 비슷한 걸 설계하는 중이라 몇 가지만 여쭤봐도 될까요?
1. 스케줄러나 큐는 뭘 쓰고 계세요? 글에는 그 얘기가 없던데, 기본 스케줄러 그대로인지 YuniKorn, Volcano, Kueue 중 하나를 붙였는지, 그리고 그걸 고른 이유가 궁금해요. 저희는 서빙 쪽이 이미 Volcano를 쓰고 있어서 같이 쓸지 고민 중이라서요.
2. 2편에 나온 publishNotReadyAddresses 설정이 Spark 4.3부터 들어간 걸로 봤는데, 4.1에서는 직접 패치해서 쓰신 건가요? 저희도 4.1이라 그 설정 없이 useDriverPodIP만으로 버틸 수 있을지 알고 싶습니다!
3. 정기 배치나 대용량 배치도 떠 있는 공용 Connect 서버에서 돌리세요, 아니면 배치는 작업마다 따로 띄우세요? 저희는 배치가 주력이라 실행마다 전용 서버를 띄우는 쪽으로 가고 있는데, 운영해 보신 입장에서 어떻게 보시는지 듣고 싶어요.