Вопрос в зал о спарке

[math_mommy]

Читаю сейчас про спарк. Утверждается, что там 2 основных языка, Скала и Питон. Причем сам спарк на Скале. А как же mutable objects в Питоне? Или используются только immutable? В смысле, методы из обычного Питона, типа .reverse(), не работают, вместо них - другие?

Comments

[juan_gandhi]

Питон же просто клиентский код. Самому спарку локальная мутабельность не нужна. А RDD - это уже как получится. И пишем и читаем.

[math_mommy]

Спасибо!
А можно подробнее - почему спарку не нужна локальная мутабельность?

[juan_gandhi]

Ну как, там же все операции на RDD (и прочем), а это где-то вне кода. Тот факт что в реале может прятаться мутабельность в памяти, не так важен, потому что мы ее не показываем. Для мапредьюса никакая мутабельность не нужна, это ФП.

[math_mommy]

В смысле, все операции на RDD? А то, что мы видим как датафрейм, на самом деле RDD, но нам выдается результат в другом формате?

[juan_gandhi]

Не понял я что-то этого предложения.

Я всего лишь имел в виду, что операции происходят на RDD (ну или на датафрейме), а не прямо в записях, доступных юзеру. Ну или хм. Действительно же есть get и put. Это, наверно, чисто мое отношение, put использовать только при создании записи. Хм.

[math_mommy]

Не копенгаген я в ФП.
get и put - это в скале? И что такое "операции вне кода"?

[juan_gandhi]

Это в GenericRecord в RDD. Под операциями вне кода я имею в виду изменения файлов, наборов данных, все такое. Это все мутабельность, но т.к. вне кода, то и отношение к ним другое.

[math_mommy]

Так вы сами какой язык для Спарка используете?

[juan_gandhi]

Скалу исключительно.