scala — أسئلة مع إجابات

1 إجابة
أريد قراءة العديد من ملفات الباركيه في مسارات مختلفة. أريد أولاً إنشاء قائمة سلاسل تحتوي على كافة المسارات في النموذج: \local\id_*_*\data\version.*\* مثال: \local\id_231_2232318\data\version.501\part1.parquet ... \local\id_7_456\data\version.502\part1.parquet \local\id_7_456\data\version.502\part2...
apache-spark-dataset
apache-spark-2.0
30.07.2018, 18:28
3 الاجابة
لقد وجدت عدة طرق لمعرفة الفرق بين مجموعات المفاتيح بين خريطتين. ومع ذلك ، أريد مقارنة قيم مفتاح> كاملة. لدي إعداد خريطتين Map[String, Map[String, String]] لذا إذا كان لدي خريطتان var source = Map( "one" -> Map("a" -> "bbb", "b" -> "qww"), "two" -> Map("b" -> "ccc") ) var tar...
30.07.2018, 15:36
4 الاجابة
لدي بعض الوظائف التي تحصل عليها كطابع وقت بدء محدد وخاتم نهاية محدد (على سبيل المثال "2018-01-01 16:00:00" و "2018-01-01 17:00:00" ) (في بداية الكود i import java.sql.Timestamp ) أريد تكرار هذه الوظيفة بمرور الوقت (على سبيل المثال - بين 2018-01-01 حتى 2018-01-10 ، كل ساعة على ح...
timestamp
loops
30.07.2018, 13:30
1 إجابة
أحاول تشغيل تطبيق Scala Play وحصلت على هذا الاستثناء: Caused by: com.typesafe.config.ConfigException$Missing: No configuration setting found for key 'memo' at com.typesafe.config.impl.SimpleConfig.findKeyOrNull(SimpleConfig.java:152) ~[config-1.3.1.jar:na] at com.typesafe.config.impl.SimpleConfig.f...
playframework
15.07.2018, 13:08
1 إجابة
أنا أعمل حاليًا على مشكلة تتضمن العمل مع الكلمات الإنجليزية. أنا جديد إلى حد ما في البرمجة الوظيفية وأريد كتابة رمز جيد قدر الإمكان. إنه سؤال بسيط حقًا ولكني أريد فقط أن أحصل على هذا الحق! ^^ كيف أقوم بإنشاء بنية بيانات للكلمات الإنجليزية؟ أحتاجها لأنه إذا استخدمت سلاسلها فقط - لا يمكن للكلمات أن ...
data-structures
15.07.2018, 12:08
1 إجابة
كيف يمكنني تنفيذ عملية groupBy في قائمة فئة الحالة التي تحتوي على فئات الحالة كحقول؟ فمثلا: case class F1(str1:Option[String],str2:Option[String]) case class F2(int1:Option[Int],int2:Option[Int]) case class Parent(str:F1, int:F2) لنفترض أن لدي قائمة بفئة الحالة الأصل ويجب علي أداء groupBy في أي م...
dynamic
grouping
case-class
15.07.2018, 11:22
2 الاجابة
ما هي أفضل طريقة وظيفية لتحويل مجموعة من الصفوف: Array[(String, String)] إلى الخريطة Map[String, String] جربت ما يلي: def arrayToMap(array:Array[(String, String)]):Map[String, String] = { array.foldLeft(Map.empty[String, String]) ((x,y) => (x->y)) } ولكن يظهر خطأ الترجمة هذا: type ...
15.07.2018, 07:08
1 إجابة
يعمل الكود التالي @throws(classOf[IKodaMLException]) def soMergeTarget1( oldTargetIdx: Double, newTargetIdx: Double): RDDLabeledPoint = { try { logger.trace("\n\n--sparseOperationRenameTargetsInNumeriOrder--\n\n") val oldTargetIdxb=spark.sparkContext.broadcast(oldTargetIdx) val...
apache-spark
20.06.2018, 01:27
1 إجابة
أقوم بكتابة مركب محلل لتحليل عبارات تدفق تحكم بسيطة وتنفيذ بعض التعليمات البرمجية. بنية اللغة هي تقريبًا - val resultId = 200 val s = s"""(IF $resultId == 100 GOTO NODE-1-->NODE-2) (ELSE IF $resultId > 100 GOTO NODE-1-->NODE-3) (ELSE GOTO NODE-1-->NODE-4)""".stripMargin private val ...
parser-combinators
20.06.2018, 01:26
1 إجابة
بالنسبة لـ RDD واحد كبير بهيكل (مفتاح ، قيمة) ، أريد إنشاء جميع الصفوف (key1 ، key2 ، value1 ، value2) حيث لا يجب وجود نسخ مكررة أو أزواج ذاتية. وهي (key1، key2، value1، value2) و (key2، key1، value2، value1) تُعتبر مكررة. في عالم SQL يمكن للمرء أن يؤدي شيئا مثل SELECT A.key, B.key FROM TABLE1 as...
apache-spark
20.06.2018, 00:04
1 إجابة
كيف يمكنني منع بعض تكرار الكود لطريقة عامة في سكالا؟ تم تجميع الكود الخاص بي فقط عندما كانت معلمة النوع مرتبطة بالسمة وليس بالطريقة. كما ترى ، أكرر حاليًا معلمات النوع التي يتم تمريرها إلى السمة و mehtod. trait MyTrait[T <: Product, C <: OtherTrait] { def provide(spark: SparkSession, c: C...
generics
19.06.2018, 21:12
1 إجابة
أنا أكتب مكتبة لدمج Apache Spark مع بيئة مخصصة. أقوم بتطبيق كل من مصادر البث المخصصة وكتاب البث. بعض المصادر التي أقوم بتطويرها غير قابلة للاسترداد ، على الأقل بعد تعطل التطبيق. إذا تم إعادة تشغيل التطبيق ، فإنه يحتاج إلى إعادة تحميل جميع البيانات. لذلك نود أن نتجنب أن يضطر المستخدمون إلى تعيين خي...
apache-spark
spark-streaming
spark-structured-streaming
19.06.2018, 21:07
1 إجابة
أرغب في الحصول على عمليات التحقق من وقت الترجمة التي تتوافق مع أحجام المصفوفة. على سبيل المثال ، الرمز البريدي والتبديل هنا آمن لأن a و b لهما نفس الطول: (a: Seq[Int]) => { val b=a.map(_+1); Seq(a,b).transpose } في حين أن هذا غير آمن لأن الرمز سيموت في وقت التشغيل إذا كان لكل من a و b أبعاد مخ...
19.06.2018, 21:04
1 إجابة
بالنسبة لمشروع جانبي ، كنت أرغب في طريقة بسيطة لإنشاء شجرة بحث ثنائية مستمرة من جدول تم فرزه. بعد بعض عمليات البحث السريع ، لم أتمكن من العثور على أوصاف للتقنيات التي تضمنت تخزين مصفوفة مرتبة حيث يمكنك الوصول إلى أي عنصر حسب الفهرس. انتهى بي الأمر بكتابة شيء ما يعمل ولكنني اكتشفت أن هذه منطقة دربت ...
algorithm
binary-tree
persistent-data
19.06.2018, 19:44
1 إجابة
أريد تهيئة DataFrame فارغ في Spark (Scala). يجب أن يكون عدد الأعمدة في DataFrame 1000 وعمود تسمية إضافي ، وفي البداية يجب أن يكون إطار البيانات فارغًا. أثناء إدراج صفوف جديدة في DataFrame ، لا بد لي من إدراج القيم في أعمدة محددة فقط بناءً على قيم القائمة. إذا كانت قائمتي val myList = List(List(4)...
dataframe
apache-spark
bigdata
19.06.2018, 19:26
فوق
قائمة طعام