Hvordan å kartlegge en RDD sak klasse til LabeledPoint (etikett, taletrekkvektoren)

stemmer
27

Hvordan å kartlegge en RDD sak klasse til LabeledPoint (etikett, taletrekkvektoren).

Dette er RDD av saken klasse eksamen (x: Double, y: Double):

Ds (1.0,6.0)

Ds (2.0,8.0)

Ds (3.0,10.0)

Ds (3.0,10.0)

ds (4.0,12.0)

Ds (5.0,14.0)

Prøvde å gjøre dette -

     val parsedData = aRDD.map(row =>
     new LabeledPoint(
     row._1,
     Vectors.dense(row._2))

Får error verdi _1 er ikke medlem av main.scala.spark.Q1Partb.Q1.Exam på row._1 og row._2

og dette -

          val parsedData = aRDD.map{line => 
          val Array(rawLabel, rawfeatures) = line.split(',')
          val features = rawfeatures) .split(' ').map(_.toDouble)
          LabeledPoint(rawLabel.toDouble, Vectors.dense(features))}

Får error rekursiv verdi x $ 4 behov type for rawLabel og value split er ikke medlem av main.scala.spark.Q1Partb.Q1.ds for line.split ( '')

Publisert på 03/05/2017 klokken 22:53
bruker
På andre språk...                            


2 svar

stemmer
1

Hvis du har en RDD [Eksamen] du bør være i stand til å skrive

val parsedData = aRDD.map(exam => LabeledPoint(exam.x, Vectors.dense(exam.y))
Svarte 04/05/2017 kl. 04:59
kilden bruker

stemmer
1

Jeg hadde dette problemet fordi min variabelnavn ble tatt av en funksjon.

private val Seq(transaction, transaction2) = insertTx(...

ble til

private val Seq(transaction1, transaction2) = insertTx(...

med transaksjonen blir den skyldige.

Svarte 09/08/2017 kl. 20:15
kilden bruker

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more