數據處理利器python與scala基本數據結構對比分析1-大數據ML樣本集案例實戰

時間  2019-11-17
標籤 數據處理 利器 python scala 基本 數據 結構 對比 分析 樣本 案例 實戰 欄目 大數據 简体版
原文   原文鏈接

版權聲明：本套技術專欄是做者（秦凱新）平時工做的總結和昇華，經過從真實商業環境抽取案例進行總結和分享，並給出商業應用的調優建議和集羣環境容量規劃等內容，請持續關注本套博客。QQ郵箱地址：1120746959@qq.com，若有任何學術交流，可隨時聯繫。java

1 python與scala基本數據結構

1.1 scala 數據結構

  • List 案例python

    val l = List(1, 1, 2, 2, 3, 5)
 
 List元素的追加
 val list2 = list1 :+ 99
 println(list2)
 val list3 = 100 +: list1
 
 List的建立與追加，符號「::」，注意觀察去掉Nil和不去掉Nil的區別
 scala> val list4 = 1 :: 2 :: 3 :: list1
 list4: List[Int] = List(1, 2, 3, 1, 2)
 
 scala> val list5 = 1 :: 2 :: 3 :: list1 :: Nil
 list5: List[Any] = List(1, 2, 3, List(1, 2))
 
 //map操做
 scala> l.map(_ * 2)
 res0: List[Int] = List(2, 4, 6, 8, 10)
 
 //filter操做
 scala> l.filter(_ > 2)
 res3: List[Int] = List(3, 4, 5)
 
 //collect操做
 scala> l.collect {case i if i > 2 => i * 2}
 res1: List[Int] = List(6, 8, 10)
 
 //定義一個列表
 scala> val l = List(List(1, 2, 3), List(4, 5, 6), Seq(7, 8, 9))
 l: List[Seq[Int]] = List(List(1, 2, 3), List(4, 5, 6), List(7, 8, 9))
 
 //flatten操做
 scala> l.flatten
 res5: List[Int] = List(1, 2, 3, 4, 5, 6, 7, 8, 9)
 
 //flatMap操做
 scala> l.flatMap(i => i.map(_ * 2))
 res6: List[Int] = List(2, 4, 6, 8, 10, 12, 14, 16, 18)
 
 case class Student(
   name: String,
   age: Int,
   sex: String
 )
 val jilen = Student(
   name = "Jilen",
   age = 30,
   sex = "m"
 )
 val shaw = Student(
   name = "Shaw",
   age = 18,
   sex = "m"
 )
 val yison = Student(
   name = "Yison",
   age = 40,
   sex = "f"
 )
 val l = List(jilen, shaw, yison)
 l: List[Student] = List(Student(Jilen,30,m), Student(Shaw,18,m), Student(Yison,40,f))
 
 val nameList = l.map(_.name)
 nameList: List[String] = List(Jilen, Shaw, Yison)
 
 val maleList = l.filter(_.sex == "m")
 maleList: List[Student] = List(Student(Jilen,30,m), Student(Shaw,18,m))
 
 l.zipWithIndex
 List[(Student, Int)] = List((Student(Jilen,30,m),0), (Student(Shaw,18,m),1),(Student(Yison,40,f),2))

 
 val group = l.groupBy(_.sex)
 group: scala.collection.immutable.Map[String,List[Student]] = Map(m -> List(Student(Jilen,30,m), Student(Shaw,18,m)), f -> List(Student(Yison,40,f)))
複製代碼

  • Array結構es6

    定義
  val arr1 = new Array[Int](10)
  //賦值
  arr1(1) = 7
  或：
  //定義
  val arr1 = Array(1, 2)
  //定義
  val arr2 = ArrayBuffer[Int]()
  //追加值
  arr2.append(7)
  //從新賦值
  arr2(0) = 7
  
  定長數組與變長數組的轉換
  arr1.toBuffer
  arr2.toArray
  
  多維數組
  //定義
  val arr3 = Array.ofDim[Double](3,4)
  //賦值
  arr3(1)(1) = 11.11
  
  Scala數組轉Java數組
  import scala.collection.JavaConversions.bufferAsJavaList
  val javaArr = new ProcessBuilder(arr4)
  println(javaArr.command())
  
  import scala.collection.JavaConversions.asScalaBuffer
  import scala.collection.mutable.Buffer
  val scalaArr: Buffer[String] = javaArr.command()
  println(scalaArr)
  
  for(x <- arr1) {
       println(x)
  }
複製代碼

  • 元組 Tuple數組

    元組的建立
  val tuple1 = (1, 2, 3, "heiheihei")
  println(tuple1)
  
  元組數據的訪問，注意元組元素的訪問有下劃線，而且訪問下標從1開始，而不是0
  val value1 = tuple1._4
  println(value1)
  
  元組的遍歷
  for (elem <- tuple1.productIterator) {
       print(elem)
  }
  
  tuple1.productIterator.foreach(i => println(i))
  tuple1.productIterator.foreach(print(_))
複製代碼

  • 映射 Map數據結構

    構造不可變映射
  val map1 = Map("Alice" -> 10, "Bob" -> 20, "Kotlin" -> 30)
  
  構造可變映射
  val map2 = scala.collection.mutable.Map("Alice" -> 10, "Bob" -> 20, "Kotlin" -> 30)
  
  對偶元組 
  val map4 = Map(("Alice", 10), ("Bob", 20), ("Kotlin", 30))
  
  取值
  若是映射中沒有值，則會拋出異常，使用contains方法檢查是否存在key。若是經過 映射.get(鍵) 這樣的調用返回一個Option對象，要麼是Some，要麼是None。
  val value1 = map1("Alice")//建議使用get方法獲得map中的元素
  println(value1)
  scala> map1.get("Alice")
  res1: Option[Int] = Some(10)
  
  更新值
  map2("Alice") = 99
  println(map2("Alice"))
  或：
  map2 += ("Bob" -> 99)
  map2 -= ("Alice", "Kotlin")
  println(map2)
  或：
  val map5 = map2 + ("AAA" -> 10, "BBB" -> 20)
  println(map5)
  
  遍歷
  for ((k, v) <- map1) println(k + " is mapped to " + v)
  for (v <- map1.keys) println(v)
  for (v <- map1.values) println(v)
  for(v <- map1) prinln(v)
複製代碼

  • Set集合app

    集是不重複元素的結合。集不保留順序，默認是以哈希集實現。
  
  Set不可變集合的建立
  val set = Set(1, 2, 3)
  println(set)
  
  Set可變集合的建立，若是import了可變集合，那麼後續使用默認也是可變集合
  import scala.collection.mutable.Set
  val mutableSet = Set(1, 2, 3)
  
  可變集合的元素添加
  mutableSet.add(4)
  mutableSet += 6
  
  注意該方法返回一個新的Set集合，而非在原有的基礎上進行添加
  mutableSet.+(5)//該方法至關於 「:+」 這個方法
  
  可變集合的元素刪除
  mutableSet -= 1
  mutableSet.remove(2)
  println(mutableSet)
  
  for(x <- mutableSet) {
       println(x)
  }
複製代碼

  • 迭代器函數

    val iterator = List(1, 2, 3, 4, 5).iterator
  while (iterator.hasNext) {
    println(iterator.next())
  }
  或：
  for(enum <- iterator) {
    println(enum)
  }
複製代碼

1.2 python 數據結構

  • List 案例ui

    list1=['兩點水','twowter','liangdianshui',123]
      # 經過索引來訪問列表
      print(list1[2])
      # 經過方括號的形式來截取列表中的數據
      print(list1[0:2])
      # 經過索引對列表的數據項進行修改或更新
      list1[2]=456
      print(list1)
      # 使用 append() 方法來添加列表項
      list1.append('hello');
      print(list1)
      list1=['兩點水','twowter','liangdianshui',123]
      print(list1)
      # 使用 del 語句來刪除列表的的元素
      del list1[3]
      print(list1)
      
      函數&方法	            描述
      cmp(list1, list2)	比較兩個列表的元素
      len(list)	列表元素個數
      max(list)	返回列表元素最大值
      min(list)	返回列表元素最小值
      list(seq)	將元組轉換爲列表
      list.append(obj)	在列表末尾添加新的對象
      list.count(obj)	統計某個元素在列表中出現的次數
      list.extend(seq)	在列表末尾一次性追加另外一個序列中的多個值（用新列表擴展原來的列表）
      list.index(obj)	從列表中找出某個值第一個匹配項的索引位置
      list.insert(index, obj)	將對象插入列表
      list.pop(obj=list[-1])	移除列表中的一個元素（默認最後一個元素），而且返回該元素的值
      list.reverse()	反向列表中元素
      list.sort([func])	對原列表進行排序  
複製代碼

  • Tuple元祖（兩種建立，不可變）es5

    tuple1=('兩點水','twowter','liangdianshui',123,456)
  tuple2='兩點水','twowter','liangdianshui',123,456   
  元組中只包含一個元素時，須要在元素後面添加逗號
  tuple4=(123,)
  print(tuple1[1])
  print(tuple2[0])
複製代碼

#-*-coding:utf-8-*-
    list1=[123,456]
    tuple1=('兩點水','twowater','liangdianshui',list1)
    print(tuple1)
    list1[0]=789
    list1[1]=100
    print(tuple1)

    ('兩點水', 'twowater', 'liangdianshui', [123, 456])
    ('兩點水', 'twowater', 'liangdianshui', [789, 100])
    
    tuple1=('兩點水','twowter','liangdianshui',[123,456])
    print(tuple1)
    del tuple1
複製代碼

  • dict （字典，可變容器模型，且可存儲任意類型對象）spa

    #-*-coding:utf-8-*-
  dict1={'liangdianshui':'111111' ,'twowater':'222222' ,'兩點水':'333333'}
  print(dict1)
  # 新增一個鍵值對
  dict1['jack']='444444'
  print(dict1)
  # 修改鍵值對
  dict1['liangdianshui']='555555'
  print(dict1)
  
  {'liangdianshui': '111111', 'twowater': '222222', '兩點水': '333333'}
  {'liangdianshui': '111111', 'twowater': '222222', '兩點水': '333333', 'jack': '444444'}
  {'liangdianshui': '555555', 'twowater': '222222', '兩點水': '333333', 'jack': '444444'}
  
  #-*-coding:utf-8-*-
  dict1={'liangdianshui':'111111' ,'twowater':'222222' ,'兩點水':'333333'}
  print(dict1)
  # 經過 key 值，刪除對應的元素
  del dict1['twowater']
  print(dict1)
  # 刪除字典中的全部元素
  dict1.clear()
  print(dict1)
  # 刪除字典
  del dict1
複製代碼

  • set 無序不重複元素集

    set1=set([123,456,789,123,123])
  print(set1)
複製代碼

3 總結

秦凱新 於深圳

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程