機器學習

2019年3月1日14:30:47

2.特徵工程

2.1 數據集

• 目標
  • 知道數據集分爲：訓練集和測試集
  • 會使用sklearn數據集
• 應用

2.1.1 可用數據集

• 公司內部 （好比百度等本身收集資料）
• 數據接口 （好比第三方的，可能須要花錢）
• 不開放的機密數據集（本身通常不可用）

 學習階段可用的數據集：

• sklearn
• kaggle（已經被google收購）
• UCI(加州大學)

Kaggle 網址：https://www.kaggle.com/datasets

UCI 數據集網址：http://archive.ics.uci.edu/ml/

 

scikit-learn 網址：http://scikit-learn.org/stable/datasets/index.html#datasets

 

 

https://scikit-learn.org/stable/

實現代碼量比較少。

2.安裝 

pip3 install Scikit-learn==0.19.1

安裝以後檢查是否安裝成功的命令：

import sklearn

　　注：安裝scikit-learn 須要Numpy,Scipy等庫

 

 

 

https://www.jianshu.com/p/ce85f5bd900f

那麼應該怎麼解決呢，其實很簡單， 編輯 /usr/bin/pip 文件，修改代碼

from pip._internal import main

另存爲時，提示沒有權限保存。

sudo chmod 600 ××× （只有全部者有讀和寫的權限） 
 
sudo chmod 644 ××× （全部者有讀和寫的權限，組用戶只有讀的權限） 
 
sudo chmod 700 ××× （只有全部者有讀和寫以及執行的權限） 
 
sudo chmod 666 ××× （每一個人都有讀和寫的權限） 
 
sudo chmod 777 ××× （每一個人都有讀和寫以及執行的權限）

 

若分配給某個文件全部權限，則利用下面的命令：
sudo chmod -R 777 文件或文件夾的名字（其中sudo是管理員權限）
---------------------
做者：langzi7758521
來源：CSDN
原文：https://blog.csdn.net/langzi7758521/article/details/51190425
版權聲明：本文爲博主原創文章，轉載請附上博文連接！

 

 

 

3.Scikit-learn 包含的內容

 

 

 

2019年3月1日10:53:24

https://www.bilibili.com/video/av39137333?from=search&seid=10652255103060463445

 

 

 

 1.4 機器學習開發流程

 

 1>.獲取數據

  2>.數據處理（數據判斷）

  3>.特徵工程（將數據處理成：更能直接被使用的數據 （特徵值））

   4>.機器學習算法進行訓練---獲得---模型。

   5>.模型評估（若是不合適，從新進行（2）數據處理）

1.5 學習框架和資料介紹

學習機器學習時，重點：

（1）算法是核心，數據與計算是基礎

（算法的改進、數據的積累、數據進行訓練須要硬件設備的支持）

（2）找準定位

 

大部分複雜模型的算法設計都是算法工程師在作，咱們須要

• 分析不少的數據
• 分析具體的業務
• 應用常見的算法
• 特徵工程、調參數、優化

• 應該怎麼作？
  • 下面介紹的1.5.1-1.5.3  一步一步來的話比較穩、基礎、週期長，不必定能堅持下去。
  • 爲了快速入門的話，能夠學習些視頻、看些實戰類書籍、
    • 機器學習（西瓜書）-周志華（對某一問題產生疑問）、
    • 統計學習方法--李航
    • 深度學習--「花書」。
• 學會分析問題，使用機器學習算法的目的，想要算法完成何種任務。
• 掌握算法基本思想，學會對問題用相應的算法解決。
• 學會利用庫或者框架解決問題。

　　當前重要的是：掌握一些機器學習算法等技巧，從某個業務領域切入解決問題。

1.5.1 機器學習庫與框架

看到這篇博客記錄的挺詳細    https://blog.csdn.net/u010164190/article/details/79114889

https://blog.csdn.net/u013063153/article/details/54728628

一、scikit-learn

簡介： 基於 python 的第三方庫，用於數據挖掘與數據分析，簡單易用，以統計機器學習爲主（深度學習相關框架參考以後的各個框架）。基於 NumPy, SciPy, matplotlib， 免費開源。

開源協議： BSD 2.0

 

深度學習框架

 

（1）Google：

二、Tensorflow 

 

（2）FaceBook:

三、Pytorch

四、Caffe2

（3）

theano  能夠看作是TensorFlow的前身

Chainer 能夠看作是pytorch的前身

 

 

 

 1.5.2 書籍資料

 

 1.5.3 提深內功（但不是必須）

 

 

 

2019年2月27日10:01:14

https://www.bilibili.com/video/av39137333?from=search&seid=10652255103060463445

 1.1 人工智能概述

達特茅斯會議（1956年8月）-人工智能的起點

在美國漢諾斯小鎮 達特茅斯學院

約翰-麥卡錫（John McCarthy）

馬文-閔斯基（Marvin  Minsky，人工智能與認知學專家）

克勞德-香農（Claude Shannon，信息論的創始人）

用機器來模仿人類學習以及其餘方面的智能。

1956年，也就成爲了人工智能元年。

 

機器學習和人工智能、深度學習的關係：

• 機器學習是人工智能的一個實現途徑
• 深度學習是機器學習的一個方法發展而來

 1.2 機器學習、深度學習能作些什麼

 　　機器學習的應用場景很是多，滲透到了各個行業領域中，醫療、航空、教育、物流、電商等領域的各類場景。

 

• 挖掘、預測領域：
  • 應用場景：店鋪銷量預測、量化投資、廣告推薦、企業客戶分類、SQL語句安全檢測分類...
• 圖像識別
  • 應用場景：街道交通標誌檢測、人臉識別...
• 天然語言處理
  • 應用場景：文本分類、情感分析、自動聊天、文本檢測等
  • 南方都市報的「小南」，廣州日報的「阿同」機器人

 當前重要的是掌握一些機器學習算法等技巧，從某個業務領域切入解決問題。

 

1.1.3 人工智能階段課程安排

 

 1.2 什麼是機器學習

1.2.1 定義

機器學習是從數據中自動分析得到模型，並利用模型對未知數據進行預測。

1.2.2 解釋

 

機器識別貓和狗。從數據（大量的貓和狗的圖片）中自動分析得到模型（辨別貓和狗的規律），

從而使機器擁有識別貓和狗的能力。

預測房屋價格。從（房屋的各類信息）中自動分析得到模型（判斷房屋價格的規律），從而使機器擁有預測房屋價格的能力。

從歷史數據當中得到規律？ 這些歷史數據是怎樣的格式？

1.2.3 數據集構成

一般把機器學習的數據叫作：數據集。

• 結構：特徵值+目標值
• 注：
  • 每一行數據咱們能夠稱之爲樣本。
  • 有些數據集能夠沒有目標值。

 1.3 機器學習算法分類

 學習目標

• 機器學習算法：監督學習與無監督學習
• 監督學習的分類、迴歸特色。

（1）目標值：類別- 分類問題。

貓和狗的區別。就屬於分類問題。

（2)目標值：連續型的數據-迴歸問題。

房屋價格。連續型數據。

  (3)當沒有目標值時，=無監督學習。

人物的各個屬性信息。

 

 

1.3.3 機器學習算法分類

•  監督學習（supervised learning）(預測)
  • 分類：k-近鄰算法、貝葉斯分類、決策樹與隨機森林、邏輯迴歸
  • 迴歸: 線性迴歸、嶺迴歸
• 無監督學習（unsupervised learning）
  • 聚類 k-means

 1.4 機器學習開發流程

 

 

2019-01-22 19:47

該筆記摘自：慕課網-深度學習的某一篇課程。

深度學習是以神經網絡爲基礎的。

講述神經網絡學習入門。

神經網絡是機器學習的一種算法。

機器學習是將無序數據轉換爲價值的方法。從數據中抽取規律，並預測將來。

機器學習應用案例

• 分類問題:

  • 圖像識別、垃圾郵件識別。迴歸問題:房價預測、股價預測。

• 排序問題:

  • 點擊率預估、推薦。

• 生成問題:

  • 圖像生成、圖像風格轉換、圖像文字描述生成（世界盃:一般是一些有經驗的人來說述，點評。如今根據圖片就能夠生成圖片的描述，進而取代這類行業）。

機器學習應用流程

訓練數據，定義目標函數（找到要優化的方面），選擇相應的機器學習算法，訓練獲得模型，並應用到線上服務。最後造成循環。

 

 

機器學習崗位職責

數據處理（採集+去噪）
模型訓練（特徵+模型）
模型評估與優化（MSE、F1-score、AUC+調參）
模型應用（A/B測試）

 深度學習簡介

深度學習與機器學習

• 機器學習是實現人工智能的方法
• 深度學習是實現機器學習算法的技術