Python技術、爬蟲、數據分析問題彙總【自用】

記錄學習過程當中遇到的一些問題，純粹爲了方便本身

@解決excel中sheet爲中文提示acii亂碼問題
workbook = xlwt.Workbook(encoding = 'utf-8')     #encoding 引入編碼
sheet = workbook.add_sheet(key,cell_overwrite_ok=True)

@python學習經驗
-http://mp.weixin.qq.com/s/uLKHMaKPoetprAmdHho09A
-知識點了解了如何檢驗？向別人解釋清楚了纔算
-有效學習方法？本身造輪子或者看開源代碼github
-造輪子前提是，有助於解決工做中問題、作有意義的項目

@報錯提示說明

urllib2.URLError: <urlopen error [Errno 10061] >
代理問題
超時問題

@編程心得
---特殊字符% 須要用格式「2%%」 輸出【2%】
---pycharm 編碼格式cp936 路徑均爲中文
--# 關鍵字參數 在format()函數中，使用「{}」符號來看成格式化操做符。
print "{name} is {age} years old".format(name = "Wilber", age = 28)

 

@pycharm 快捷鍵
https://www.cnblogs.com/littleseven/p/5599019.html
--自動縮進 Ctrl + Alt + I 自動縮進
--註釋 Ctrl + / 行註釋

 

@數據庫亂碼

Python從Excel讀取中文到mysql出現亂碼
第一步：數據庫那邊總得把字段類型設置爲utf8之類類的吧
#建立數據庫
cursor.execute('create table cdl_order(order_no varchar(20),mobile varchar(20)) DEFAULT CHARSET=UTF8 TYPE=MyISAM') #設置表單類型爲utf-8

mysql中兩種數據庫引擎
ENGINE=MyISAM
ENGINE=InnoDB

第二步：在鏈接數據庫的時候，加個參數，說明數據庫那邊的字段類型一致，charset='utf8'。
database = MySQLdb.connect (host="127.0.0.1", user = "root", passwd = "root", db = "sgk",charset="utf8")

 

@【爬蟲BS4】
若是報錯FeatureNotFound: Couldn’t find a tree builder with the features you requested: html5lib. Do you need to install a parser library?

意思是缺乏html5解析庫，用pip安裝就行：
pip install html5lib

pip install BS4

pip install lxml

若是不行直接安裝exe包 ： https://pypi.python.org/pypi/lxml/2.3

@【XLS寫入報錯】
Exception: String longer than 32767 characters
方案：xlwt 支持的最大字符限制，能夠縮短字符或者採用模塊openpyxl解決

@【txt文件讀取】
1.大文件讀取須要採用
with open() as f:
　　for x in f.read():
　　　　pass

2.讀取加緩存
f.read(1024)

https://www.cnblogs.com/yu-zhang/p/5949696.html

@【Remine庫】
常有某個字段沒法讀取，常見assigned_to 指派給爲空，
字符過長沒法寫入xls, 常見description 字符太長超過3267字符

 

@【數據分析】
安裝數據挖掘庫
anaconda http://python.jobbole.com/86236/

經常使用庫
pandas 數據處理
padndas 保存xls csv
colum 每欄目標題
每一豎列值 造成一個list[]
索引能夠自動以 index = [ins] 按個數生成 或者 自定義

@【youtube-bl】下載youtube視頻
摘自 http://blog.csdn.net/u011475134/article/details/71023612

 

@【Mysql】
@查看當前鏈接數最大值
mysqladmin -uroot -proot processlist
D:\MySQL\bin>mysqladmin -uroot -proot processlist
@訪問mysql
mysql -uroot -pxxxx
@顯示當前全部鏈接數
show processlist;

@新增字段id 且自增

create sequence seq_a_idminvalue 1maxvalue 999999999999999start with 1increment by 1nocache;update a set id = seq_a_id.nextval