一個有趣的問題——MySQL中varchar的最大長度

明明維護了一個1k的最小堆，但是輸出到MySQL裏卻只有九百多行數據。

查log,發現這麼一段內容：

stderr logs
com.mysql.jdbc.MysqlDataTruncation: Data truncation: Data too long for column 'reqs' at row 1
	at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3595)
	at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3529)
	at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:1990)
	at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2151)
	at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2625)
	at com.mysql.jdbc.PreparedStatement.executeInternal(PreparedStatement.java:2119)
	at com.mysql.jdbc.PreparedStatement.executeUpdate(PreparedStatement.java:2415)
	at com.mysql.jdbc.PreparedStatement.executeUpdate(PreparedStatement.java:2333)
	at com.mysql.jdbc.PreparedStatement.executeUpdate(PreparedStatement.java:2318)
	at com.successfactors.perflog.hadoop.mapreduce.core.ParseRecordToDB$RecordReducer.insertData(Unknown Source)
	at com.successfactors.perflog.hadoop.mapreduce.core.ParseRecordToDB$RecordReducer.cleanup(Unknown Source)
	at org.apache.hadoop.mapreduce.Reducer.run(Reducer.java:178)
	at org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:649)
	at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:417)
	at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:415)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
	at org.apache.hadoop.mapred.Child.main(Child.java:249)

看來是column的最大長度不夠，查看DDL：

 

CREATE TABLE `record` (
  `eid` varchar(100) NOT NULL,
  `module` varchar(32) NOT NULL,
  `stime` int(11) NOT NULL,
  `edate` varchar(32) NOT NULL,
  `fname` varchar(100) NOT NULL,
  `event` varchar(500) NOT NULL,
  `reqs` varchar(10000) NOT NULL,
  PRIMARY KEY (`eid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

我都一萬了還不夠，試下65535吧！

 發現varchar直接變成mediumtext了，這可不對。那就試試22222吧

又報錯了...

最後我設置爲20000長度了，卻是經過了，經過一個複雜的減法能夠計算更爲臨界的值。

去網上查查，發現MySQL裏column的最大長度貌似跟不少東西有關，跑去問公司的DBA，貌似oracle是另外一套機制。

附一篇別人的文章，講最大值的：

http://www.cnblogs.com/mo-beifeng/archive/2011/08/09/2133039.html

這不是一個固定的數字。本文簡要說明一下限制規則。

strlen 計算字符串長度，一箇中文當2字符

mb_strlen根據它的字符編碼模式，統計字符quot

count計算數組中的元素數目或對象中的屬性個數

 <?php
header('Content-Type:text/html;charset=UTF-8');
$string1="謝春業";//定義中文字符變量
$string2="xcy";//定義英文字符變量
//直接輸出看看他們的長度
echo strlen($string1);
echo "</br>";
echo strlen($string2);
echo "</br>";
//用 php 多字節擴展函數 mb_strlen試試看
echo mb_strlen($string1,'utf8');
echo "</br>";
echo mb_strlen($string2,'utf8');
echo "</br>";
  ?>
 
輸出結果是：
9
3
3
3
一、限制規則

字段的限制在字段定義的時候有如下規則： 

a)    存儲限制

       varchar 字段是將實際內容單獨存儲在聚簇索引以外，內容開頭用1到2個字節表示實際長度（長度超過255時須要2個字節），所以最大長度不能超過65535。 

b)    編碼長度限制

     字符類型若爲gbk，每一個字符最多佔2個字節，最大長度不能超過32766;

　　字符類型若爲utf8，每一個字符最多佔3個字節，最大長度不能超過21845。

　　對於英文比較多的論壇 ，使用GBK則每一個字符佔用2個字節，而使用UTF－8英文卻只佔一個字節。

　　若定義的時候超過上述限制，則varchar字段會被強行轉爲text類型，併產生warning。 

c)    行長度限制

　　致使實際應用中varchar長度限制的是一個行定義的長度。 MySQL要求一個行的定義長度不能超過65535。若定義的表長度超過這個值，則提示

　　ERROR 1118 (42000): Row size too large. The maximum row size for the used table type, not counting BLOBs, is 65535. You have to 　　　change some columns to TEXT or BLOBs。 

二、計算例子

　　舉兩個例說明一下實際長度的計算。 

a)    若一個表只有一個varchar類型，如定義爲

create table t4(c varchar(N)) charset=gbk;

則此處N的最大值爲(65535-1-2)/2= 32766。

減1的緣由是實際行存儲從第二個字節開始’;

減2的緣由是varchar頭部的2個字節表示長度;

除2的緣由是字符編碼是gbk。

 

b)   若一個表定義爲

create table t4(c int, c2 char(30), c3 varchar(N)) charset=utf8;

則此處N的最大值爲 (65535-1-2-4-30*3)/3=21812

減1和減2與上例相同;

減4的緣由是int類型的c佔4個字節;

減30*3的緣由是char(30)佔用90個字節，編碼是utf8。 

    若是被varchar超過上述的b規則，被強轉成text類型，則每一個字段佔用定義長度爲11字節，固然這已經不是「varchar」了。

 

  這裏還有一個不錯的表格：

http://blog.sina.com.cn/s/blog_4f925fc30102edg8.html

1、數字類型

類型	範圍	說明
Char(N) [ binary]	N=1~255 個字元 binary ：分辨大小寫	固定長度	std_name cahr(32) not null
VarChar(N) [binary]	N=1~255 個字元 binary ：分辨大小寫	可變長度	std_address varchar(256)
TinyBlob	最大長度255個字元(2^8-1)	Blob (Binary large objects)儲存二進位資料，且有分大小寫	memo text not null
TinyText	最大長度255個字元(2^8-1)
Blob	最大長度65535個字元(2^16-1)
Text	最大長度65535個字元(2^16-1)
MediumBlob	最大長度 16777215 個字元(2^24-1)
MediumText	最大長度 16777215 個字元(2^24-1
LongBlob	最大長度4294967295個字元 (2^32-1)
LongText	最大長度4294967295個字元 (2^32-1)
Enum	集合最大數目爲65535	列舉(Enumeration)，Enum單選、Set複選	sex enum(1,0) habby set(‘玩電玩’,'睡覺’,'看電影’,'聽音樂’)
Set	集合最大數目爲64

辨別Null與Not Null ：Null爲容許儲存空值(Null)

2、數值

類型	範圍	說明	例如
TinyInt[M] [UNSIGNED]	-128~127 UNSIGNED ： 0~255		num tinyint unsigned
SmallInt[M] [UNSIGNED]	-32768~32767 UNSIGNED ：0~ 65535
MediumInt[M] [UNSIGNED]	-8388608~8388607 UNSIGNED ：0~16777215
Int[M] [UNSIGNED]	-2^31~2^31-1 UNSIGNED ： 0~2^32
BigInt[M] [UNSIGNED]	-2^63~2^63-1 UNSIGNED ： 0~2^64
Float [(M,D)]	-3.4E+38~3.4E+38( 約 )	注： M 爲長度， D 爲小數,Float 4 bytes,Double 8 bytes
Double [(M,D)]	-1.79E+308~1.79E+308( 約 )
Decimal [(M,D)]

辨別ZeroFill：當宣告關鍵字ZeroFill爲自動填滿0，如 000021

3、日期時間

類型	範圍	說明
Date	日期(yyyy-mm-dd)
Time	時間(hh:mm:ss)
DateTime	日期與時間組合(yyyy-mm-dd hh:mm:ss)
TimeStamp	yyyymmddhhmmss
Year	年份yyyy