dubbo報錯Data length too large: 10710120處理，及服務提供者協議配置詳細說明

工做中遇到如下報錯信息

[plain] view plain copy

cause: java.io.IOException: Data length too large: 10710120, max payload: 8388608, channel: NettyChannel [channel=[id: 0x09396776, /10.195.2.51:48887 => /10.195.2.21:20881]]
java.io.IOException: Data length too large: 10710120, max payload: 8388608, channel: NettyChannel [channel=[id: 0x09396776, /10.195.2.51:48887 => /10.195.2.21:20881]]
at com.alibaba.dubbo.remoting.transport.AbstractCodec.checkPayload(AbstractCodec.java:49)
at com.alibaba.dubbo.remoting.exchange.codec.ExchangeCodec.encodeResponse(ExchangeCodec.java:285)
at com.alibaba.dubbo.remoting.exchange.codec.ExchangeCodec.encode(ExchangeCodec.java:77)
at com.alibaba.dubbo.rpc.protocol.dubbo.DubboCountCodec.encode(DubboCountCodec.java:39)
at com.alibaba.dubbo.remoting.transport.netty.NettyCodecAdapter$InternalEncoder.encode(NettyCodecAdapter.java:81)

緣由：java

當dubbo服務提供層向消費層傳輸大數據容量的對象時，會受到Dubbo的限制，報相似以下異常：

com.alibaba.dubbo.remoting.transport.AbstractCodec.checkPayload() ERROR

Data length too large: 11557050, max payload: 8388608

java.io.IOException: Data length too large: 11557050, max payload: 8388608

解決方案以下,有兩種web

第一種方案數據庫

修改提供方的dubbo配置，json

在dubbo.properties 中增長以下緩存

dubbo.protocol.dubbo.payload=11557050（默認爲8M，即8388608）服務器

第二種方案網絡

再dubbo-provider.xml文件配置（下文有服務提供者協議配置詳細說明）ide

<dubbo:provider id="payload" payload="11557050"/>

第三種方案性能

一、在項目中集成MongoDB；

二、在service層把大容量數據存放到MongoDB中；

三、在web層從MongoDB中取出大容量數據。

線程模型

http://dubbo.io/User+Guide-zh.htm 用戶指南>>線程模型

相似於數據庫的鏈接池

(+) (#)大數據

事件處理線程說明

若是事件處理的邏輯能迅速完成，而且不會發起新的IO請求，好比只是在內存中記個標識，則直接在IO線程上處理更快，由於減小了線程池調度。
但若是事件處理邏輯較慢，或者須要發起新的IO請求，好比須要查詢數據庫，則必須派發到線程池，不然IO線程阻塞，將致使不能接收其它請求。
若是用IO線程處理事件，又在事件處理過程當中發起新的IO請求，好比在鏈接事件中發起登陸請求，會報「可能引起死鎖」異常，但不會真死鎖。

Dispatcher
- all 全部消息都派發到線程池，包括請求，響應，鏈接事件，斷開事件，心跳等。
- direct 全部消息都不派發到線程池，所有在IO線程上直接執行。
- message 只有請求響應消息派發到線程池，其它鏈接斷開事件，心跳等消息，直接在IO線程上執行。
- execution 只請求消息派發到線程池，不含響應，響應和其它鏈接斷開事件，心跳等消息，直接在IO線程上執行。
- connection 在IO線程上，將鏈接斷開事件放入隊列，有序逐個執行，其它消息派發到線程池。

ThreadPool
- fixed 固定大小線程池，啓動時創建線程，不關閉，一直持有。(缺省)
- cached 緩存線程池，空閒一分鐘自動刪除，須要時重建。
- limited 可伸縮線程池，但池中的線程數只會增加不會收縮。(爲避免收縮時忽然來了大流量引發的性能問題)。

配置如：

 
     
      
        
          < 
          dubbo:protocol 
          name 
          = 
          "dubbo" 
          dispatcher 
          = 
          "all" 
          threadpool 
          = 
          "fixed" 
          threads 
          = 
          "100" 
          /> 
         
 
      
 
     
   

配置標籤

<dubbo:provider/>

<dubbo:protocol/>

例:

<dubbo:provider timeout="10000" threadpool="fixed" threads="100" accepts="1000" />

<dubbo:protocol/>

(+) (#)

服務提供者協議配置：
配置類：com.alibaba.dubbo.config.ProtocolConfig
說明：若是須要支持多協議，能夠聲明多個<dubbo:protocol>標籤，並在<dubbo:service>中經過protocol屬性指定使用的協議。

標籤	屬性	對應URL參數	類型	是否必填	缺省值	做用	描述	兼容性
<dubbo:protocol>	id		string	可選	dubbo	配置關聯	協議BeanId，能夠在<dubbo:service protocol="">中引用此ID，若是ID不填，缺省和name屬性值同樣，重複則在name後加序號。	2.0.5以上版本
<dubbo:protocol>	name	<protocol>	string	必填	dubbo	性能調優	協議名稱	2.0.5以上版本
<dubbo:protocol>	port	<port>	int	可選	dubbo協議缺省端口爲20880，rmi協議缺省端口爲1099，http和hessian協議缺省端口爲80 若是配置爲-1 或者沒有配置port，則會分配一個沒有被佔用的端口。Dubbo 2.4.0+，分配的端口在協議缺省端口的基礎上增加，確保端口段可控。	服務發現	服務端口	2.0.5以上版本
<dubbo:protocol>	host	<host>	string	可選	自動查找本機IP	服務發現	-服務主機名，多網卡選擇或指定VIP及域名時使用，爲空則自動查找本機IP，-建議不要配置，讓Dubbo自動獲取本機IP	2.0.5以上版本
<dubbo:protocol>	threadpool	threadpool	string	可選	fixed	性能調優	線程池類型，可選：fixed/cached	2.0.5以上版本
<dubbo:protocol>	threads	threads	int	可選	100	性能調優	服務線程池大小(固定大小)	2.0.5以上版本
<dubbo:protocol>	iothreads	threads	int	可選	cpu個數+1	性能調優	io線程池大小(固定大小)	2.0.5以上版本
<dubbo:protocol>	accepts	accepts	int	可選	0	性能調優	服務提供方最大可接受鏈接數	2.0.5以上版本
<dubbo:protocol>	payload	payload	int	可選	88388608(=8M)	性能調優	請求及響應數據包大小限制，單位：字節	2.0.5以上版本
<dubbo:protocol>	codec	codec	string	可選	dubbo	性能調優	協議編碼方式	2.0.5以上版本
<dubbo:protocol>	serialization	serialization	string	可選	dubbo協議缺省爲hessian2，rmi協議缺省爲java，http協議缺省爲json	性能調優	協議序列化方式，當協議支持多種序列化方式時使用，好比：dubbo協議的dubbo,hessian2,java,compactedjava，以及http協議的json等	2.0.5以上版本
<dubbo:protocol>	accesslog	accesslog	string/boolean	可選		服務治理	設爲true，將向logger中輸出訪問日誌，也可填寫訪問日誌文件路徑，直接把訪問日誌輸出到指定文件	2.0.5以上版本
<dubbo:protocol>	path	<path>	string	可選		服務發現	提供者上下文路徑，爲服務path的前綴	2.0.5以上版本
<dubbo:protocol>	transporter	transporter	string	可選	dubbo協議缺省爲netty	性能調優	協議的服務端和客戶端實現類型，好比：dubbo協議的mina,netty等，能夠分拆爲server和client配置	2.0.5以上版本
<dubbo:protocol>	server	server	string	可選	dubbo協議缺省爲netty，http協議缺省爲servlet	性能調優	協議的服務器端實現類型，好比：dubbo協議的mina,netty等，http協議的jetty,servlet等	2.0.5以上版本
<dubbo:protocol>	client	client	string	可選	dubbo協議缺省爲netty	性能調優	協議的客戶端實現類型，好比：dubbo協議的mina,netty等	2.0.5以上版本
<dubbo:protocol>	dispatcher	dispatcher	string	可選	dubbo協議缺省爲all	性能調優	協議的消息派發方式，用於指定線程模型，好比：dubbo協議的all, direct, message, execution, connection等	2.1.0以上版本
<dubbo:protocol>	queues	queues	int	可選	0	性能調優	線程池隊列大小，當線程池滿時，排隊等待執行的隊列大小，建議不要設置，當線程程池時應當即失敗，重試其它服務提供機器，而不是排隊，除非有特殊需求。	2.0.5以上版本
<dubbo:protocol>	charset	charset	string	可選	UTF-8	性能調優	序列化編碼	2.0.5以上版本
<dubbo:protocol>	buffer	buffer	int	可選	8192	性能調優	網絡讀寫緩衝區大小	2.0.5以上版本
<dubbo:protocol>	heartbeat	heartbeat	int	可選	0	性能調優	心跳間隔，對於長鏈接，當物理層斷開時，好比拔網線，TCP的FIN消息來不及發送，對方收不到斷開事件，此時須要心跳來幫助檢查鏈接是否已斷開	2.0.10以上版本
<dubbo:protocol>	telnet	telnet	string	可選		服務治理	所支持的telnet命令，多個命令用逗號分隔	2.0.5以上版本
<dubbo:protocol>	register	register	boolean	可選	true	服務治理	該協議的服務是否註冊到註冊中心	2.0.8以上版本
<dubbo:protocol>	contextpath	contextpath	String	可選	缺省爲空串	服務治理		2.0.6以上版本

Linux 用戶線程數限制致使的 java.lang.OutOfMemoryError: unable to create new native thread異常

系統默認最大的線程數爲1024個

[root@edu-provider-01 ~]# cat /etc/security/limits.d/90-nproc.conf
# Default limit for number of user's processes to prevent
# accidental fork bombs.
# See rhbz #432903 for reasoning.

* soft nproc 1024
root soft nproc unlimited

[root@edu-provider-01 ~]# vi /etc/security/limits.d/90-nproc.conf
調整時要注意：

一、儘可能不要使用 root 用戶來部署應用程序，避免資源耗盡後沒法登陸操做系統。

由於root用戶默認沒有限制線程數，若是線程過多，會使資源佔用不少，致使不能關機，只能硬關機

二、普通用戶的線程數限制值要看可用物理內存容量來配置

[root@edu-provider-01 ~]# cat /proc/meminfo |grep MemTotal
MemTotal: 2941144 kB
[root@edu-provider-01 ~]# echo "2941144/128"|bc
22977
[root@edu-provider-01 ~]# ulimit -u
1024

[1]+ Stopped vi /etc/security/limits.d/90-nproc.conf
[root@edu-provider-01 ~]# vi /etc/security/limits.d/90-nproc.conf
[root@edu-provider-01 ~]# cat /etc/security/limits.d/90-nproc.conf
# Default limit for number of user's processes to prevent
# accidental fork bombs.
# See rhbz #432903 for reasoning.

* soft nproc 12000
root soft nproc unlimited
[root@edu-provider-01 ~]#

計算方式：

default_nproc = total_memory/128K;

$ cat /proc/meminfo |grep MemTotal

$ echo "2941144/128"|bc

$ ulimit -u

ulimit -a # 顯示目前資源限制的設定

ulimit -u # 用戶最多可開啓的程序數目

重啓，使之生效：# reboot