句柄数最大值（如何修改linux单进程能够打开的最大文件句柄数）

本文目录

• 如何修改linux单进程能够打开的最大文件句柄数
• 怎么用系统策略强制禁制显示windows内存不足要求关闭程序的警告
• 修改linux的最大文件句柄数限制
• es的句柄数不会自动下降是怎么回事
• Unix如何查看用户的最大文件句柄数及使用情况
• Linux支持最大的SOCKET连接数量是多少

如何修改linux单进程能够打开的最大文件句柄数

修改文件句柄数在Linux下，我们使用ulimit -n 命令可以看到单个进程能够打开的最大文件句柄数量(socket连接也算在里面)。系统默认值1024。
对于一般的应用来说(象Apache、系统进程)1024完全足够使用。但是如何象squid、mysql、java等单进程处理大量请求的应用来说就有
点捉襟见肘了。如果单个进程打开的文件句柄数量超过了系统定义的值，就会提到“too many files
open”的错误提示。如何知道当前进程打开了多少个文件句柄呢？下面一段小脚本可以帮你查看：
1.lsof -n |awk ’{print $2}’|sort|uniq -c |sort -nr|more
在系统访问高峰时间以root用户执行上面的脚本，可能出现的结果如下：
1.# lsof -n|awk ’{print $2}’|sort|uniq -c |sort -nr|more
2. 131 24204
3. 57 24244
4. 57 24231
5. 56 24264
其中第一行是打开的文件句柄数量，第二行是进程号。得到进程号后，我们可以通过ps命令得到进程的详细内容。
1.ps -aef|grep 24204
2.mysql 24204 24162 99 16:15 ? 00:24:25 /usr/sbin/mysqld
哦，原来是mysql进程打开最多文件句柄数量。但是他目前只打开了131个文件句柄数量，远远底于系统默认值1024。
但是如果系统并发特别大，尤其是squid服务器，很有可能会超过1024。这时候就必须要调整系统参数，以适应应用变化。Linux有硬性限制和软性限制。可以通过ulimit来设定这两个参数。方法如下，以root用户运行以下命令：
1.ulimit -HSn 4096
以
上命令中，H指定了硬性大小，S指定了软性大小，n表示设定单个进程最大的打开文件句柄数量。个人觉得最好不要超过4096，毕竟打开的文件句柄数越多响
应时间肯定会越慢。设定句柄数量后，系统重启后，又会恢复默认值。如果想永久保存下来，，可以修改 /etc/profile
把上面命令加到最后。(findsun提出的办法比较合理)
/////////////////////////////////////////////////////////////////////////////
在 Linux下面部署应用的时候，有时候会遇上Socket/File: Can’t open so many
files的问题，其实Linux是有文件句柄限制的（就像WinXP？），而且默认不是很高，一般都是1024，作为一台生产服务器，其实很容易就达到
这个数量，因此我们需要把这个值改大一些。
大概知道ulimit这个命令是相关的，上Google搜索了一下，大多数说的很含糊，也没有统一说一下，经过两个小时看了不少文章终于弄清楚ulimit相关的一些配置问题。
我们可以用ulimit -a来查看所有限制值，我只关心文件句柄数量的问题
open files (-n) 1024
这个就是限制数量
这里，有很多ulimit的文章都说的很含糊，究竟这个1024是系统的限制，还是用户的限制呢。其实，这个是用户限制来的，完整的说法，应该是当前用户准备要运行的程序的限制。
1、这个限制是针对单个程序的限制
2、这个限制不会改变之前已经运行了的程序的限制
3、对这个值的修改，退出了当前的shell就会消失
比如说，我先运行了一个程序A，然后通过ulimit修改了限制为2048，然后运行B，然后退出了shell再登录，然后运行C。那就只有B可以打开2048个句柄。
如果我们需要改变整体的限制值，或者我们运行的程序是系统启动的，应该怎么处理呢
其中一个方法，是想ulimit修改命令放入/etc/profile里面，但是这个做法并不好
正确的做法，应该是修改/etc/security/limits.conf
里面有很详细的注释，比如
* soft nofile 2048
* hard nofile 32768
就可以将文件句柄限制统一改成软2048，硬32768
这里涉及另外一个问题，什么是软限制，什么是硬限制
硬限制是实际的限制，而软限制，是warnning限制，只会做出warning
其实ulimit命令本身就有分软硬设置，加-H就是硬，加-S就是软
默认显示的是软限制，如果修改的时候没有加上的话，就是两个一起改
配置文件最前面的一位是domain，设置为星号代表全局，另外你也可以针对不同的用户做出不同的限制
修改了，重新登录用ulimit一开就立刻生效了，不过之前启动过的程序要重新启动才能使用新的值。我用的是CentOS，似乎有些系统需要重启才能生效。
ulimit其实就是对单一程序的限制
那系统总限制呢
其实是在这里，/proc/sys/fs/file-max
可以通过cat查看目前的值，echo来立刻修改
另外还有一个，/proc/sys/fs/file-nr
只读，可以看到整个系统目前使用的文件句柄数量
查找文件句柄问题的时候，还有一个很实用的程序lsof
可以很方便看到某个进程开了那些句柄
也可以看到某个文件/目录被什么进程占用了。

怎么用系统策略强制禁制显示windows内存不足要求关闭程序的警告

标准设置
(1)右键点击计算机---属性
2
选择“高级系统设置”→“性能”→“设置”→“高级”→“虚拟内存”;
3
选择“更改”→“自动管理取消”→“自定义大小”→“设置”→“确定”;
虚拟内存的大小根据机器配置的不同自行设置，一般建议设置为物理内存(内存+显存)*2为最佳。
4
精确设置
根据性能监视器设置
A、右击“计算机”，选择“计算机管理”。
B、在“计算机管理”依次展开：性能”→“监视工具”→“性能计数器”中添加一个内存计数器了解峰值内存占用量，然后根据这个用量设置虚拟内存数值。
设置虚拟内存可以缓解一些物理内存的压力,如果效果没有改善，就需要我们增加物理内存了。
5
根据任务管理器设置
A、首先在任务栏处单击右键选择---任务管理器;
6
B、单击查看---选择列;
7
C、在打开的“选择进程页列”窗口中，找到图中红色框选位置，将“内存---提交大小”勾选;
8
D、点击确定，修改成功后，再次调用任务管理器，其中的“提交大小”那一列就是Windows 7中所指的虚拟内存。
从上图可以看出哪些软件或进程占用的虚拟内存的大小，运行中我们可以结束一些不必要的程序，以释放虚拟内存。
9
虚拟内存太低有三种解决办法：
1. 自定义的虚拟内容的容量(系统默认是自动)太小，可以重新划分大小。
2. 系统所在的盘(一般是C盘)空余的容量太小而运行的程序却很大，并且虚拟内存通常被默认创建在系统盘目录下，我们通常可以删除一些不用的程序，并把文档图片以及下载的资料等有用文件移动到其他盘中，并清理“回收站”，使系统盘保持(内存+显存)*2GB以上的空间，或者将虚拟内存定义到其他空余空间多的盘符下。
3. 系统盘空余的容量并不小，但因为经常安装、下载软件，并反复删除造成文件碎片太多，也是容易造成虚拟内存不足的原因之一，虚拟内存需要一片连续的空间，尽管磁盘空余容量大，但没有连续的空间，也无法建立虚拟内存区。可以用磁盘工具整理碎片。
10
Windows 7系统提示“内存不足”的原因及解决方法
不仅仅Windows 7也包括Windows Vista/Windows 2000/XP/2003，具有2GB甚至更多的内存，有时也会遇到Windows 7提示“内存不足”警告的情况，或者虽无提示但程序窗口无法打开，或程序窗口虽然打开但却不完整如缺少菜单、按钮等，如下面所示：
等等此类的提示，那么我们应该如何解决呢?注：修改注册表存在风险，请谨慎操作，最好在修改前备份注册表，以当系统故障时恢复。
11
1. 将默认的用户句柄与GDI 句柄数量修改为较大的数值。
(1)在Windows 7开始菜单的搜索框中输入“regedit”，按回车;
注册表将会触发UAC而弹出提示窗口，点击确认继续;
(2)找到如下注册表分支：HKEY_LOCAL_MACHINESOFTWAREMicrosoftWindows NT CurrentVersionWindows
在右侧窗口中可以看到名为“GDIProcessHandleQuota”与“USERProcessHandleQuota”的注册表项;
GDIProcessHandleQuota项设置GDI句柄数量，默认值为2710(16进制)/10000(10进制)，该值的允许范围为 256 ~ 16384 ，将其调整为大于默认的10000的值。如果您的系统配置了2G或更多内容，不妨将其设置为允许的最大值 16384(10进制);
USERProcessHandleQuota项设置用户句柄数量，默认值同样为2710(16进制)/10000(10进制)，该值的允许范围为 200 ~ 18000 ，将其调整为更多的数值。同样地，对于具有2GB或更多物理内存的系统，不妨将用户句柄数直接设置为上限 18000(10进制);
需要强调的是，修改“GDIProcessHandleQuota”与“USERProcessHandleQuota”值时，不要超过其接受的上限，不然，将导致Windows 无法工作或运行不稳定。另一方面，即使您的调整其超过其允许的上限，如果发现修改后Windows出现不稳定的症状，便需要将相应的数值调低些，或者恢复默认值。
2. 增加页面文件(虚拟内存)的大小
计算机第一次内存不足时，Windows 会自动尝试增加页面文件的大小，但是您也可以手动将其增加到由安装的 RAM 量确定的最大值。尽管增加页面文件的大小可以帮助防止出现内存不足的问题，但是它也会使您的程序运行速度更缓慢。由于计算机从 RAM 中读取信息的速度大于从硬盘(页面文件所在的硬盘)中读取的速度，因此使程序使用太多的虚拟内存将使其速度减慢。
3. 安装更多 RAM
如果您看到内存不足的征兆或者如果 Windows 警告您关于内存不足的问题，请检查计算机附带的信息，或与计算机制造商联系以确定计算机兼容的 RAM 类型，然后安装更多的 RAM。若要安装 RAM，请检查制造商提供的信息。
4. 确定程序是否过度使用内存
如果只要您运行某些程序，计算机就会出现内存不足，则这些程序中的一个或多个程序可能有内存泄露。若要停止内存泄露，需要关闭程序。为了修复内存泄露，您需要检查程序是否有更新或者与软件的发布者联系
(1)若要确定哪个程序使用的内存最多，请遵循以下步骤：
A、通过右键单击任务栏，然后单击“启动任务管理器”，打开“任务管理器”;
B、单击“进程”选项卡，若要按内存使用对程序进行排序，请单击“内存(私有工作集)”;
(2)您还可以使用事件查看器检查程序错误以及疑难解答信息。
A、通过依次单击「开始」按钮
、“控制面板”、“系统和安全”、“管理工具”，然后双击“事件查看器”，打开“事件查看器”。‌
如果系统提示您输入管理员密码或进行确认，请键入该密码或提供确认。
B、在左窗格中，单击“应用程序和服务日志”即可查看错误事件。若要查看问题的描述，请双击该事件。
事件查看器跟踪几个不同日志中的信息。Windows 日志包括：
应用程序(程序)事件。事件根据其严重程度分类，包括“错误”、“警告”或“信息”。错误是很重要的问题，如数据丢失。警告是不一定很重要，但是将来有可能导致问题的事件。信息事件描述程序、驱动程序或服务的成功操作。
与安全相关的事件。这些事件称为“审核”，根据事件描述为成功或失败(如用户尝试登录 Windows 是否成功)。
设置事件。配置为域控制器的计算机将在此处显示其他日志。
系统事件。系统事件由 Windows 和 Windows 系统服务记录，其分类包括错误、警告和信息。
转发的事件。这些事件通过其他计算机转发到此日志。
5. 增加可用磁盘空间
(1)清空回收站
(2) 删除临时文件。打开%20“我的电脑”，右键单击要释放其空间的磁盘，然后单击“属性”，在“常规”选项卡上，单击“磁盘清理”按钮，选中要删除的不需要的文件前的复选框进行整理。
(3)从磁盘中删除过期的文件或已存档的文件。
(4)删除从未使用过的所有文件。
6. 查杀病毒
系统感染电脑病毒也是导致内存不足的罪魁祸首，当系统出现“内存不足”的错误时，请使用最新的杀毒软件查杀病毒，或许在清除电脑病毒之后，就解决了“内存不足”的问题。

修改linux的最大文件句柄数限制

修改linux的最大文件句柄数限制对于一般的应用来说(象Apache、系统进程)1024完全足够使用。但是如何象squid、mysql、java等单进程处理大量请求的应用来说就有点捉襟见肘了。如果单个进程打开的文件句柄数量超过了系统定义的值，就会提到too
many
files
open的错误提示。如何知道当前进程打开了多少个文件句柄呢？下面一段小脚本可以帮你查看：1lsof
-n
|awk
’{print
$2}’|sort|uniq
-c
|sort
-nr|more修改linux的最大文件句柄数限制的方法：
1）ulimit
-n
65535
在当前session有效，用户退出或者系统重新后恢复默认值
2）修改profile文件：在profile文件中添加：ulimit
-n
65535
只对当个用户有效
3）修改文件：/etc/security/limits.conf，在文件中添加：（立即生效-当前session中运行ulimit
-a命令无法显示）
*
soft
nofile
32768
#限制单个进程最大文件句柄数（到达此限制时系统报警）
*
hard
nofile
65536
#限制单个进程最大文件句柄数（到达此限制时系统报错）
4）修改文件：/etc/sysctl.conf。在文件中添加：
fs.file-max=655350
#限制整个系统最大文件句柄数
运行命令：/sbin/sysctl
-p
使配置生效

es的句柄数不会自动下降是怎么回事

1.由gc引起节点脱离集群
因为gc时会使jvm停止工作，如果某个节点gc时间过长，master ping3次（zen discovery默认ping失败重试3次）不通后就会把该节点剔除出集群，从而导致索引进行重新分配。
解决方法：
（1）优化gc，减少gc时间。（2）调大zen discovery的重试次数（es参数：ping_retries）和超时时间（es参数：ping_timeout）。后来发现根本原因是有个节点的系统所在硬盘满了。导致系统性能下降。

2.out of memory错误
因为默认情况下es对字段数据缓存（Field Data Cache）大小是无限制的，查询时会把字段值放到内存，特别是facet查询，对内存要求非常高，它会把结果都放在内存，然后进行排序等操作，一直使用内存，直到内存用完，当内存不够用时就有可能出现out of memory错误。
解决方法：
（1）设置es的缓存类型为Soft Reference，它的主要特点是据有较强的引用功能。只有当内存不够的时候，才进行回收这类内存，因此在内存足够的时候，它们通常不被回收。另外，这些引 用对象还能保证在Java抛出OutOfMemory 异常之前，被设置为null。它可以用于实现一些常用图片的缓存，实现Cache的功能，保证最大限度的使用内存而不引起OutOfMemory。在es的配置文件加上index.cache.field.type: soft即可。
（2）设置es最大缓存数据条数和缓存失效时间，通过设置index.cache.field.max_size: 50000来把缓存field的最大值设置为50000，设置index.cache.field.expire: 10m把过期时间设置成10分钟。

3.无法创建本地线程问题
es恢复时报错： RecoverFilesRecoveryException
刚开始以为是文件句柄数限制，但想到之前报的是too many open file这个错误，并且也把数据改大了。查资料得知一个进程的jvm进程的最大线程数为：虚拟内存/（堆栈大小*1024*1024），也就是说虚拟内存越大或堆栈越小，能创建的线程越多。重新设置后还是会报那这错，按理说可创建线程数完全够用了的，就想是不是系统的一些限制。后来在网上找到说是max user processes的问题，这个值默认是1024，这个参数单看名字是用户最大打开的进程数，但看官方说明，就是用户最多可创建线程数，因为一个进程最少有一个线程，所以间接影响到最大进程数。调大这个参数后就没有报这个错了。
解决方法：
（1）增大jvm的heap内存或降低xss堆栈大小（默认的是512K）。
（2）打开/etc/security/limits.conf ，把soft nproc 1024这行的1024改大就行了。

4.集群状态为黄色时并发插入数据报错
这是错误信息，当时集群状态为黄色，即副本没有分配。当时副本设置为2，只有一个节点，当你设置的副本大于可分配的机器时，此时如果你插入数据就有可能报上面的错，因为es的写一致性默认是使用quorum，即quorum值必须大于（副本数/2+1），我这里2/2+1=2也就是说要要至少插入到两份索引中，由于只有一个节点，quorum等于1，所以只插入到主索引，副本找不到从而报上面那个错。
解决方法：（1）去掉没分配的副本。（2）把写一致性改成one，即只写入一份索引就行。

5.设置jvm锁住内存时启动警告
当设置bootstrap.mlockall: true时，启动es报警告Unknown mlockall error 0，因为linux系统默认能让进程锁住的内存为45k。
解决方法：设置为无限制，linux命令：ulimit -l unlimited

6.错误使用api导致集群卡死
其实这个是很低级的错误。功能就是更新一些数据，可能会对一些数据进行删除，但删除时同事使用了deleteByQuery这个接口，通过构造BoolQuery把要删除数据的id传进去，查出这些数据删除。但问题是BoolQuery最多只支持1024个条件，100个条件都已经很多了，所以这样的查询一下子就把es集群卡死了。
解决方法：用bulkRequest进行批量删除操作。

7.org.elasticsearch.transport.RemoteTransportException: Failed to deserialize exception response from stream
原因:es节点之间的JDK版本不一样
解决方法：统一JDK环境

8 . org.elasticsearch.client.transport.NoNodeAvailableException: No node available
1） 端口错
client = new TransportClient().addTransportAddress(new InetSocketTransportAddress(ipAddress, 9300));
这里9300 写成9200的话会No node available
要是你连的不是本机，注意IP有没有正确
2 ）jar报引用版本不匹配，开启的服务是什么版本，引用的jar最好匹配（这个我没有去试，反正我的是匹配的）
3） 要是你改了集群名字，还有设置集群名字
Settings settings = ImmutableSettings.settingsBuilder().put("cluster.name", "xxx").build();
client = new TransportClient(settings).addTransportAddress(new InetSocketTransportAddress(ipAddress, 9300));
4）集群超过5s没有响应
解决方法1.设置client.transport.ping_timeout设大
2.代码内加入while (true) {
try {
bulk.execute().actionGet(getRetryTimeout());
break;
}
catch (NoNodeAvailableException cont) {
Thread.sleep(5000);
continue;
}
}
***隐藏网址***
漏洞影响版本:
elasticsearch 1.2以下
测试代码：
***隐藏网址***

Unix如何查看用户的最大文件句柄数及使用情况

Linux系统如何查看修改最大打开文件数，这个问题对于很多刚刚学习linux的小伙伴来说觉得有点奇怪。Linux系统和windows不同之处在于更强的多任务多线程，由于文件系统结构的不同linux针对不同进程不同用户都可以设置最打打开文件数。（如下图，在设置某些配置文件的时候，会出现下图提示超过系统最大打开文件数
工具/原料
Centos
Linux文件数打开数
查看当前系统最大的文件打开数，如下图
在linux终端中输入ulimit -a
“open files”参数选项后面的数值就是当前系统支持的最大打开文件数
修改linux最大文件打开数
如果要修改linux最大文件打开数，可以通过如下图参数命令 unlimit -n 后面接需要设置的文件数量。
设置好之后，再次查看 unlimit -a 你会发现已经设置为新的数量了
设置好之后，再次修改重启设置的服务，已经没有刚刚那个1024文件数限制的报错提示
其他修改方法
除此之外，如果针对不同的用户。也可以通过修改 /etc/rc.local文件设置环境变量，添加 unlimit -n
如下图，重启之后一般就自动设置好了
查看系统句柄文件数
当前系统文件句柄的最大数目，只用于查看，不能设置修改
cat /proc/sys/fs/file-max
查看进程打开文件数
如果需要查看所有进程的文件打开数，如下图命令lsof |wc -l
特别提醒：
对于做服务器的linux系统来说，适当调整增加文件打开数量。可以加快服务性能，并且提供服务的连接线程数量。咗嚛提醒为了服务器性能，建议也不要设置太大哈

Linux支持最大的SOCKET连接数量是多少

并发socket连接数的多少决定于系统资源的多少，没有一个常值的．在实际开发或者linux系统管理中也会根据需要进行相应的设置．
1．一般来说每一个网络连接，都会建立相应的socket句柄，同时每个连接也会有标准输入输出等基本的文件文件句柄，而且每一个socket连接都是进行文件操作的，因此连接数决定于系统资源．
2．Linux上一般可以通过ulimit来进行相应的资源限制，默认能打开的文件描述符自己可以查看．如下图所示：
3．ulimit的命令格式：ulimit
参数说明：
-H 设置硬资源限制.
-S 设置软资源限制.
-a 显示当前所有的资源限制.
-c size:设置core文件的最大值.单位:blocks
-d size:设置数据段的最大值.单位:kbytes
-f size:设置创建文件的最大值.单位:blocks
-l size:设置在内存中锁定进程的最大值.单位:kbytes
-m size:设置可以使用的常驻内存的最大值.单位:kbytes
-n size:设置内核可以同时打开的文件描述符的最大值.单位:n
-p size:设置管道缓冲区的最大值.单位:kbytes
-s size:设置堆栈的最大值.单位:kbytes
-t size:设置CPU使用时间的最大上限.单位:seconds
-v size:设置虚拟内存的最大值.单位:kbytes
-u 《程序数目》 　用户最多可开启的程序数目