Support Questions
Find answers, ask questions, and share your expertise

Cloudera Manager on Rocks Cluster using a to of memory with java processes

Highlighted

Cloudera Manager on Rocks Cluster using a to of memory with java processes

Explorer

I installed CM on a Rocks 6.1.1 Cluster which runs on CentOS 6.8. I enabled all of the servivces to see how it works. Eventually we'll be using Spark and/or Hadoop. However all of the java processes that get started with the various users like oozie, cloudera, hdfs, spark, yarn, impala, mysql, and zookeeper eat up a lot of memory and is affecting students from running their experiments with other applications. Is there a way to just enable the minimal amount of services or tweak this so it doesn't use so much memory?

5 REPLIES 5
Highlighted

Re: Cloudera Manager on Rocks Cluster using a to of memory with java processes

Super Guru

Hello,

 

Yes, via Cloudera Manager you can configure the heap for each of the services.

When running a cluster with hosts that have limited RAM, I often shut down services I don't need.  For instance, if you are not testing with Oozie, it can be shut down to free up other resources.

 

Regards,

 

Ben

Highlighted

Re: Cloudera Manager on Rocks Cluster using a to of memory with java processes

Explorer
Is there a reason why when I shut down the Cloudera agent and service many
of the Java processes seem to re-spawn?
Highlighted

Re: Cloudera Manager on Rocks Cluster using a to of memory with java processes

Super Guru

The agent restart will not impact the services as it is the supervisord that actually starts the processes and acts as the parent.

 

If you kill or stop a process outside of Cloudera Manager, by default the supervisor will try to start it back up again.  This is configurable in Cloudera Manager.  If you stop from Cloudera Manager, the processes will not respawn.

 

Highlighted

Re: Cloudera Manager on Rocks Cluster using a to of memory with java processes

Explorer

So I just want Spark and Hadoop running what can I disable? I see warnings for example, when stopping Oozie or Zookeeper to also stop Hadoop/HDFS.

 

And now HDFS has an error starting:

 

Starting 1 roles on service
Successfully started service, but only 0/1 roles started.
Nov 28, 1:40:04 PM 10.64s
Execute command Start this NFS Gateway on role NFS Gateway (puppet)
Failed to start role.
NFS Gateway (puppet)
Nov 28, 1:40:04 PM 10.56s
Start a role
Supervisor returned FATAL. Please check the role log file, stderr, or stdout.

Mon Nov 28 13:40:06 EST 2016
JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
using /usr/java/jdk1.7.0_67-cloudera as JAVA_HOME
using 5 as CDH_VERSION
using /var/run/cloudera-scm-agent/process/62-hdfs-NFSGATEWAY as CONF_DIR
using  as SECURE_USER
using  as SECURE_GROUP
unlimited
NFS service is already running on this host. Please stop the NFS service running on this host before attempting to start the NFS Gateway role.
Mon Nov 28 13:40:07 EST 2016
JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
using /usr/java/jdk1.7.0_67-cloudera as JAVA_HOME
using 5 as CDH_VERSION
using /var/run/cloudera-scm-agent/process/62-hdfs-NFSGATEWAY as CONF_DIR
using  as SECURE_USER
using  as SECURE_GROUP
unlimited
NFS service is already running on this host. Please stop the NFS service running on this host before attempting to start the NFS Gateway role.
Mon Nov 28 13:40:09 EST 2016
JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
using /usr/java/jdk1.7.0_67-cloudera as JAVA_HOME
using 5 as CDH_VERSION
using /var/run/cloudera-scm-agent/process/62-hdfs-NFSGATEWAY as CONF_DIR
using  as SECURE_USER
using  as SECURE_GROUP
unlimited
NFS service is already running on this host. Please stop the NFS service running on this host before attempting to start the NFS Gateway role.
Mon Nov 28 13:40:12 EST 2016
JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
using /usr/java/jdk1.7.0_67-cloudera as JAVA_HOME
using 5 as CDH_VERSION
using /var/run/cloudera-scm-agent/process/62-hdfs-NFSGATEWAY as CONF_DIR
using  as SECURE_USER
using  as SECURE_GROUP
unlimited
NFS service is already running on this host. Please stop the NFS service running on this host before attempting to start the NFS Gateway role.

 

Highlighted

Re: Cloudera Manager on Rocks Cluster using a to of memory with java processes

Explorer

Why all the cloudera and hdfs memory & CPU usage? Only Spark and HDFS are enabled and I set the minimum heap to 50 MB and max to 500 MB.

 

top - 13:47:09 up 32 days,  9:07, 11 users,  load average: 2.13, 2.35, 2.09

Tasks: 1062 total,   1 running, 1060 sleeping,   1 stopped,   0 zombie

Cpu(s):  8.9%us,  0.1%sy,  0.0%ni, 90.9%id,  0.1%wa,  0.0%hi,  0.0%si,  0.0%st

Mem:  32873880k total, 28208864k used,  4665016k free,  5723604k buffers

Swap:  2047996k total,      116k used,  2047880k free, 11227360k cached

 

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                                                                             

25809 cloudera  20   0 11.8g 1.1g  48m S 172.0  3.4  27:54.44 java                                                                                                                                                                                                

26384 cloudera  20   0 8282m 887m  27m S 104.1  2.8  22:46.60 java                                                                                                                                                                                                

12752 cloudera  20   0 14.2g 1.6g  22m S  3.0  5.2  11:14.69 java                                                                                                                                                                                                 

16174 cloudera  20   0 6809m 507m  21m S  1.6  1.6   1:27.11 java                                                                                                                                                                                                 

 7387 root      20   0 15828 2044  936 R  1.3  0.0   0:00.26 top                                                                                                                                                                                                  

10164 root      20   0  195m 5300  984 S  0.7  0.0   0:01.27 snmpd                                                                                                                                                                                                

19307 spark     20   0 5189m 255m  34m S  0.7  0.8   0:19.79 java                                                                                                                                                                                                 

26781 cloudera  20   0 7204m 794m  22m S  0.7  2.5   1:09.45 java                                                                                                                                                                                                 

   98 root      RT   0     0    0    0 S  0.3  0.0   0:02.32 watchdog/23                                                                                                                                                                                          

  136 root      20   0     0    0    0 S  0.3  0.0   1:45.14 events/5                                                                                                                                                                                             

  155 root      20   0     0    0    0 S  0.3  0.0   1:56.76 events/24                                                                                                                                                                                            

 2690 root      20   0     0    0    0 S  0.3  0.0   4:03.61 kondemand/15                                                                                                                                                                                         

 3505 leeds     20   0  320m 8480 4984 S  0.3  0.0   6:35.25 gnome-panel                                                                                                                                                                                          

 4411 root      20   0  199m  13m 1648 S  0.3  0.0  95:30.36 python                                                                                                                                                                                               

 4730 root      20   0  353m   9m  884 S  0.3  0.0  37:50.42 rocks                                                                                                                                                                                                

 5111 root      20   0  421m  82m 5808 S  0.3  0.3  40:55.48 Xorg                                                                                                                                                                                                 

 9972 mysql     20   0 6759m 586m 5032 S  0.3  1.8   0:15.48 mysqld                                                                                                                                                                                               

13000 cloudera  20   0 4205m 534m  11m S  0.3  1.7  11:44.35 java                                                                                                                                                                                                 

14614 hdfs      20   0 1851m 921m  17m S  0.3  2.9  15:36.39 java                                                                                                                                                                                                 

15127 hdfs      20   0 1325m 539m  18m S  0.3  1.7   1:35.42 java                                                                                                                                                                                                 

15950 hdfs      20   0 1228m 290m  18m S  0.3  0.9   0:20.61 java                                                                                                                                                                                                 

22235 root      20   0  598m  46m 4144 S  0.3  0.1  25:15.85 gnome-settings-                                                                                                                                                                                      

22294 root      20   0  663m  11m 5836 S  0.3  0.0   9:43.97 nautilus