Node usage graph: Difference between revisions

From HPCwiki
Jump to navigation Jump to search
No edit summary
No edit summary
 
(2 intermediate revisions by 2 users not shown)
Line 1: Line 1:
There is a graphing tool that uses elements directly from sacct to display information about the current cluster usage, node_usage_graph (located at /cm/shared/apps/accounting/node_usage_graph ).
There is a graphing tool that uses elements directly from sacct to display information about the current cluster usage, node_usage_graph (located at in the anunna module ).


Example:
Example:
<source lang="text">
<pre>
[user@nfs01 ~]# /cm/shared/apps/accounting/node_usage_graph
[user@login0 ~]# module load anunna
node:  |0%                                                                                                     100%|
[user@login0 ~]# usage_graph
fat001: ############################################                                                               
node:  |0%                                                                             100%|
fat002: ######################################################                                                     
fat001: DDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDD
node001:#############################################################################################################
        DDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDD
node002:#############################################################################################################
fat002: CCCCCCCCC                                                                           
node003:########################################################################################                   
        MMMMMmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmm                                     
node004:#############################################################################################################
node001:                                                                                    
node005:#############################################################################################################
                                                                                           
node006:#############################################################                                               
node002:cccccccccc                                                                         
node007:######################################################################################################     
        MMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMmmmmmmmmmm                                         
node008:###########################                                                                                 
node003:CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC         
node009:###########################                                                                                 
        MM                                                                                 
node010:########################################                                                                   
node004:CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC                                     
node011:##########################################################################                                 
        M                                                                                   
node012:######################################################################################################     
node005:CCCCCCCCCC                                                                         
node013:########################################################################################                   
                                                                                           
node014:######                                                                                                     
node006:CCCCCCCCCC                                                                         
node015:#############################################################################################################
                                                                                           
node016:###############################################################################################             
node007:CCCCCCCCCC                                                                         
node017:########################################                                                                   
                                                                                           
node018:#############################################################################################################
node008:CCCCCCCCCCccccc                                                                     
node019:###########################                                                                                 
        MMMMMMMMMMMMMMMMMMMMM                                                               
node020:###############################################################################################             
node009:cccccccccc                                                                         
node021:###########################                                                                                 
        MMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMM                                         
node022:###############################################                                                             
node010:                                                                                    
node023:########################################################################################                   
                                                                                           
node024:########################################                                                                   
node011:                                                                                    
node025:###############################################                                                             
                                                                                           
node026:####################################################################                                       
node012:CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC               
node027:######################################################################################################     
        M                                                                                   
node028:########################################################################################                   
node013:                                                                                    
node029:#############################################################################################################
                                                                                           
node030:###########################                                                                                 
node014:                                                                                    
node031:######################################################                                                     
                                                                                           
node032:#############                                                                                               
node015:CCCCC                                                                               
node033:#############################################################################################################
        MMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmm
node034:#############                                                                                               
node016:CCCCCCCCCCCCCCCCCCCCC                                                               
node035:###########################                                                                                 
        MMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmm
node036:                                                                                                            
node017:                                                                                    
node037:                                                                                                            
                                                                                           
node038:###########################                                                                                 
node018:                                                                                    
node039:###########################                                                                                 
                                                                                           
node040:######################################################################################################     
node019:CCCCC                                                                               
node041:###########################                                                                                 
        MMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmm
node042:###########################                                                                                 
node020:                                                                                    
node049:#############################################################                                               
                                                                                           
node050:######################################################                                                     
node021:                                                                                    
node051:######################################################################################################     
                                                                                           
node052:#############################################################################################################
node022:                                                                                    
node053:###############################################                                                             
                                                                                           
node054:#############################################################################################################
node023:                                                                                    
</source>
                                                                                           
node024:CCCCCCCCCCCCCCC                                                                     
                                                                                           
node025:CCCCCCCCCCCCCCCCCCCCC                                                               
                                                                                           
node026:CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC                                               
                                                                                           
node027:CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC                                               
                                                                                           
node028:CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC
        MMM                                                                                 
node029:                                                                                    
                                                                                           
node030:                                                                                    
                                                                                           
node031:                                                                                    
                                                                                           
node032:                                                                                    
                                                                                           
node033:                                                                                    
                                                                                           
node034:                                                                                    
                                                                                           
node035:                                                                                    
                                                                                           
node036:                                                                                    
                                                                                           
node037:                                                                                    
                                                                                           
node038:                                                                                    
                                                                                           
node039:                                                                                    
                                                                                           
node040:DDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDD
        DDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDD
node041:CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCcccccc                                               
        MMMMMMMMMMMMMMMMMMMMMM                                                             
node042:RRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRR
        RRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRR
node049:DDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDD
        DDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDD
node050:CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC                                     
        M                                                                                   
node051:                                                                                    
                                                                                           
node052:CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC                                               
        MMMMMMmmmmmmmmmmmmmmm                                                               
node053:CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC                                               
        M                                                                                   
node054:DDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDD
        DDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDD
</pre>


This gives an overview of the current per-node resource usage. It cannot however give you an indication of how much the queue is right now for any node.
This gives an overview of the current per-node resource usage. There are four types of letter:
* M: Memory reserved and in use
* m: Memory reserved and not in use
* C: CPU reserved and in use
* c: CPU reserved and not in use
* D: Drained node (not available for submission for some adminstrative reason
* R: Reserved node
 
It cannot however give you an indication of how much the queue is right now for any node. for that, squeue is a better resource.

Latest revision as of 09:55, 16 June 2023

There is a graphing tool that uses elements directly from sacct to display information about the current cluster usage, node_usage_graph (located at in the anunna module ).

Example:

[user@login0 ~]# module load anunna
[user@login0 ~]# usage_graph
node:   |0%                                                                             100%|
fat001: DDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDD
        DDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDD
fat002: CCCCCCCCC                                                                            
        MMMMMmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmm                                       
node001:                                                                                     
                                                                                             
node002:cccccccccc                                                                           
        MMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMmmmmmmmmmm                                           
node003:CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC           
        MM                                                                                   
node004:CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC                                      
        M                                                                                    
node005:CCCCCCCCCC                                                                           
                                                                                             
node006:CCCCCCCCCC                                                                           
                                                                                             
node007:CCCCCCCCCC                                                                           
                                                                                             
node008:CCCCCCCCCCccccc                                                                      
        MMMMMMMMMMMMMMMMMMMMM                                                                
node009:cccccccccc                                                                           
        MMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMM                                           
node010:                                                                                     
                                                                                             
node011:                                                                                     
                                                                                             
node012:CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC                
        M                                                                                    
node013:                                                                                     
                                                                                             
node014:                                                                                     
                                                                                             
node015:CCCCC                                                                                
        MMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmm 
node016:CCCCCCCCCCCCCCCCCCCCC                                                                
        MMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmm 
node017:                                                                                     
                                                                                             
node018:                                                                                     
                                                                                             
node019:CCCCC                                                                                
        MMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmm 
node020:                                                                                     
                                                                                             
node021:                                                                                     
                                                                                             
node022:                                                                                     
                                                                                             
node023:                                                                                     
                                                                                             
node024:CCCCCCCCCCCCCCC                                                                      
                                                                                             
node025:CCCCCCCCCCCCCCCCCCCCC                                                                
                                                                                             
node026:CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC                                                
                                                                                             
node027:CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC                                                
                                                                                             
node028:CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC
        MMM                                                                                  
node029:                                                                                     
                                                                                             
node030:                                                                                     
                                                                                             
node031:                                                                                     
                                                                                             
node032:                                                                                     
                                                                                             
node033:                                                                                     
                                                                                             
node034:                                                                                     
                                                                                             
node035:                                                                                     
                                                                                             
node036:                                                                                     
                                                                                             
node037:                                                                                     
                                                                                             
node038:                                                                                     
                                                                                             
node039:                                                                                     
                                                                                             
node040:DDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDD
        DDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDD
node041:CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCcccccc                                                
        MMMMMMMMMMMMMMMMMMMMMM                                                               
node042:RRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRR
        RRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRR
node049:DDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDD
        DDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDD
node050:CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC                                      
        M                                                                                    
node051:                                                                                     
                                                                                             
node052:CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC                                                
        MMMMMMmmmmmmmmmmmmmmm                                                                
node053:CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC                                                
        M                                                                                    
node054:DDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDD
        DDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDD

This gives an overview of the current per-node resource usage. There are four types of letter:

  • M: Memory reserved and in use
  • m: Memory reserved and not in use
  • C: CPU reserved and in use
  • c: CPU reserved and not in use
  • D: Drained node (not available for submission for some adminstrative reason
  • R: Reserved node

It cannot however give you an indication of how much the queue is right now for any node. for that, squeue is a better resource.