[Prometheus] snmp export server returned HTTP status 500 Internal Server Error

 

[오류]

프로메테우스 웹 인터페이스 /targets에 등록된 스위치가 DOWN 으로 표시되어 어떤 문제 인지 확인을해 보았습니다.

오류 메시지에는 "server returned HTTP status 500 Internal Server Error"라고 표시되어 있어 에러 메시지를 통해 

 

 

[해결방안]

 

처음에는 snmp_exporter의 snmp.yml 파일 설정이 잘못되었는지 확인하려고 snmpwalk를 통해 확인했습니다.

 $ snmpwalk -v2c -c community -O fn <IP Address>

위 명령어를 통해 장비의 oid 값이 정상적으로 출력되었습니다.

 

.1.3.6.1.2.1.1.1.0 = STRING: Cisco IOS Software, IOS-XE Software, Catalyst L3 Switch Software (CAT3K_CAA-UNIVERSALK9-M), Version 03.06.06E RELEASE SOFTWARE (fc1)
Technical Support: http://www.cisco.com/techsupport
Copyright (c) 1986-2016 by Cisco Systems, Inc.
Compiled Sat 17-Dec-
.1.3.6.1.2.1.1.2.0 = OID: .1.3.6.1.4.1.9.1.2066
.1.3.6.1.2.1.1.3.0 = Timeticks: (114298416) 13 days, 5:29:44.16
.1.3.6.1.2.1.1.4.0 = STRING: 
.1.3.6.1.2.1.1.5.0 = STRING: 
.1.3.6.1.2.1.1.6.0 = STRING: 
.1.3.6.1.2.1.1.7.0 = INTEGER: 6
.1.3.6.1.2.1.1.8.0 = Timeticks: (0) 0:00:00.00
.1.3.6.1.2.1.1.9.1.2.1 = OID: .1.3.6.1.4.1.9.7.129
.1.3.6.1.2.1.1.9.1.2.2 = OID: .1.3.6.1.4.1.9.7.115
.1.3.6.1.2.1.1.9.1.2.3 = OID: .1.3.6.1.4.1.9.7.265
.1.3.6.1.2.1.1.9.1.2.4 = OID: .1.3.6.1.4.1.9.7.112
.1.3.6.1.2.1.1.9.1.2.5 = OID: .1.3.6.1.4.1.9.7.106
.1.3.6.1.2.1.1.9.1.2.6 = OID: .1.3.6.1.4.1.9.7.47
.1.3.6.1.2.1.1.9.1.2.7 = OID: .1.3.6.1.4.1.9.7.122
.1.3.6.1.2.1.1.9.1.2.8 = OID: .1.3.6.1.4.1.9.7.135
.1.3.6.1.2.1.1.9.1.2.9 = OID: .1.3.6.1.4.1.9.7.37

 

 

 

 

 

 

다음으로 구글에 검색해서 아래 명령어를 확인해서 snmp_export의 디버그 모드를 통해 오류를 확인하였습니다.

$ curl -g 'http://127.0.0.1:9116/snmp?module=<Your Module Name>&target=<Your IP>&debug=true'

위 명령어로 어떤 오류인지 확인을 하였습니다.

스위치에 description이 설정되어 있는데 UTF-8로 되어 있지 않다고 오류가 발생하였습니다.

error collecting metric Desc{fqName: "snmp_error", help: "Error calling NewConstMetric", constLabels: {}, variableLabels: []}: error for metric ifAlias with labels [66 F1_LACP] from indexOids [66]: label value "\x84F1_LACP" is not valid UTF-8

이후 스위치에서 description을 제거 하고 정상적으로 동작되었습니다.