320x100

안녕하세요.

오늘은 SSH 키 인증 방식 변경에 따른 이슈내용을 정리해보았습니다.

 

장애내용

 기존 client server에 접속할때는 ssh-rsa 방식으로 SFTP 접속을 하여 서비스를 정상적으로 하고 있었는데, OS재기동 이후 접속에러가 발생하여 서비스 장애가 발생하였습니다.

 

 이후 서비스 정상화를 위해 client 에서 known_host에서 server 호스트 내용 삭제 후 서비스가 정상화 되었지만, 키 알고리즘 인증 방식이 ecdsa-sha2-nistp256로 변경되었는 것을 확인 하였습니다.

 

 Server에서 /etc/ssh/sshd_config 파일을 확인해본 결과, 기본설정에서 아래내용이 추가 되어 있는 상태를 확인 하였습니다.

. . .
HostKeyAlgorithms +ssh-dss
PubkeyAcceptedKeyTypes +ssh-dss

해당 내용에 대해서는 아래에서 확인해 보겠습니다.

 

sshd_config 파일의 ssh-dss 내용 추가 관련

 OpenSSH 7.0 이상은 유사하게 ssh-dss(DSA) 공개 키 알고리즘을 비활성화합니다.

권장 사항은 DSA 사용을 중단하고 RSA 또는 ECDSA와 같은 더 강력한 것으로 이동하는 것입니다.

 

ssh-dss 를 사용하는 client 가 있어서 비활성화된 DSA키를 사용을 활성화 시켜주기 위해 추가한 것으로 판단되며,

장애내용(ssh-rsa접속에러)과는 관련이 없어 보입니다.

 

테스트 내용

1. 테스트 환경

- 계정 A node1 서버에서 계정B node2 서버에 ssh 접속

- AIX7.2-04-02, OpenSSH_8.1p1, OpenSSL 1.0.2u

 

2. 상태 확인

- node2(Server) 에서 현재 동작중인 SSH상태 확인

[node2:root]/>sshd -T | grep -E "hostkeyalgorithms|pubkeyacceptedkeytypes"
hostkeyalgorithms ecdsa-sha2-nistp256-cert-v01@openssh.com,ecdsa-sha2-nistp384-cert-v01@openssh.com,ecdsa-sha2-nistp521-cert-v01@openssh.com,ssh-ed25519-cert-v01@openssh.com,rsa-sha2-512-cert-v01@openssh.com,rsa-sha2-256-cert-v01@openssh.com,ssh-rsa-cert-v01@openssh.com,ecdsa-sha2-nistp256,ecdsa-sha2-nistp384,ecdsa-sha2-nistp521,ssh-ed25519,rsa-sha2-512,rsa-sha2-256,ssh-rsa
pubkeyacceptedkeytypes ecdsa-sha2-nistp256-cert-v01@openssh.com,ecdsa-sha2-nistp384-cert-v01@openssh.com,ecdsa-sha2-nistp521-cert-v01@openssh.com,ssh-ed25519-cert-v01@openssh.com,rsa-sha2-512-cert-v01@openssh.com,rsa-sha2-256-cert-v01@openssh.com,ssh-rsa-cert-v01@openssh.com,ecdsa-sha2-nistp256,ecdsa-sha2-nistp384,ecdsa-sha2-nistp521,ssh-ed25519,rsa-sha2-512,rsa-sha2-256,ssh-rsa
[node2:root]/>ssh -Q key
ssh-ed25519
ssh-ed25519-cert-v01@openssh.comssh-rsa
ssh-dss
ecdsa-sha2-nistp256
ecdsa-sha2-nistp384
ecdsa-sha2-nistp521
ssh-rsa-cert-v01@openssh.com
ssh-dss-cert-v01@openssh.com
ecdsa-sha2-nistp256-cert-v01@openssh.com
ecdsa-sha2-nistp384-cert-v01@openssh.com
ecdsa-sha2-nistp521-cert-v01@openssh.com

  현재 동작중인 SSH의 설정에는 ssh-rsa 키 값이 등록되어 있는 것을 확인할 수 있습니다.

 

3. node1에서 node2로 SSH 접속 테스트

 별도의 설정 없이 접속을 시도하면 ECDSA 키로 접속이 됩니다.

[node1:A]/home/A>ssh B@node2
The authenticity of host 'node2 (10.50.1.82)' can't be established.
ECDSA key fingerprint is SHA256:wGuzLouLnH8Z5cmAstejqgt5fKcN2T1dQoUqPaJN1Z0.
Are you sure you want to continue connecting (yes/no/[fingerprint])?

 

 별도의 옵션을 입력 후 접속을 시도하면 RSA키로 접속하게 됩니다.

해당 옵션으로 접속한 이력이나 관련 내용이 있는지 확인이 필요합니다.

[node1:A]/home/A>ssh -o HostKeyAlgorithms=ssh-rsa B@node2
The authenticity of host 'node2 (10.50.1.82)' can't be established.
RSA key fingerprint is SHA256:E/SVly/rC5mRNKTrWVovYWx2rvuSah2o7amNT73fKe4.
Are you sure you want to continue connecting (yes/no/[fingerprint])?

 

node1서버의 A계정 /.ssh 폴더 밑에 config 파일 작성 후 별도의 옵션 없이 rsa 접속이 됩니다.

[node1:A]/home/A/.ssh>vi config
Host node2
        HostKeyAlgorithms=ssh-rsa
 
[node1:A]/home/A/.ssh>ssh B@node2  
The authenticity of host 'node2 (10.50.1.82)' can't be established.
RSA key fingerprint is SHA256:E/SVly/rC5mRNKTrWVovYWx2rvuSah2o7amNT73fKe4.
Are you sure you want to continue connecting (yes/no/[fingerprint])?

 

 테스트 결과, 특정 옵션 hostkey 알고리즘 값을 ssh-rsa 로 수동으로 입력 해주면 RSA Key 를 사용하여 접속을 시도하는 것을 확인 할 수 있었습니다.

 

 추가적으로 다른 SSH설정이나 OS환경(Server, Client) 변경에 따라 알고리즘 값이 변경되었을 수 도 있을 것 같습니다.

해당 테스트 내용은 참고만 해주시면 감사하겠습니다.

 

오늘도 좋은 하루 되세요 ^^

 

반응형
320x100

안녕하세요.

오늘은 OS부팅 장애이슈에 대해서 알아보겠습니다.

 

장애내용

OS를 시작하는 과정에서 HMC 0569 Reference Code 에서 부팅이 되지 않는 경우가 있습니다.

0569코드는 정상적인 IPL Progress Code 이며, HMC에서 설명을 보면 아래와 같은 문구를 확인할 수 있습니다.

FCS SCSI protocol device is being configured (32 bits).

 

해결방법

FCS 디바이스를 비롯하여 이와 연결된 Cable, GBIC등 하드웨어의 문제로 인하여 발생할 가능성이 높습니다.

따라서 우선 하드웨어적인 점검이 필요합니다. 또한, 환경에 따라 SAN스위치의 Zoning 정보도 확인할 필요가 있습니다.

1. IBM Boot Debug 로그 수집 및 IBM 분석요청

 - Boot Debug 로그 수집 방법

Procedure for data collection during recreate:

1) prepare console logging as for standard boot debug procedure
2) Have switch and storage admins standing by to collect any necessary traces/logs on their equipment
3) Run 'boot -s verbose' from open FW prompt
4) when the boot hangs at LED 569 wait about 5 minutes and press Ctrl \ (Control backslash)

This will drop to the KDB > prompt
Run the following commands at the prompt:
---------------------
set 20
set 10
set 18
lq
th -lk
efcs
efcs fcs0
efcs fcs2
efscsi
efscsi fscsi0
efscsi fscsi2
scsidisk
th *
th -n cfg  <-- should see one or more cfg* threads. Example: cfgmgr,cfgefscsi. Note the SLOT#s
f slot# <-- slot# from previous step. If there is more than one cfg* thread, repeat "f slot#" for each thread
errpt
var
ctctrl -D -c efcdd.fcs0
ctctrl -D -c efcdd.fcs2
ctctrl -D -c efscsidd.fscsi0
ctctrl -D -c efscsidd.fscsi2
go
---------------------

This will exit KDB and resume the boot process. Assume it will remain hung on LED 569.
Wait 5 minutes and press Ctrl\ to enter KDB again.

2. 이중화 구성일 경우 일부 케이블만 절체 후 OS 부팅

 - SNAP 데이터 수집 및 IBM 분석요청

 - 부팅이 되었을 경우 HBA어뎁터 확인

*** HBA Adapter Error Count 확인 ***
# fcstat fcs0

...
Port Speed (supported): 8 GBIT
Port Speed (running):   8 GBIT
Port FC ID: 0x010000
Port Type: Fabric
Attention Type:   Link Up
Topology:  Point to Point or Fabric

Seconds Since Last Reset: 26057681        

        Transmit Statistics     Receive Statistics
        -------------------     ------------------
Frames: 524082100               2103147775      
Words:  419926096896            447265157632    

LIP Count: 0               
NOS Count: 0               
Error Frames:  1               
Dumped Frames: 0               
Link Failure Count: 0               
Loss of Sync Count: 4               
Loss of Signal: 0               
Primitive Seq Protocol Error Count: 0               
Invalid Tx Word Count: 15              
Invalid CRC Count: 1               
...

*** HBA 광량 확인 ***
아래의 URL에서 Tool: Measure RX TX Transceiver Power 메뉴에서 efc_power tool을 다운로드 후 진행

http://ausgsa.ibm.com/projects/d/d29fa/Public_html/IO%20Support%20Site/Fibre%20Channel/FibreChannelHomePage.htm

Steps to run
  1. copy program efc_power into a directory
  2. chmod +x efc_power
  3. ./efc_power /dev/fscsi# (with # is the fcs/fscsi adapter you want to measure)
 
NOTE: the port has to be connected so device drivers can open it. Either with a wrap plug or connected to a switch or target device.
 
TX measurement more negative than -10 dBm is bad. Replace adapter.
TX: measurement of or similar to TX: 0000 -> 0.0000 mW, -INF dBm. Replace the adapter
RX measurement more negative than -10 dBm, cable needs to be checked first, and then check SFP at switch or target device ( if direct-attach).
 
Examples:
 
# efc_power /dev/fscsi0
TX: 0e13 -> 0.3603 mW, -4.43 dBm
RX: 0863 -> 0.2147 mW, -6.68 dBm

 

3. 하드웨어 교체 작업

 - HBA Adapter 및 GBIC 교체

 - 연결된 FC Cable 교체작업

 - SAN스위치 SFP 교체

 

감사합니다.

 

반응형

+ Recent posts