ASR 9000 Hardware yapısı

Tam olarak notları toparlamadım!

ASR-9000 IOS-XR hardware Architecture, QOS, EVC, IOS-XR Configuration and Troubleshooting

Cisco ASR 9000 Architecture

Cisco ASR 9000 System Architecture (Yeni)
Cisco Community Tech-Talk Series ASR9k Life of a Packet and Troubleshooting Packet Loss
sunumlarını incelerken aldığım notlar. Yanlış bilgiler olabilir, tekrar kontrol edilmesi gerekiyor!

Ayrıca Anatomy of Internet Router okunması veya ciscolive üzerinden izlenmesi ön bilgi açısından yararlıdır.

Genel yapısı, RSP ve interface kartlarından oluşur. RSP’de switch fabric ve RP vardır, kartlar arası data iletimini sağlar, control ve management plane işlevlerini yerine getirir. Herhangi bir forwarding engine işlevinden sorumlu değildir. Forwarding işlevleri kartlar üzerinde yerine getirilir. 2.Nesil interface kartlarında kendi switch fabric’leri bulunur.

3 Adet RSP var. RSP2 ilk versiyon, ikinci ve yenisi RSP-440. Ayrıca ASR 9922 kullandığı RSP-9922-RP. RSP-440 ve RSP-9922-RP’da x86 CPU kullanışmıştır ve IOS XR ismi veya pie isimleri PX ile başlar. RSP2 ise sadece P kullanılır.  Artık böyle bir fark yok.

Şu an için iki farklı ethernet kartı vardır. Eski tip, trident, genegaration 1 ve yeni typhoon, generation 2. Genel olarak farkları, yeni nesil kartların kendi ASIC’leri bulunur (ve bridge asic bulunmaz) ve RSP ile olan bağlantı hızları, bağlantı başına 55G’dir (Eski kartların hızı 23G). Eski nesil kartların bazılarıda oversubscribtion için üzeritilmişlerdir ( tek NP’leri vardır). 16T/8, 8T/4 gibi 2:1 oranında bir oversubs vardır. Ayrıca TCAM tablosunun kullanımındada farklar vardır. Trident kartlarda TCAM MAC ve FIB için ortak kullanılır. Typhoon’da ise TCAM ikiye ayrılmıştır.

Yeni nesil RSP ve ethernet kartları daha fazla performans ve bw sunarlar. Ayrıca sync-e ve 1588 , BFD gibi özelliklerdede farklı vardır. 1588 ve sync-e için yeni nesil kartlar kullanılmalıdır.

Yeni nesil veya eski nesil kartlarında versiyonları bulunmaktadır. Eski nesil için L/B/E yeni nesil için TR/SE. Temel farkları hafıza miktarlarıdır. SE kartların hafızaları dolayısı ile performansları (kullanlan özellik seviyesinde) daha fazladır. Daha fazla queue, buffer, subinterface etc. Dolayısı ile daha fazla özelliğe ihtiyaç duyulan müşeri inteface için uygundurlar.

İki tip kart ve iki tip RSP’de karışık olarak kullanılabilir. Eğer RSP440 eski nesil kart algılar ise bağlantı hızını 23G çeker. Yeni tip kartda RSP2 algılar ise hızını 23G çeker. Hız ayarlaması sonucunda buffering sorun olmaz (düşük hız ile paket göndermek). Her line card, çıkış line kartına göre ayrı bir sıraya paketleri koyar dolayısı ile mix çalışmayı destekler.

Genel mimari olarak, 3 aşamalı ASIC kullanımı vardır. Giriş ve çıkış Line card üzerinde ve 1 adet’de RSP üzerinde. Paket’de bu yolu izler, local switching olsa bile. Yani aynı line cardın bağlı bir int girip, aynı line cardın farklı bir inteface’inden çıksa bile RSP üzerinden geçer. Dolayısı ile standart bir data-path vardır.

ASR 9000 Packet Forwarding
ASR 9000 Packet Forwarding

Line cardlar ise genel olarak, fiziksel inteface ve onun bağlı olduğu NP, NP’nin bağlı olduğu FIA’dan oluşur. INT->NP->FIA->Switch Fabric(typhoon). Her line card iki adet fabric path bağlantısı ile RSP ASIC’ine bağlıdır. Eski tip, trident kartlarda kendi switch fabricleri bulunmaz. RSP ile olan bağlantı hızları 23G’dir.

Sabit interface cardlara  (24X10G, 2X100G) gibi alternatif olarak mod80 (80G) ve mod160 (160G) gibi içersine istenilen MPA eklenebildiği bir yapıda tercih edilebilir. Bu şekilde farklı inteface kombinasyonlarıda yapılabilir ve daha esnek bir yapı kullanılmış olur.

Kapasite hesaplamasında RSP active/active çalıştığı unutulmamalıdır. Örnek olarak yeni tip bir RSP kartının 4 adet RSP bağlantısı vardır. Bu durumda hızı 4X55=220G olur. Eğer iki adet RSP kullanılsa idi durum 8X55G=440G olacakdı (Slot başına).

Bir başka konu ise intefacelerinde veya slotların NP olan bağlantı sayısıdır. Her NP’nin kapasitesi 45Mpps’dir. Örnek olarak;

ASR 9000 24X10GE LC Architecture
ASR 9000 24X10GE LC Architecture

24X10G line car’da 3X10G inteface 3 adet bağlantı ile NP bağlıdır. Bu NP hızı tek yönlü 60G, çift yönlü 120G ve tek yönlü 45Million packet per second (90 çift yönlü) destekler. Dolayısı ile port başına 45/3=15Mpps destekler.

ASR 9000 36X10GE LC Architecture
ASR 9000 36X10GE LC Architecture

6X10G interface 6 adet bağlantı ile NP bağlıdır.  NP hızı yine yanıdır. İki kart arasında 36X10’de NP başına bağlantı 6 adetdir. Dolayısı ile çok fazla packet switch edilen (paketler küçük ise daha fazla yük) 24X10G daha performanslı çalışacakdır. 45/3 inteface diğeri 45/6 inteface.

Mod80 ve Mod160 arasında benzer bir performans farkı vardır. Mod80’de her bir bay bir NP bağlı iken, mod160 iki adet NP vardır. Mod 160 daha performanslı (inteface başına daha fazla NP).

ASR 9000 MOD80 Architecture
ASR 9000 MOD80 Architecture

MOD80’de her bir slot’un kapasitesi bağlı olduğu NP kapasitesi kadardır. Dolayısı ile maksimum 60G destekler. 8X10G kartı MOD80 bir slot’una sokulamaz. Sistem oversubsc ile çalışmaz. Dolayısı ile bazı kartlar kapasite açısından sadece MOD160 ile çalışabilir.

ASR 9000 MOD160 Architecture
ASR 9000 MOD160 Architecture
ASR 9000 MOD80/160 Efficiency
ASR 9000 MOD80/160 Efficiency

Slotların bağlantısıda yukarıdaki şekilde gösterildiği gibi, daha verimli bir bağlantı yapısı sağlayarak sistemden maksimum performans alınabilir.

 

Load Balancing on Fabric : Unicast and Multicast packets are load balanced in a different way. Unicast traffic is sent across the first available fabric link to the destination (maximizing efficiency). Genel olarak round robin. Bu durumda aslında egress’de sequencing sorunları ortaya çıkarır. Egress tarafda bir re-seq yapılması gerekir ki buda nano sn seviyesinde gecikme içerir. Each frame contains sequencing information and all destination FIAs have re-sequencing logic. Ayrıca unicast paketler superframe şeklinde guruplanarak yollanır. Bu superframe oluşturma işlemindede tabi ki bazı kısıtlarvardır. Makisumum 32 paket guruplanır, belli bir süre sonunda superframe yollanır (pazla gecikme yapmamak için),jumborframe anında yollanır vb gibi.

ASR 9000 Unicast Paket Flow
ASR 9000 Unicast Paket Flow

Aşağıdaki şekilde görüleceği gibi her bir FIA -> Switch Fabric link counterları görülebilir (bu counterlar superframe sayısını göstermektedir). Çıktıdan RSP-1 olduğu anlaşılır zira sadece iki adet switch fabric bağlantısı var. Xbar0 ve Xbar1.

ASR 9000 Fabric Path Counters
ASR 9000 Fabric Path Counters

Multicast traffic is hashed based on (S,G) info to maintain flow integrity. So for one (S,G) entry all the packets will take a particular fabric link.

FIA’dan Fabric path’e paket yollanırken, çıkış/egress yönünde bir sıra mantığı virtual putput queue ile gönderir. Bu sırada iki adet öncelik Priority ve iki adet normal sınıf bulunmaktadır.

There are four priority levels and four physical XBAR links. Now the confusion is that, fia egress drop stats are per priority, while fia ingress drop stats are per XBAR link.
The fia egress drop stats, Tail, Hard, WRED, (offsets 0-3) represent fabric priority stats and correspond as…

0 – high priority level 1 1 – high priority level 2 2 – low priority
3 – not used (asr9k)

The fia ingress drop stats offsets (0-3) represent XBAR link stats and correspond as…

0-1 XBAR links to RSP0 (Trident+RSP2)
2-3 XBAR links to RSP1 (Trident+RSP2)
On Typhoon cards the FIA links with 2 links to the local fabric. The local fabric connects with 8x55G links to the RSP fabric

ASR 9000 Unicast Paket Flow
ASR 9000 Unicast Paket Flow

 

ASR 9000 Fabric Drop Counters - Ingress
ASR 9000 Fabric Drop Counters – Ingress
ASR 9000 Fabric Drop Counters - Egress
ASR 9000 Fabric Drop Counters – Egress

Typhoon, ikinci nesil, kartlarda Switch fabric line card üzerinde olduğu için FIA ve internal switch fabric arasında benzer bir işlem vardır.

ASR 9000 Fabric Drop Counters - Typhoon

 

Yararlı bağlantılar :

  • •  Cisco Support Community XR OR and Platforms https://supportforums.cisco.com/community/netpro/service-providers/ios-xr_
  • •  ASR9000/XR Feature Order of operation
  • •  ASR9000/XR Frequency Synchronization
  • •  ASR9000/XR: Understanding SNMP and troubleshooting
  • •  Cisco BGP Dynamic Route Leaking feature Interaction with Juniper
  • •  ASR9000/XR: Cluster nV-Edge guide
  • •  Using COA, Change of Authorization for Access and BNG platforms
  • •  ASR9000/XR: Local Packet Transport Services (LPTS) CoPP
  • •  ASR9000/XR: How to capture dropped or lost packets
  • •  ASR9000/XR Understanding Turboboot and initial System bring up
  • •  ASR9000/XR: The concept of a SMU and managing them
  • •  ASR9000/XR Using MST-AG (MST Access Gateway), MST and VPLS
  • •  ASR9000/XR: Loadbalancing architecture and characteristics
  • •  ASR9000/XR Netflow Architecture and overview
  • •  ASR9000 Understanding the BNG configuration (a walkthrough)
  • •  ASR9000/XR NP counters explained for up to XR4.2.1
  • •  ASR9000/XR Understanding Route scale
  • •  ASR9000/XR Understanding DHCP relay and forwarding broadcasts
  • •  ASR9000/XR: BNG deployment guide
    • •  ASR9000/XR: Understanding and using RPL (Route Policy Language)
    • •  ASR9000/XR What is the difference between the -p- and -px- files ?
    • •  ASR9000/XR: Migrating from IOS to IOS-XR a starting guide
    • •  ASR9000 Monitoring Power Supply Information via SNMP
    • •  ASR9000 BNG Training guide setting up PPPoE and IPoE sessions
    • •  ASR9000 BNG debugging PPPoE sessions
    • •  ASR9000/XR : Drops for unrecognized upper-level protocol error
    • •  ASR9000/XR : Understanding ethernet filter strict
    • •  ASR9000/XR Flexible VLAN matching, EVC, VLAN-Tag rewriting, IRB/BVI and defining L2 services
    • •  ASR9000/XR: How to use Port Spanning or Port Mirroring
    • •  ASR9000/XR Using Task groups and understanding Priv levels and authorization
    • •  ASR9000/XR: How to reset a lost password (password recovery on IOS-XR)
    • •  ASR9000/XR: How is CDP handled in L2 and L3 scenarios
    • •  ASR9000/XR : Understanding SSRP Session State Redundancy Protocol for IC-SSO
    • •  ASR9000/XR: Understanding MTU calculations
    • •  ASR9000/XR: Troubleshooting packet drops and understanding NP drop counters
    • •  Using Embedded Event Manager (EEM) in IOS-XR for the ASR9000 to simulate ECMP “min-links”
    • •  XR: ASR9000 MST interop with IOS/7600: VLAN pruning