[OPGELOST] Netwerkkaart bonding vraagjes

[Vermeulenova]

Hallo,

Ik ben bezig om twee netwerk aansluitingen met elkaar te verbinden.
Het betreft 2 "Broadcom NetXtreme II BCM5708 1000Base-T" kaarten.
Het is de bedoeling dat we uiteindelijk 2000Base-T krijgen, bij ons is het niet nodig dat het netwerk redundant is.
Nu ben ik een document van 59 bladzijdes aan het door bomen, alleen is het allemaal technisch Engels, en ben ik bij alle
punten niet zeker van of ik het wel helemaal goed begrijpt.

mode=5 / dit is denk ik dat het de juiste is voor bandbreedte/snelheid

Code: [Selecteer]

balance-tlb or 5

Adaptive transmit load balancing: channel bonding that does not require any special switch support.
The outgoing traffic is distributed according to the current load (computed relative to the speed) on
each slave.  Incoming traffic is received by the current slave.  If the receiving slave fails, another
slave takes over the MAC address of the failed receiving slave.

Prerequisite:
Ethtool support in the base drivers for retrieving the speed of each slave.
miimon=100 / standaars is 0, maar een goed startpunt is 100
Begrijp ik het dan goed als het met 100 goed draait, dat ik dan in gefaseerde stap naar 0 mag gaan?
Heeft 0 dan grote voordelen ten opzichten van 100?

Code: [Selecteer]

miimon

Specifies the MII link monitoring frequency in milliseconds. This determines how often the link state of each
slave is inspected for link failures.  A value of zero disables MII link monitoring.  A value of 100 is a good
starting point. The use_carrier option, below, affects how the link state is determined.  See the High Availability
section for additional information.  The default value is 0.
xmit_hash_policy=2 / Standaard staat dit op 2, maar als ik nu verder leest, dan is layer2 de enige policy.
Dan heb het toch geen nut om een andere te kiezen, of zie ik dit verkeert?

Code: [Selecteer]

The default value is layer2.  This option was added in bonding version 2.6.3.  In earlier versions of bonding, this parameter
does not exist, and the layer2 policy is the only policy.  The layer2+3 value was added for bonding version 3.2.2.

[Vermeulenova]

In het netwerk staan alleen maar 1000mbit  machines, binnenkomende verkeer hoeft opzicht niet sneller dan 1000mbit te zijn.
Het verkeer naar buiten is wel handig als dit 2x 2000mbit kan zijn, dit omdat er meerdere gebruikers tegelijkertijd aan de server lurken, en
dat anders de 15k SAS RAID-1 schijven een beetje op hu luie gat liggen.
Mode=5 (Balance-tlb) is dan afdoende?

De switch wat wij hebben staan, zou het in princiepen wel begrijpen, we hebben een redelijke Draytec switch staan (uit mijn hoofd wet ik even niet welk model)

Miimon=100 is me helemaal duidelijk

Volgens mij is de laatste versie van ifenslave 2.6, in de handleiding wordt gesproken over versie 2.6.3 en versie 3.2.2
Ik denk dat we maar layer2 gaan proberen, ik ben ook layer1 met Google tegen gekomen.

[Vermeulenova]

Dus ik hoef geen modprobe.d/bonding.conf meer aan te maken, en interfaces is afdoende?
Geweldig, is weer een flinke verbetering.

Ik heb dit in het interfaces bestand geplakt.

Code: [Selecteer]

# This file describes the network interfaces available on your system
# and how to activate them. For more information, see interfaces(5).

# The loopback network interface
# auto lo
# iface lo inet loopback

# The primary network interface
#auto eth0
# iface eth0 inet dhcp

auto bond0

iface bond0 inet static
address 192.168.0.25
netmask 255.255.255.0
gateway 192.168.0.1
slaves eth0 eth1
bond_mode balance-tlb
bond_miimon 100
bond_downdelay 200
bond_updelay 200Hierna heb ik via "/etc/init.d/networking restart" het netwerk herstart, en het verhaal werkte, alleen had ik het gevoel dat het niet vloeiend was.

In de router heb ik binding gedaan, het mac adres van eth0 is gekoppeld aan IP 192.168.0.25, en eth1 is 192.168.0.26
Is het niet beter om deze 2 IP adressen uit de IP bind list te verwijderen, want bond0 krijgt al een adres uit interfaces.
Of kan het geen kwaad om dit te laten staan?

Ik dacht dat het wel handig was om IP en netmask uit interfaces te verwijderen, en om "iface bond0 inet static" te veranderen
in "iface bond0 inet dhcp"
Alleen ging dit fout, en nu kom ik er van afstand niet meer in 8)
Morgen maar op de server zelf weer terug aanpassen, gelukkig draaien we nog van de oude server, en is deze nieuwe nog in test fase.


[edit 22:22]
Hmm.., ik bedenk me nu dat het aanpassen van "iface bond0 inet static" naar "iface bond0 inet dhcp" misschien niet het probleem is.
Ik heb loopback uitgezet, wat wellicht niet de bedoeling is.

Code: [Selecteer]

# The loopback network interface
# auto lo
# iface lo inet loopback

[Vermeulenova]

Zojuist heb ik "tail -f /var/log/messages" uitgevoerd, maar volgens mij gaat het niet helemaal zo als het de bedoeling is.

Code: [Selecteer]

Dec  4 15:19:17 server kernel: [181340.450182] ADDRCONF(NETDEV_UP): bond0: link is not ready
Dec  4 15:19:19 server kernel: [181341.779600] bnx2: eth0 NIC Copper Link is Up, 100 Mbps full duplex, receive & transmit flow control ON
Dec  4 15:19:19 server kernel: [181341.841319] bonding: bond0: link status up for interface eth0, enabling it in 0 ms.
Dec  4 15:19:19 server kernel: [181341.841324] bonding: bond0: link status definitely up for interface eth0.
Dec  4 15:19:19 server kernel: [181341.841328] bonding: bond0: making interface eth0 the new active one.
Dec  4 15:19:19 server kernel: [181341.841359] bonding: bond0: first active interface up!
Dec  4 15:19:19 server kernel: [181341.842176] ADDRCONF(NETDEV_CHANGE): bond0: link becomes ready
Dec  4 15:19:19 server kernel: [181342.059571] bnx2: eth1 NIC Copper Link is Up, 100 Mbps full duplex, receive & transmit flow control ON
Dec  4 15:19:19 server kernel: [181342.140033] bonding: bond0: link status up for interface eth1, enabling it in 100 ms.
Dec  4 15:19:19 server kernel: [181342.240022] bonding: bond0: link status definitely up for interface eth1.Volgens mij draaien eth0 en eth1 op 100Mbbp in plaats van 1000Mbbp

Code: [Selecteer]

# The loopback network interface
auto lo bond0
iface lo inet loopback

# The primary network interface
iface bond0 inet static
address 192.168.0.25
netmask 255.255.255.0
gateway 192.168.0.1
slaves eth0 eth1
bond_mode balance-tlb
bond_miimon 100
bond_downdelay 200
bond_updelay 200

Overigens zou DHCP gewoon moeten werken, al weet je dan natuurlijk nooit van te voren welk IP adres je krijgt (tenzij je het vast zet natuurlijk)

Als ik "inet static" veranderd in "inet DCHP" dan werkt het op een of andere manier niet meer, maar opzicht hoeft dit geen ramp te zijn.
In de router heb ik het MAC adres gekoppeld met 192.168.0.25 (eth0), 192.168.0.26 heb ik gekoppeld aan de MAC van eth1
Ik dacht dat dit niet goed zal zijn, dus ik had de koppeling van eth1 weg gehaald in de router, maar dan staat alleen maar eth0 in de bonding.
Dus ik heb dit weer terug gezet in de router, maar kan dit niet van invloed zijn van het bovenstaande probleem?

Code: [Selecteer]

System information as of Sat Dec  4 14:25:45 CET 2010

  System load:  0.06              Users logged in:      1
  Usage of /:   9.8% of 31.23GB   IP address for eth0:  192.168.0.25
  Memory usage: 6%                IP address for eth1:  192.168.0.25
  Swap usage:   0%                IP address for bond0: 192.168.0.25
  Processes:    221


[Vermeulenova]

Ik had de server aan een verkeerde switch geplugd, eth0 en eth1 zijn nu beide 1000Mbps.

Even een vraag voor de zekerheid, nu dat dat eth0 en eth1 zijn gebundeld als bond0 in bond_mode 5, is de
download van de server 2000Mbps en de upload 2x 1000Mbps?
Anders gezegd, als 10 gebruikers gaan downloaden van de server dan heeft ieder 200Mbps, en als 10 gebruikers gaan uploaden, dan
gaan er 5 over eth0, en de andere 5 over eth1?

Ik weet dat 200, 1000 en 2000 Mbps enzo allemaal theoretisch factoren zijn, maar plat gezegd, komt het hierop neer?

Voor de rest werkt het allemaal goed, met nog wel een twijfel over de snelheid, is dit op een of andere manier te meten?

Wat ook wel belangrijk is, bedankt voor de hulp, zonder deze hulp was ik nog lang niet zo ver geweest.

[Vermeulenova]

Het is inderdaad niet aan te raden om een IP adres aan een MAC adres te koppel in de router, dit heb ik nu wel ontdekt.
Ik heb de bindingen in de router voor eth0 en eth1 weggehaald, en het was een veel betere resultaat, en ook kan ik nu in een keer wel vanaf thuis op de server komen.

Het netwerk wat hier ligt, is een CAT6 netwerk, en professioneel aan laten leggen, en alle gebruikers hebben een 1GB aansluiting, dus een up- of download kan toch niet hoger zijn dan 1GB.
Waar het mijn omging is als er meerdere gebruikers up- en downloaden naar de server, dan wordt er 2 GB verdeeld over de gebruikers.
Is het dan beter om 2x 1GB met een en dezelfde IP te gebruiken, want als ik het goed begrijpt, dan gaat het per request.
Als er 4 gebruikers de server aanspreken, dan gaan er automatisch 2 over eth0, en 2 over eth1?

[Vermeulenova]

Oke, even resumerend voor toekomstige mensen die ook van bonding gebruik willen maken.

1./ Geen binding gebruiken in de router, of anders gezegd, niet via de router een vast IP adres binden aan het MAC adres van de netwerk kaart.
Dit zorgt alleen maar voor problemen.

2./ Zoals Buzzin schreef: Nieuwe manier van werken, alleen het bestand "/etc/network/interfaces" gebruiken/configureren.

3./ De "The loopback network interface" niet verwijderen van uit je "/etc/network/interfaces" config bestand.

4./ Volgens mijn is het niet raadzaam om je configuratie vanuit de module netwerk in webmin te doen.
Webmin zet er automatisch "broadcast 192.168.0.255" en "network 192.168.0.0" er bij, ik weet niet of dat dit kwaad kan of niet.
Ik geloof niet dat ik er last van had, maar ik heb het wel verwijderd.

5./ Maak voor dat je begin eerst een backup van je "/etc/network/interfaces" config bestand.
sudo cp /etc/network/interfaces /etc/network/interfaces.backup

6./ Installeer "ifenslave"
sudo apt-get install ifenslave-2.6

7./ Pas het "/etc/network/interfaces" config bestand aan.
nano /etc/network/interfaces

Code: [Selecteer]

# The primary network interface
# auto eth0
# iface eth0 inet static
#       address 192.168.0.39
#       netmask 255.255.255.0
#       gateway 192.168.0.1


# The loopback network interface
auto lo
iface lo inet loopback

# The primary network interface
auto bond0
iface bond0 inet static
        address 192.168.0.39
        netmask 255.255.255.0
        gateway 192.168.0.1
        bond_mode 5
        bond_miimon 100
        bond_updelay 200
        bond_downdelay 200
        slaves eth0 eth1Bij "address" moet het IP adres ingegeven worden wat de computer moet krijgen.
Bij "gateway" het gateway adres van je router.
Wil je 3, 4 of meer kaarten bonden, dan maak je van "slaves eth0 eth1" bijvoorbeeld "slaves eth0 eth1 eth2 eth3"

8./ reboot, je kan ook "/etc/init.d/networking restart" doen, maar ik vindt deze oplossing 3x niks.

Thats all,

Dank naar Buzzin S.V.P.  

Op- en/of aanmerkingen op deze post zijn welkom.

[Vermeulenova]

Punt 6 even aangepast.