看图说话——Exadata的网络架构

下面两个图是Exadata的Owner Guide中讲解网络链接和部署的。

安装好了Exadata，我们需要熟悉Exadata上都有哪些部件，比如数据库服务器，存储服务器，思科交换机，2个PDU（用于冗余）等等，他们是怎么接到咱们的生成环境的，他们之间是怎么连接的，我们怎么去管理他们。。。

X2-2和X3-2的连接方式：

X2-2的图，X3的图跟这个没有太大差别，只是X3以后没有KVM了，X4以后，少了一个Spine Switch（需要单独购买）。
其他没太大区别（X4的IB绑定有变化，后续会详细解释）。Sun的ILOM做的非常好，实际上很多管理功能，都可以通过ILOM来完成。
比如前面讲的使用ILOM来完成ISO image的Reimage功能，重启节点功能，还有收集信息功能，系统启动时troubleshooting等等。

计算节点上的对外服务部分有两种方式：
1，一种是NET0和NET1绑定作为client，接入到客户的核心网络，提供对外的数据库连接服务。
2，一种是不绑定，那么通常NET1连接到核心网络，提供数据库连接服务，NET2和NET3都作为其他用途，比如他们分别俩接到备份和灾备网络等等。
当然，大部分客户是绑定net0和net1作为bondeth0来对外提供数据库服务用。
X4-2的连接方式：

在网连接上，X2-2和X3-2的连接方法基本没有太大区别。
但是从X4开始，IB不在安装时进行绑定了，而是分别连接到IB1和IB2两个IB交换机上，这是因为从X4开始提供Active-Active的方式，带宽从40Gb/s升级为80Gb/s。
但是如果Double-E级联（比如2个Exadata机柜，或者Exadata跟Exalogic级联），就不能使用这种Active-Active的方式。

除此以外，我们看到，其余部分的连接都基本相同。

从上面的图我们可以看到，exadata上的网络主要分为4大块：
第一部分，是位于最下面的绿色区域的Infiniband网络连接，也就是exadata的内网。
内网主要是数据库服务器和存储服务器通过两个Infiniband交换机连接，能够获得高带宽低延迟带来的高性能。

第二部分，就是蓝色部分的管理网络。
Exadata上所有的部件都有一根线连接到思科交换机上。然后从思科交换机上有一根线接入到客户的管理网络，这样就方便客户管理。
其实就像传统小机+存储的架构一样，小机也都要连接到客户的管理网段的交换机，然后远程维护（比如使用crt，xmanager等等字符或者图形的管理工具维护客户的小机）
exadata上的所有部件也都要让客户可维护和可管理，就是通过各部件连接到思科交换机，然后思科交换机接入到客户的管理网段。
连接到思科交换机的部件有：
（1）在X2上有KVM，因此KVM要连接到思科交换机
（2）然后两个PDU（PDUA , PDUB）分别连接线到思科交换机上，也是为了远程管理。
当然需要管理PDU的时候不多，但是如果安装一些监控软件，比如oracle 的grid control的时候就需要能够连接PDU，因此，我们一般也把PDU接入到思科交换机
（3）在每个数据库服务器和存储服务器上有一个类似于芯片的部件，我们称之为ILOM。
它是一个远程管理的接口，我们通过ILOM可以做所有数据库的维护工作，包括安装，升级，刷机，启动和关闭主机，监控主机启动，关闭过程。。。。。
这个ILOM也要连接到思科交换机，然后客户就通过浏览器的方式管理每一个部件
（4）每一个数据库服务器和存储服务器上的NET0口就是管理口，使用这个端口接入思科交换机
这些部件都通过思科交换机，接入到客户的管理网络，包括客户如果使用EM（即grid control）来管理的话，也是通过管理网段来做的

第三部分，就是红色的客户端获取网络也就是我们说的对外提供数据库服务的网络。
这个网络是每个数据库主机上有2个端口（缺省是千兆，但是可以买万兆模块来启用万兆连接模式），分别是NET1和NET2。
可以bond（大部分采用着各种架构，bond采用backup的方式进行failover，避免单点故障）的方式连接到客户的应用网络。
因此，每个数据库主机上有根线需要连接到客户的应用网络中。
我们可以看到，只有数据库服务器需要接入客户的应用访问网络，这个跟传统架构的小机+存储是没什么区别的

第四部分，是橘黄色的附加网络，这个网络也仅仅在数据库服务器上有，它使用NET3，比如做备份和灾备可以使用这个网络
在X3上，这些端口是都兼容100Mb，1000Mb，10Gb的，缺省标配都是千兆的，你可以根据需求买万兆模块，用在需要的端口上，从而提高连接带宽

这里我们提一下，Infiniband网络和万兆网络在TCPIP层面上没有太大的差别。
也就是说，如果Infiniband网络没有走数据库的rds协议，那么也不会被exadata充分利用的。
所以一般来讲，很多时候，客户提出要使用Exadata上的IB Switch来发挥其多大多大的能力……
其实，客户使用数据库服务器上的万兆模块就足够了，不需要从infiniband上接线到客户的网络
如果要使用Exadata内部的IB交换机，那么客户也配置了IB交换机，O(∩_∩)O哈哈~

客户经常问起的问题：
1，每个数据库上有几根线需要连接到客户的管理网络？

2，每个数据库服务器上有几根选需要连接到客户的应用服务网络？

3，以1/4配置为例，整个一体机上应该至少接触几根线到客户的管理网和应用网络？

下次，我们来说说，级联，Exadata和Exadata级联，或者Exadata和Exalogic级联，O(∩_∩)O哈哈~