标签归档：Exadata

使用DUL和ODU抽取Exadata上的oracle数据库（抽取磁盘上的数据文件）

发表于 2015 年 6 月 23 日 由 Lunar

之前研究过dul和odu，发现不能识别磁盘，当时犯了一个错误，因为普通环境（非exadata环境），都是在主机上运行扫描磁盘的工作，因此我之前也在exadata的主机上扫描磁盘，发现不行，具体参见： 在Exadata上，为什么 DUL 和 ODU不能读取ASM数据库的数据，但是Kfed却可以？ 今天在exadata的存储节点（cell节点）上配置了一下，发现dul和odu都可以直接扫描磁盘，以后有exadata上oracle数据库损坏时，请联系我，O(∩_∩)O哈哈 具体测试如下： 这里我使用control+C终止了，因为磁盘太大了，扫描时间太久，上面的信息已经可以证明，至少可以扫描 至于normal external等其他问题，以后再说。 扫描文件具体如下： 这里 IDX_DATA1.dat 就是dul扫描出来的一些信息，之后使用命令抽成文件就依据这些。 再看看ODU： 这里报错是因为cell上磁盘空间很小，稍微一折腾就满了（存放ODU抽取文件的是根，100%了）： 先别急删除，进去看看数据; 可以看到，odu也抽出了数据， 并且，可以看到，已经抽取了几个dbf的数据文件。

发表在 ASM, backup&recovery, DUL ODU, Exadata | 标签为 , , , | 留下评论

在Double-E之间配置基于Infiniband的SDP连接（比如，两个Exadata，或者1个Exadata和1个Exaligic之间）

发表于 2015 年 4 月 27 日 由 Lunar

在Double-E之间（比如，两个Exadata，或者1个Exadata和1个Exaligic之间），我们可以使用IB来连接 比如两个Exadata之间互相做灾备（ADG） 再比如，Exalogic上有大量的空间，即使是1/4配置的Exalogic上也有几十T的容量空闲（没有部署应用的空间）。 有时候我们会见可以购买了Double-E的客户用这个空间来做Exadata上的数据库的ADG。 为了充分利用IB的传输速度块，低延迟和CPU消耗少等优点，Double-E之间的互联，一般建议通过SDP协议访问Exadata上的数据库 文档建议（Exadata X2和X3），Exadata和Exalogic使用8个IB线进行连接（4跟的话也可以，但是没有冗余，一般不建议） Exadata 1/4 rack和Exalogic 1/4 rack上分别都有2个叶IB交换机（半配的会有第三个主IB交换机，从Exadata X3开始，出厂时缺省没有最下的主交换机了） 这4个交换机如下： Exadata-IB1 Exadata–IB2 Exalogic-IB1 Exalogic–IB2 连接方式： Exadata-IB1——-Exalogic–IB2 Exadata-IB1——-Exalogic–IB1 Exadata-IB2——-Exalogic–IB1 Exadata-IB2——-Exalogic–IB2 配置方式具体如下： 1、修改db node上的/etc/infiniband/openib.conf： 2、在/etc/ofed/libsdp.conf中添加： 3、在/etc/modprobe.conf都添加并且reboot节点： 配置Double-E（比如Exadata和ExalogicIB，或者Exadata和Exadata之间的）网络上配置监听： 添加network2（for IB）： 验证添加结果： 添加vip： 检查vip是否可以正常启动： 添加这个IB网络的监听（LISTENER_IB）： 配置tnsnames.ora 修改数据库参数listener_networks： 测试连接，使用oracle用户： 在客户端（Exalogic或者其他需要连接db的主机上），需要配置 如下连接串： … 继续阅读 →

发表在 Exadata, 日常运维 | 标签为 , | 留下评论

Exadata X5 上测试单进程impdp导入数据的效率

发表于 2015 年 4 月 23 日 由 Lunar

=========================================== 单进程，每分钟： 16G（每小时960G） 7分钟，导完LUNAR_P201404_1 请注意下面的过程 parallel=1，表示单进程测试 （只能测试单进程，是因为跟我同事的导出方式有关系，明天测试多进程……） =========================================== 导入过程中进行检测： 可以看到exadata聪明的选择了直接裸盘，没有走Flashcache，每秒钟吞吐量大概460MB左右（一起开始时候会有一个高峰大概有2倍的这个值，猜测是由于分配空间等等） 大概2~3分钟后，存储节点总的吞吐量稳定在每秒钟460MB： =========================================== 测试结果： 在数据库中实测的数据（按照每分钟这个表的增长大小来计算） 单进程，导入速度每分钟： 16G 7分钟，导完LUNAR_P201404_1，该表大概309GB（按照这个测试，每小时大概2.5TB左右） =========================================== =========================================== 注意上面： elapsed 0 00:07:02 也就是说，7分钟导入数据309GB

发表在 POC和性能调整 | 标签为 , | 留下评论

配置Exadata上的万兆模块和测试万兆

发表于 2015 年 4 月 21 日 由 Lunar

Exadata上配置万兆非常简单，就是设置一下网卡，然后绑定即可 根据文档描述，万兆光口对应的接口如下： Exadata Database Machine X5-2的eth4和eth5 不同的机器，可能接口名称不同，可以在机器上看，也可以核对文档来识别。 . （1）Exadata上，有两个光口，是千兆万兆自适应的，但是10Gib模块需要单独购买。 （2）Exadata上，4个电口是百兆，千兆，万兆自适应的 下面的是一个例子： 例如，电口的eth0（用于连接内置的Cisco）： 连接了万兆的eth4： 然后设置一下IP，按照linux上绑定网卡的方法将eth4和eth5绑定即可。 万兆配置好了，测试了一下万兆的效率（还没时间做测试跨机房）： 下载了iperf安装在exadata上： 测试了一下，每秒基本上可以达到7Gb(大概7Gb/8≈700MB/s)：

发表在 Database | 标签为 , , | 留下评论

Exadata上精彩的硬件告警（准确的说，应该是SUN ILOM的）

发表于 2015 年 4 月 21 日 由 Lunar

昨天Exadata上发出了一封靓丽的告警邮件，如下图： 没见过这么漂亮的邮件，清晰的告诉你是什么部件（可惜我还不认识那个大大的就是CPU……汗……） 又惊又喜的傻Lunar以为硬件坏了，高兴的是，SUN的ILOM的告警做的真棒啊 但是奇怪的是才用了没多久啊，而且比较爱惜的，怎么回事？ 后来，在oracle官网搜索这个硬件, 发现是CPU边上的一个部件，貌似PCIe“故障”了。系统组的同事log了SR，等待回复。 晚上回家，按照以往的管理，我也到ILOM上搜索了一下，然后按照官方文档收集了ILOM的snapshot和一些必要信息传到SR上，SR的回复我没看懂： ” 也就是说，33%的可能是是硬件损坏…… 在oracle官网找到如下方法判断，下面的输出是ILOM 3.2以上的输出（老版本的输出本文后面有例子） 收集的信息，跟SR上老外的回复差不多，也是每个部件都有33%的可能性是硬件损坏…… 按照以往的理解，猜测是“先兆损坏”，通常这种情况，工程师可能会把硬件进行一次插拔，如果没问题就算了，如果有问题，可能就是硬件损坏。 于是又到ILOM上检查，什么硬件，根据文档说明和ILOM的指示，大概知道是什么东西了（虽然每个东西长什么样子，我没见过……基本上从毕业后就没有拆过机箱，摸过螺丝的Lunar感觉很无奈……）： . /SYS/MB ————-这个表示是主板 /SYS/MB/P0 ————这个表示是CPU /SYS/MB/RISER2/PCIE2 ———-这个就是文档中说的那个拗口的“PCIe 竖隔板”，2表示槽位2 . 找到硬件工程师问了一下，这个问题是因为我们插入万兆模块的时候，报的告警，不过奇怪的是为什么oracle文档中没有写明“更换万兆模块需要关机？” 行了，知道了不是硬件问题，clear即可，这个文档上有，照做即可： 检查清除结果： 顺便介绍一下老版本的ILOM输出（ILOM 3.2以前）： —举例1： 输出类似 FRU : /SYS/FANBD/FM0，这个就指出了损坏的FRU是具体对应到主机上的哪一个物理组件（full physical path） —“/SYS” 底架（chassis），我理解可能是主机架，就是拆开挡板后，所有东西都插在上面的那个主机箱的含义。 —“FANBD” 风扇模块 （fan … 继续阅读 →

发表在 Database | 标签为 , , , , | 留下评论

oracle数据块如何定位到ASM中？在exadata定位block的思路是什么？

发表于 2014 年 11 月 28 日 由 Lunar

前几天有个朋友提出一个“老问题”，数据库上的block能否对应到EXADATA的block上，我答应做个demo，一直没时间，今天闲了，玩了一下： 对于EXADATA来说，这个需求设计两个问题： 1，数据库的block如何对应到asm中 2，exadata上的block如何对应到cell上的物理盘（griddisk，celldisk都是逻辑概念） 首先创建测试表： create table lunartest as select * from dba_users; –查找里面用户名为LUNAR的ROWID: 记录一下这个表的username=’LUNAR’的数据的rowid，便于验证数据。 然后找到该表的第一个block，也就是segment header，方法至少有3种 1，通过dbms_rowid 2，通过dba_extents 3，通过dba_segments 这里我们随便选一种，找到了该block的位置： 查看当前ASM的AU尺寸和BLOCK尺寸（通常是缺省的，不排除特殊客户自己设定的或者exadata的情况，因此还是找一下）： exadata上使用KEFED的例子可以参考《Exadata上验证ASM磁盘头备份的位置》 我的数据库为8k的数据块（db_block_size），那么计算一下对应到ASM是哪一个extent: lunartest表在DATA DG的asm file 1755上： 如果是exadata，那么输出类似下面的，这里并没有本质区别（区别在通信方式上，后面会讲……）： 根据上面的计算，查找这个表的第一个数据块在哪一个ASM的diskgroup,disk和AU的信息： 如果是exadata环境，那么查询到的信息，对应到这里的/dev/lunarlun02可能就是类似下面的：o/192.168.10.3/DATA_DM01_CD_00_dm01cel01： 这里也就对应到cell01（IP为：192.168.10.3） 具体例子可以参考：Exadata更换硬盘的操作过程和解释 使用dd 我们用dd验证一下数据，： 验证数据：这个LUNARTEST是根据DBA_USERS做的CTAS，因此上面我们有一行测试数据，这里可以找到： 因为是别人的生产库，不能使用bbed等工具瞎折腾，因此，我这里使用UltraEdit查看这个块来验证数据： 可以看到数据是吻合的。至此，上面将oracle的block对应到ASM是没问题的。 另外，如果要想观察asm的具体操作，还可以使用strace，比如 read64(15, … 继续阅读 →

发表在 ASM, 内部机制 | 标签为 , , | 留下评论

exadata巡检报告的模板

发表于 2014 年 7 月 2 日 由 Lunar

最近有几个兄弟要exadata巡检报告的模板，完善了一下，大概200页左右： 由于里面有大量客户的资料，因此暂时设置为需要口令下载的，有需要的兄弟直接联系我 后续如果有机会，将不断更新，加入新的内容，O(∩_∩)O哈哈~ 不过现在没有环境了，有需要的可以跟我联系，我免费检查，这样一举两得，我完善了自己的知识库，朋友们可以完成工作任务，O(∩_∩)O哈哈~ Exadata_HealthCheck_模板下载地址： Exadata_HealthCheck_模板

发表在 日常运维 | 标签为 , , | 10 条评论

Exadata上的进程-Diskmon进程

发表于 2014 年 5 月 24 日 由 Lunar

Master Diskmon是Oracle Clusterware 11.1.0.7版本引入的一个新的进程（主要是为了Exadata Storage Server软件而设计的)，该进程作为缺省安装的一部分随着Oracle Clusterware的安装就存在了。 Master Diskmon主要负责监控cell，并负责跟数据库节点的diskmon进程通信。该进程还参与IO fencing机制和IORM（IO Resource Manager）。 Master Diskmon进程是一个单独的进程，他跟ocssd进程通信，即便是非Exadata环境，该进程也是存在的（只是非Exadata环境，Diskmon进程没有什么作用，后面会解释这个）。 在11.1.0.7中，/bin/sh /etc/init.d/init.cssd 会启动2个diskmon相关进程，即： root 1717 0.0 0.0 6716 1368 ? Ss 11:43 0:07 /bin/sh /etc/init.d/init.cssd fatal <span>root 2799 0.0 0.0 6720 1364 ? S 11:44 0:00 … 继续阅读 →

发表在 FAQ | 标签为 , | 留下评论

Exadata上的Writeback和Writethrouth-4-X3和X4上的Flash Card

发表于 2014 年 5 月 19 日 由 Lunar

从X3开始采用 Flash Accelerator F40 400GB Solid State Memory ，每个cell上有4块F40卡，每个卡上有4个100GB的FDOM（每个F40的容量为4*100GB=400GB），这样，每个cell的总Flash容量为1.6T。可见从容量上已经突飞猛进了。 这里，我们再回来思考上一篇《Exadata上的Writeback和Writethrouth-4-V2和X2上的Flash Card》中提到的一个问题：是否可以将Exadata上的Flash Card作为ASM disk使用？ Exadata上的Writeback和Writethrouth-4-X3和X4上的Flash Card

发表在 FAQ, 体系架构 | 标签为 , , , | 留下评论

Exadata上的Writeback和Writethrouth-3-V2和X2上的Flash Card

发表于 2014 年 5 月 19 日 由 Lunar

从V2和X2的机器上硬件带有4块写缓存功能Sun Flash Accelerator F20 PCIe Card卡，每个F20上有4个FMOD模块，每个FMOD模块是24G（每个F20为24*4=96GB容量）。因此V2和X2的每台存储服务器上可以支持4*96GB=384GB的缓存，如图： Exadata上的Writeback和Writethrouth-3-V2和X2上的Flash Card

发表在 FAQ, 体系架构 | 标签为 , , , | 留下评论