标签归档：Exadata

exadata存储节点上的/etc/init.d/cell.d和celladmin

发表于 2014 年 2 月 27 日 由 Lunar

在cell节点上，系统启动时，Oracle 运行 /etc/init.d/cell.d。使用celladmin操作系统用户执行 /etc/init.d/cell.d，运行“alter cell startup services rs”脚本启动Restart 服务。 休眠1秒钟后，这个脚本运行“alter cell startup services all”来启动了所有其他的进程，包括CELLSRV和MS。 在/etc/init.d/cell.d脚本中存在一个检测机制，用以确定是否存在任何故障或不正确的配置。如果存在，Oracle会尝试从最近一次好的状态重新启动。 上述内容，在/etc/init.d/cell.d中相关内容如下： #this is just to make sure that if MS was running then it is down (with/without RS) su celladmin -c “. /etc/profile.d/cell_env.sh; cellcli -e … 继续阅读 →

发表在 内部机制 | 标签为 , , | 留下评论

整理了一下以前老blog中的exadata介绍的link，顺便更新下Exadata X4的内容

发表于 2014 年 1 月 7 日 由 Lunar

最近有些小伙伴问起exadata的一些古老问题，这里总结下，顺便根据白皮书小小的更新一下X4的东东（迄今为止，我还没见过X4的真神，O(∩_∩)O哈哈~），期待年后的第一个X4项目中。。。： 最新的Exadata版本 2008年Oracle推出业界第一个全新架构的设计Exadata V1，以满配为例：内存 256G，64Core，没有flashcache 2009年到2010年年底之前，Exadata硬件是V2系列的多，image版本是11.2.2.x比较多，2011年，image版本11.2.2.4.2多（一般都升级上到这个了，相对稳定），第一次在硬件中增加了Flashcache组件，可以提高OLTP的处理能力,V2的硬件，以满配为例：64G内存，576G，内存，Flash容量5.3T 2011年和2012年的主要的exadata硬件是Exadata X2,image主要版本是11.2.3.1.0和11.2.3.1.1增加了磁盘容量（504T），CPU 96core和内存1T 2012年底推出Exadata X3系列，2013年年初随着Exadata X3系列的推出，image升级为11.2.3.2.0和11.2.3.2.1（这个是目前主流的11.2.3.2.x的版本），最显著的软件特征是WBFC(WriteBack FlashCache)。硬件增加了大幅增加了Flashcache的容量（22.4T），以及CPU 128core和内存2T 2013年底，Oracle推出了Exadata X4系列，现在最新的image版本已经是11.2.3.3.0了，最新的硬件是Exadata X4-2，硬件再次升级以满配为例：flashcahe 44.8T，CPU 192 core，内存4T，同时，IB网络的连接方式从Active-Backup到Active-Active（带宽40G/b 升级到 80Gb/b） 软件的更新（image 11.2.3.3.0）： 1，的在1/4 Rack和1/8 Rack的转换，从以前的好几条命令，封装成1一条命令（alter cell eighthRack=TRUE） 2，带有Automatic Flash compression功能（一条命令而已，相同image下，X3跟X4 硬件，命令稍微有点区别，alter cell flashCompress=TRUE和alter cell FlashCacheCompX3Support= TRUE） 3，在线替换磁盘控制器电源（Disk Controller … 继续阅读 →

发表在 FAQ | 标签为 | 留下评论

exadata HC-检查是否有硬盘需要更换

发表于 2013 年 11 月 24 日 由 Lunar

在做exadata的检查的时候，我们通常收集如下信息： 1，exachk 2，sundiag 3，diagcollect（GI版本从11.2.0.4.x开始， 可以使用TFA Collector） 4，awr 5，db节点和cell节点的alert 6，osw 根据上述检查内容是否存在异常可能还需要 CheckHWnFWProfile等等。。。。 本文主要分析如何识别磁盘损坏的内容。 ++++++++++++++++++++++++++查看cell 的alert，检查是否有磁盘需要更换的信息： 检查cell的alert告警信息： dcli -g cell_group -l root “cellcli -e list alerthistory” 查看关键内容： 例如： +++++++++++++++++++++++++++看sundiag的信息： 收集sundiag信息后，你会发现，每个db节点和cell节点的文件非常多，包括RAID，HCA, Infiniband，。。。等等 例如： 针对磁盘损坏信息，主要检查如下内容： —————–检查坏盘： ———————检查报告了“先兆失效”的盘： ———-检查告警的磁盘信息： 使用cellcli查看磁盘的错误信息： 检查ASM的日志是否有类似如下的告警： 1. WARNING: failed to … 继续阅读 →

发表在 日常运维 | 标签为 , , | 留下评论

如何看待exadata的cell节点出现的writethrough/wirteback模式更换或者控制器充放电信息

发表于 2013 年 11 月 24 日 由 Lunar

Exadata使用的是LSI的disk driver，在定期进行的HC中，如果cell上出现类似下面的信息，需要考虑是否需要更换或者bug： 这个信息意味着disk controller写cache的策略从”write-back” 更改为 “write-through” 了，原因是电池学习周期（battery learn cycle）正在进行。 这个学习周期一年回周期性的执行4次，这个操作主要是每次执行一次控制器电池的充电和放电（discharge and charge）操作。 在Image 11.2.1.3之前，每个月执行一次 从Image 11.2.1.3开始，每3个月执行一次： 每年的1月/4月/7月/10月 的17日凌晨2点 这个缺省的时间(下一次学习的时间)可以使用命令修改，例如： cellcli> alter cell bbuLearnCycleTime=”2013-01-22T02:00:00-08:00″ Oracle推荐所有cell磁盘的电源学习周期是同一个时间。 众所周知，Write-through 的性能比 write-back 差。但是当存储crash或者电源丢失（looses power）发生时，write back有丢数据的风险。 因此，在电池学习周期中，会自动将写策略从写回模式（write-back）修改为写模式（Write-through） 如果在cell 的alert上看到类似下面的信息： 需要连接到cell节点，查看一下电池充电的百分比： 当充电完成后，可以在cell的alert上看到如下信息： 连接到cell节点，查看磁盘的写模式（writethrough/writeback）的状态，可以发现： 同样在 上面信息显示了10月17日凌晨:02:00cell01上有一个逻辑盘开始学习，完成时间是10月17日早上7:33。充电完成后，磁盘驱动器已经改回了writeback模式。 通常电池充电（Learning state）可能需要几个小时，如果充电完成后没有自动改回wirteback模式，可能是控制器电源出现问题，需要联系support … 继续阅读 →

发表在 体系架构, 安装和升级, 硬件配置 | 标签为 , , , | 留下评论

解除部分exadata上的“强安全策略”

发表于 2013 年 11 月 9 日 由 Lunar

在安装Exadata时，执行onecommand的后面几步ResecureMachine相关的内容后，安全性会得到增强，我们戏称为“强安全步骤”，不同的onecommand版本的step稍有差别，但是可以从deploy脚步的执行步骤的名称中识别出来，例如onecommand p14210449 （对应image 11.2.3.1.1）的如下（其中setp24~setp26）： 在onecommand p16383189（对应 image 11.2.3.2.0，image 11.2.3.2.1的步骤跟这个一样的）中是如下步骤，其中step25~step28是“强安全”： 在执行了上述步骤后，一些客户使用一段时间后对于其中的“强安全”感觉很不方便，希望我们修改其中的部分限制，比如90天必须修改口令等等，下面就类似问题给出解决方案。 本文的方法来自于内部exadata的一个文档，且在多个客户都已经实施过了： 1， 解除口令限制和复杂度： 使用root用户修改/etc/pam.d/system-auth，这是一个password的的入口文件（老一点的linux系统一般用/etc/pam.d/passwd），将其中的”min=disabled,disabled,16,12,8″ ，使用这个规则建立的口令很难被破解，修改为”min=1,1,1,1,1″，大大降低了口令的复杂程度（容易被破解，例如“oracle”，或者exadata上的缺省的welcome等等，都是常用词汇。。。） 然后重置root口令即可（exadata上大部分缺省口令是welcome） 2， 解除90修改口令的限制： 执行下面的命令修改用户口令修改策略： 当然，你需要在所有节点依次执行，exadata上的dcli可以很方便的完成： 然后使用上述用户登录的缺省口令就可以登录了（缺省口令都是welcome） 3， 重新配置各个节点的SSH信任关系（因为执行了ResecureMachine以后，SSH信任关系操作就不可以了）： 也可以参考我之前的一篇blog（其中的脚本在11.2.0.1的除windows平台外的任何一个安装包中都可以找到）： 使用Oracle安装包的ssh配置机器互信 注意： 如果有问题可以参考bug 12389246 4， 解除SSH连接超时的限制： 顺便多说一下，由于某些原因用户可能会出现密码尝试次数过多账号被锁定的问题，具体的设置在/etc/pam.d/system-auth文件，例如，exadata上的： 清除某个用户的登陆失败次数，让改用户可以重新登陆的命令： pam_tally2 -r -u username 例如， 清除 oracle用户的失败登录次数：pam_tally2 -r … 继续阅读 →

发表在 FAQ, 日常运维 | 标签为 | 留下评论

Flashcache WriteBack的常用Metric和event

发表于 2013 年 6 月 30 日 由 Lunar

User guide上列出了全部的Metric，这里只说些一般比较关注的： FC_BY_USED – number of MB cached (total) FC_BY_DIRTY – number of dirty MB cached (data written only to FlashCache but not to disks) GD_BY_FC_DIRTY – number of dirty MB cached for the griddisk CD_BY_FC_DIRTY – number of dirty … 继续阅读 →

发表在 FAQ, POC和性能调整, 体系架构, 硬件配置 | 标签为 , , | 留下评论

关于Exadata的万兆网的配置初级篇

发表于 2013 年 6 月 29 日 由 Lunar

今天忽然好多人问起来万兆模块的事情，微博上写不下，我放在这里。 首先，万兆模块通常的作用有两个： 1，作为备份和灾备的网络，高效快速。有人问为啥不用Infiniband，那个说来话长，用不用都可以，关键看客户的整体架构，从技术上没啥不行的，直接插一根线到IB switch就行了………… 2，作为public ip，用于client的访问，比如地台eth1和eth0，做绑定，这个有N个文档都说了，比如owner guide，还比如MOS等等，这里不赘述，只是一点稍微嘱咐下，如果是初始配置，那么只要按部就班的用onecommand就搞定，如果是后面更改，除了考虑物理的网络连线，客户的交换机是否有万兆模块或者支持万兆，还要考虑软件本身的因素，其实配置好了以后（如果需要可以做绑定，也可以不绑定，根据客户需要），就是参考mos的文档做更改public ip和vip，scan ip等的设置。 在补充一句，在每个Exadata自带的机器上有document文档，其中owner guide上“Changing from 1 GbE Connections to 10 GbE Connections”是专门的一个章节，写的非常详细。 具体就是如下的配置文件，配置万兆使用命令: ethtool [root@dm01db01 ~]# dcli -l root -g dbs_group “ethtool eth4” dm01db01: Settings for eth4: dm01db01: Supported ports: [ FIBRE ] … 继续阅读 →

发表在 安装和升级, 硬件配置 | 标签为 , | 留下评论

Exadata X2的硬件配置清单

发表于 2013 年 6 月 19 日 由 Lunar

最近询问是否可以山寨XD的有不少人了，特别是客户关心的是过了1年的质保，怎么办？ 比如一个FULL RACK，如果续服务费，list的22%，你懂的………… 今天刚发现，这里有个SUN服务器海外渠道 http://sunmicrosystems.taobao.com/ ：具体什么情况，真心未知，o(∩_∩)o 哈哈 下面是X2的硬件清单，具体还可以参考ORACLE 官网的白皮书和机器自带的文档，文档位置： http://blog.csdn.net/lunar2000/article/details/7881896 别的不担心，这东西越来越觉得可以山寨（readme中有明确方法告诉你跳过硬件检测的参数），但是估计法律风险很大，慎重…… 计算节点： 存储节点

发表在 硬件配置 | 标签为 , | 留下评论

Smart Flash Cache on Exadata(4)—使用flash cache

发表于 2013 年 5 月 30 日 由 Lunar

对于表和索引，可以在创建表时使用storage子句将表保存在flashcache中，如果表已经创建完成了，那么可以使用alert table或者alert index命令进行修改相应对象的storage属性，将对象混存在flash cache中。 我做了两张测试表，他们数据的内容基本一直，不过一张是压缩表，一张是非压缩表： 缓存对象到flash cache的语法如下（类似这样对象的IO，我们都称之为 ”Smart Scan I/Os” ）： 取消对象在flash cache的缓存： 一般在POC或者生产上，我们会按照一定的条件（比如过滤掉超大的表或者分区等等）生成符合条件的表或者索引的keep 命令： 例如，使用下面的语句，将生成满足条件的表的缓存语句： 对于已经创建的对象，要修改其CELL_FLASH_CACHE属性，可以使用如下命令： 要知道当前对象的设置，可以查询dba_tables(all_tables, user_tables)或者dba_indexes(all_indexes, user_indexes)的CELL_FLASH_CACHE列： 还可以在cell上使用cellcli工具和命令” LIST FLASHCACHECONTENT”查看： 我们注意到这里cachedKeepSize=0， 表示这个表曾经被cache了，后来执行了类似“alter table XXX STORAGE (CELL_FLASH_CACHE none);”的命令，取消的cache到flash cache的操作。 而上面的objectNumber= 112912没有任何输出，表示这个表没有被缓存过。 通常，POC或者生产上，我们更多的是生成批量查看对象缓存内容的语句： 具体我们看一下” LIST FLASHCACHE DETAIL”和”“ LIST FLASHCACHECONTENT”的官方说明： … 继续阅读 →

发表在 FAQ, 体系架构, 硬件配置 | 标签为 , | 留下评论

Smart Flash Cache on Exadata(3)—Write-back

发表于 2013 年 5 月 29 日 由 Lunar

在Exadata image 11.2.3.2.0以前的版本中，仅支持Write Through模式，该模式的读写流程已经在”Smart Flash Cache on Exadata(2)—Write through“种讨论过了。需要注意的是：这个模式的flash cache在Cellsrv重启之后Flash Cache上的数据变成Invalid，而Write-Back模式则不会，这是他们的工作原理决定的……。 从Image 11.2.3.2.0版本开始，原来仅支持Write Through 模式的Flash Cache现在可以支持Write Back模式了。但是Wtite Back模式不是缺省属性（缺省值还是Write through模式），需要手工修改来启用这个特性。Write Through和Write Back这两个模式之间的切换需要重启Cellsrv服务，否则会报错： 将Smart Flash Cache修改为Write Back模式的具体方法如下： 2.enable Write-back模式 另外，要支持Write Back模式需要以下版本的介质（老版本的cellcli上使用DESCRIBE CELL命令也看不见flashCacheMode这个属性）：  DB Patch for Exadata 11.2.0.3.x BP 9以上  推荐Exadata … 继续阅读 →

发表在 FAQ, 体系架构, 硬件配置 | 标签为 , | 留下评论