分类目录归档：FAQ

Exadata上的常用工具介绍（Troubleshooting Tools）

发表于 2014 年 3 月 18 日 由 Lunar

Utility Path Usage/Comments Infiniband Some of these tools may be found in /opt/oracle.SupportTools/ibdiagtools on cells or database servers. Also see the  Infiniband Triage wiki page. /opt/oracle.SupportTools/ibdiagtools/infinicheck /opt/oracle.SupportTools/ibdiagtools/verify-topology ibqueryerrors /usr/bin/ibdiagnet Detecting fabric issues /usr/sbin/ibaddr Examining HCA state & guids /usr/sbin/ibcheckerrors Detecting fabric issues … 继续阅读 →

发表在 FAQ, 内部机制, 故障诊断, 日常运维 | 标签为 , , | 留下评论

为Exadata 服务器创建共享文件系统（DBFS）

发表于 2014 年 3 月 17 日 由 Lunar

DBFS是Oracle 11.2的新特性，他提供了在Linux操作系统中将Oracle的ASM数据库映射成文件系统来使用的功能。操作上的文件在DBFS内部是以SecureFiles LOBs（SecureFiles LOB是11.1的新特性，对比与以前的BasicFiles LOBs，Oracle称SecureFiles LOBs为全新设计的LOBs）的形式存储在数据表中。由于篇幅关系，这里不详细描述SecureFiles LOBs了。 其配置过程非常简单，具体参见MOS: Configuring a Database for DBFS on Oracle Database Machine [ID 1191144.1] List of Critical Patches Required For Oracle 11.2 DBFS and DBFS Client [ID 1150157.1] 在Exadata上数据库节点的本地磁盘空间是有限的，因此，在做数据加载时，我们需要想办法使用更大的空间来存放数据（以便后续加载到exadata上的数据库中），通常，DBFS是一个很好的选择。 如果经常使用的话，写一个shell自己动完成所有过程，测试过，也就是几分钟，O(∩_∩)O哈哈~。 下面详细讲解一下配置的过程： 配置DBFS 文件系统 为Exadata 服务器创建共享文件系统（DBFS） … 继续阅读 →

发表在 FAQ, 安装和升级, 日常运维 | 2 条评论

整理了一下以前老blog中的exadata介绍的link，顺便更新下Exadata X4的内容

发表于 2014 年 1 月 7 日 由 Lunar

最近有些小伙伴问起exadata的一些古老问题，这里总结下，顺便根据白皮书小小的更新一下X4的东东（迄今为止，我还没见过X4的真神，O(∩_∩)O哈哈~），期待年后的第一个X4项目中。。。： 最新的Exadata版本 2008年Oracle推出业界第一个全新架构的设计Exadata V1，以满配为例：内存 256G，64Core，没有flashcache 2009年到2010年年底之前，Exadata硬件是V2系列的多，image版本是11.2.2.x比较多，2011年，image版本11.2.2.4.2多（一般都升级上到这个了，相对稳定），第一次在硬件中增加了Flashcache组件，可以提高OLTP的处理能力,V2的硬件，以满配为例：64G内存，576G，内存，Flash容量5.3T 2011年和2012年的主要的exadata硬件是Exadata X2,image主要版本是11.2.3.1.0和11.2.3.1.1增加了磁盘容量（504T），CPU 96core和内存1T 2012年底推出Exadata X3系列，2013年年初随着Exadata X3系列的推出，image升级为11.2.3.2.0和11.2.3.2.1（这个是目前主流的11.2.3.2.x的版本），最显著的软件特征是WBFC(WriteBack FlashCache)。硬件增加了大幅增加了Flashcache的容量（22.4T），以及CPU 128core和内存2T 2013年底，Oracle推出了Exadata X4系列，现在最新的image版本已经是11.2.3.3.0了，最新的硬件是Exadata X4-2，硬件再次升级以满配为例：flashcahe 44.8T，CPU 192 core，内存4T，同时，IB网络的连接方式从Active-Backup到Active-Active（带宽40G/b 升级到 80Gb/b） 软件的更新（image 11.2.3.3.0）： 1，的在1/4 Rack和1/8 Rack的转换，从以前的好几条命令，封装成1一条命令（alter cell eighthRack=TRUE） 2，带有Automatic Flash compression功能（一条命令而已，相同image下，X3跟X4 硬件，命令稍微有点区别，alter cell flashCompress=TRUE和alter cell FlashCacheCompX3Support= TRUE） 3，在线替换磁盘控制器电源（Disk Controller … 继续阅读 →

发表在 FAQ | 标签为 | 留下评论

解除部分exadata上的“强安全策略”

发表于 2013 年 11 月 9 日 由 Lunar

在安装Exadata时，执行onecommand的后面几步ResecureMachine相关的内容后，安全性会得到增强，我们戏称为“强安全步骤”，不同的onecommand版本的step稍有差别，但是可以从deploy脚步的执行步骤的名称中识别出来，例如onecommand p14210449 （对应image 11.2.3.1.1）的如下（其中setp24~setp26）： 在onecommand p16383189（对应 image 11.2.3.2.0，image 11.2.3.2.1的步骤跟这个一样的）中是如下步骤，其中step25~step28是“强安全”： 在执行了上述步骤后，一些客户使用一段时间后对于其中的“强安全”感觉很不方便，希望我们修改其中的部分限制，比如90天必须修改口令等等，下面就类似问题给出解决方案。 本文的方法来自于内部exadata的一个文档，且在多个客户都已经实施过了： 1， 解除口令限制和复杂度： 使用root用户修改/etc/pam.d/system-auth，这是一个password的的入口文件（老一点的linux系统一般用/etc/pam.d/passwd），将其中的”min=disabled,disabled,16,12,8″ ，使用这个规则建立的口令很难被破解，修改为”min=1,1,1,1,1″，大大降低了口令的复杂程度（容易被破解，例如“oracle”，或者exadata上的缺省的welcome等等，都是常用词汇。。。） 然后重置root口令即可（exadata上大部分缺省口令是welcome） 2， 解除90修改口令的限制： 执行下面的命令修改用户口令修改策略： 当然，你需要在所有节点依次执行，exadata上的dcli可以很方便的完成： 然后使用上述用户登录的缺省口令就可以登录了（缺省口令都是welcome） 3， 重新配置各个节点的SSH信任关系（因为执行了ResecureMachine以后，SSH信任关系操作就不可以了）： 也可以参考我之前的一篇blog（其中的脚本在11.2.0.1的除windows平台外的任何一个安装包中都可以找到）： 使用Oracle安装包的ssh配置机器互信 注意： 如果有问题可以参考bug 12389246 4， 解除SSH连接超时的限制： 顺便多说一下，由于某些原因用户可能会出现密码尝试次数过多账号被锁定的问题，具体的设置在/etc/pam.d/system-auth文件，例如，exadata上的： 清除某个用户的登陆失败次数，让改用户可以重新登陆的命令： pam_tally2 -r -u username 例如， 清除 oracle用户的失败登录次数：pam_tally2 -r … 继续阅读 →

发表在 FAQ, 日常运维 | 标签为 | 留下评论

Flashcache WriteBack的常用Metric和event

发表于 2013 年 6 月 30 日 由 Lunar

User guide上列出了全部的Metric，这里只说些一般比较关注的： FC_BY_USED – number of MB cached (total) FC_BY_DIRTY – number of dirty MB cached (data written only to FlashCache but not to disks) GD_BY_FC_DIRTY – number of dirty MB cached for the griddisk CD_BY_FC_DIRTY – number of dirty … 继续阅读 →

发表在 FAQ, POC和性能调整, 体系架构, 硬件配置 | 标签为 , , | 留下评论

Smart Flash Cache on Exadata(4)—使用flash cache

发表于 2013 年 5 月 30 日 由 Lunar

对于表和索引，可以在创建表时使用storage子句将表保存在flashcache中，如果表已经创建完成了，那么可以使用alert table或者alert index命令进行修改相应对象的storage属性，将对象混存在flash cache中。 我做了两张测试表，他们数据的内容基本一直，不过一张是压缩表，一张是非压缩表： 缓存对象到flash cache的语法如下（类似这样对象的IO，我们都称之为 ”Smart Scan I/Os” ）： 取消对象在flash cache的缓存： 一般在POC或者生产上，我们会按照一定的条件（比如过滤掉超大的表或者分区等等）生成符合条件的表或者索引的keep 命令： 例如，使用下面的语句，将生成满足条件的表的缓存语句： 对于已经创建的对象，要修改其CELL_FLASH_CACHE属性，可以使用如下命令： 要知道当前对象的设置，可以查询dba_tables(all_tables, user_tables)或者dba_indexes(all_indexes, user_indexes)的CELL_FLASH_CACHE列： 还可以在cell上使用cellcli工具和命令” LIST FLASHCACHECONTENT”查看： 我们注意到这里cachedKeepSize=0， 表示这个表曾经被cache了，后来执行了类似“alter table XXX STORAGE (CELL_FLASH_CACHE none);”的命令，取消的cache到flash cache的操作。 而上面的objectNumber= 112912没有任何输出，表示这个表没有被缓存过。 通常，POC或者生产上，我们更多的是生成批量查看对象缓存内容的语句： 具体我们看一下” LIST FLASHCACHE DETAIL”和”“ LIST FLASHCACHECONTENT”的官方说明： … 继续阅读 →

发表在 FAQ, 体系架构, 硬件配置 | 标签为 , | 留下评论

Smart Flash Cache on Exadata(3)—Write-back

发表于 2013 年 5 月 29 日 由 Lunar

在Exadata image 11.2.3.2.0以前的版本中，仅支持Write Through模式，该模式的读写流程已经在”Smart Flash Cache on Exadata(2)—Write through“种讨论过了。需要注意的是：这个模式的flash cache在Cellsrv重启之后Flash Cache上的数据变成Invalid，而Write-Back模式则不会，这是他们的工作原理决定的……。 从Image 11.2.3.2.0版本开始，原来仅支持Write Through 模式的Flash Cache现在可以支持Write Back模式了。但是Wtite Back模式不是缺省属性（缺省值还是Write through模式），需要手工修改来启用这个特性。Write Through和Write Back这两个模式之间的切换需要重启Cellsrv服务，否则会报错： 将Smart Flash Cache修改为Write Back模式的具体方法如下： 2.enable Write-back模式 另外，要支持Write Back模式需要以下版本的介质（老版本的cellcli上使用DESCRIBE CELL命令也看不见flashCacheMode这个属性）：  DB Patch for Exadata 11.2.0.3.x BP 9以上  推荐Exadata … 继续阅读 →

发表在 FAQ, 体系架构, 硬件配置 | 标签为 , | 留下评论

Smart Flash Cache on Exadata(2)—Write through

发表于 2013 年 5 月 28 日 由 Lunar

每个Exadata配备的Flash disk，这些flash disk可以创建flash grid disks来存放频繁访问的数据，也可以做成Exadata Smart Flash Cache，然后将频繁访问的数据cache在Exadata Smart Flash Cache。 缺省情况下，Create Cell命令会创建create flash cell disks，然后在这些flash celldisk上创建Exadata Smart Flash Cache。下面是使用onecommand安装过程中创建celldisk和griddisk的步骤，缺省是将flash disk创建为 Exadata Smart Flash Cache（不同版本的onecommand执行情况稍有不同）： 然后创建 flashlog: 然后创建 flashcache: 当然，你可以根据情况创建为FlashDisk(而非Flash Cache): 一般情况下，我们有这样的对比数据（多次测试对比的结果和个人经验值）： Disk的IO： 168块600G的光线盘， 容量大概 100TB， 吞吐量在 25GB/sec，左右 Flash的IO： 56 … 继续阅读 →

发表在 FAQ, 体系架构, 硬件配置 | 标签为 , | 一条评论

Smart Flash Cache on Exadata(1)—介绍

发表于 2013 年 5 月 28 日 由 Lunar

Exadata上的闪存卡是做什么用的呢？ 引用一段白皮书的内容： Exadata智能闪存（Smart Flash Card）自动将频繁访问的数据在PCI闪存中缓存，同时不常访问的数据仍保持在磁盘中。这种方式兼具闪存的高性能与磁盘的大容量和低成本。Exadata智能闪存了解数据库的工作负载，并知道何时避免缓存不被重复利用或不适合缓存的数据。Oracle数据库和Exadata存储允许用户任意指定数据库表、索引和段级别的数据驻留在闪存上。和传统的存储和闪存盘不同的是，表可以驻留在闪存中，且不必将表移动到另外的表空间，文件或卷中。 Exadata系统采用的是最新的 PCI闪存技术而不是闪存盘技术。PCI闪存是将闪存直接部署在高速PCI总线上，代替了部署在缓慢的磁盘控制器和磁盘管理器之后的方式，大大提升了性能。 Exadata上Smart Flash Cache的发展 2009年， Exadata V2开始配置Flash Card(F20)，每个cell配置了384G的闪存，详见V2的白皮书： 具体的硬件信息请参考： http://pts-storage.us.oracle.com 相应的V2的文档请参考： http://docs.oracle.com/cd/E18476_01/index.htm V2上Exadata的Flash Card的配置如下: • Full rack => (14 hosts x 4 F20s) + 2 replacement F20s = 58 F20s • Half rack => … 继续阅读 →

发表在 FAQ, 体系架构, 硬件配置 | 标签为 , | 留下评论