1. 主要负责ORACLE、MYSQL数据库设计开发工作,具体包括数据表结构的规划设计和功能程序开发(利用触发器、存储过程处理业务逻辑),高低频数据处理,数据清洗、转换、迁移工作,利用火车浏览器、C#程序从网站抓取采集和处理股票、期货、基金、债券等金融数据,以及数据录入系统平台的程序开发(包括对R程序的调试)等; 2. 利用POWER CENTER工具实现将源数据ETL到目标数据; 3. 另外还包括数据库的优化、监测等内容。
1. 负责SQL SERVER数据库的程序开发、数据库结构设计、优化、监控、维护、备份、还原以及数据复制发布,存储过程的编写工作,了解集群的应用; 2. 使用(vs2010)C#、.net程序开发数据统计平台。并参与Oracle和MySql数据库设计和编写存储过程工作,以及mongodb数据库的日常使用!协助应用程序的在windows\linux系统下和tomcat环境下的部署等; 3. 带领数据部成员,清洗数据、迁移数据(mysql与sql server及mongodb等不同数据库间数据迁移)、完成数据分析统计工作,出具领导需要的各种管理报表,以及完成与客户数据结算核对工作等; 4. 指导合作方程序对接,技术支持和数据核对。
1. 负责SQL Server DBA工作,进行基金股票数据挖掘,归纳整理基金的原始数据,完成基金相关衍生数据的计算,具体包括单只基金数据分析,多角度统计基金收益,计算基金指数等内容,并为用户提供基金组合建议,出具构建、诊断和调整报告; 2. 期间还参与过公司网站程序的编写工作,公司内部管理使用软件开发,并负责文档的整理等工作; 3. 能熟练使用SQL SERVER数据库存储过程、触发器和事务等相关技术,实现多服务器之间数据同步。
1. 从事大型数据库(SQL SERVER和ORACLE)的设计和管理,编写相关的视图和存储过程; 2. 从事客户应用系统的初始化工作和相应的技术支持; 3. 利用SEAGATE CRYSTAL REPORT从事应用系统的销售报表和财务报表的设计和制作; 4. 制作WEB页面,编写ASP脚本; 5. 客户需求分析和技术支持; 6. 除了能熟练使用OFFICE办公软件外,主要使用过的软件有: VB、Cystal Report、SQL Server、Oracle、Relation Rose、Power Designer、Wise installer、Help writer等; 7. 使用过的技术: JavaScript、HTML、CSS、XML、asp、.net等。
责任描述(本人负责): 1. 将数据放到hive中进行离线分析; 2. 根据业务的要求对hive优化以及Zookeepe分布式协调的调试; 3. 根据业务的不同利用spark进行清洗、计算和分析操作; 4. 根据项目需求配合运维工程师搭建相应hadoop组件; 项目简介: 1. 利用mr进行清洗,降噪、去重等操作; 2. 根据业务在hive中建表,将数据导入并做具体分析; 3. 利用hive的HQL进行分析(页面浏览量,独立访问者,页面停留时间 按钮点击次数等 ); 4. 根据用户信息表中的页面浏览次数,景点点击次数等字段统计用户感兴趣的景区; 5. 然后分析出top 10的景区,给用户做推荐; 数据来源:百度数据,去哪儿网数据,携程网数据... (爬网)web日志,交易记录,反馈数据,交易数据 系统结构: 1. 采集层: 2. 对来自于网络的数据,例如:百度数据,去哪儿网数据等爬虫数据,还有就是本地数据,订单数据,web日志,交易记录,反馈数据的收集; 3. 汇聚层: 4. 爬虫数据投递到Mysql数据库中,然后将数据导入到hive中,web端的数据直接放到kafka中统一处理,部分数据做实时分析,部分数据做离线分析; 5. 清洗和计算层: 6. 从web服务端抽取自己所需的数据,将抽取的数据中一部分需要实时分析的热点数据经过spark streaming分析后将其放入HBase中,并及时反馈数据给前端,另一部分数据导入到hive中,用hive进行数据的分析、挖掘等; 7. 业务层: 我们将数据进行一系列的转化后,spark streaming分析的结果导入到HBase中进行一个备份,hive分析结果导入到MySQL中去做业务的展示。
1. 参与项目的设计,实施方案的讨论,项目进度评估; 2. 参与公司的大数据基础平台架构的设计和搭建; 3. 参加公司的晨会,例会,常规的技术研讨会议; 4. 负责数据的采集、清洗和存储等工作; 5. 编写程序,完成需求统计和分析; 6. 集群的日常维护和优化,Bug修复等工作; 7. 与业务人员、客户进行日常的沟通; 带领公司新人熟悉工作环境和业务流程。
1. 利用数据库工具datastage对数据进行ETL加工; 2. 根据产品需求书分析并设计报表的框架结构; 3. 分析需求之后根据咨询公司和监管要求开发报表的后台处理代码; 4. 后台代码完成后的数据需要与前端工程师对接,利用oracle BIEE开发报表界面,前端系统链接到报表界面; 5. 程序开发完成后,配合咨询方和客户进行单元测试级UAT测试; 配合整个项目组的上线准备,包括备份、漏洞检测及交付文档的编写。
1. 负责一级VGOP系统的ORALCE数据库维护; 2. 日常巡检数据库,重建失效索引,重新编译失效的存储过程、函数、视图等失效的数据库对象; 3. 负责对数据进行备份,并根据业务需求恢复数据,删除无用历史数据,节约存储; 4. 监控表空间使用率,制定方案,保证数据能够正常录入; 5. 根据业务需求管理存储并提供存储给业务人员; 6. 管理用户权限,解决其他组人员在使用数据库时遇到的问题; 7. sql优化。
1. 负责华能集团综合统计系统的日常运维,处理电厂填报遇到的问题,确保系统正常运作以及数据的正常录入和处理,维护后台数据表; 2. 根据华能集团营销部提出的新需求在系统原有的基础上增加模块,开发报表; 3. 负责国电集团营销管控系统的开发,整理客户需求,根据客户需求增加模块,建立后台数据表,开发报表; 4. 迁移华能集团综合统计的填报数据,从Oracle数据库迁移到HANA,在HANA数据库中进行数据处理,将处理好的数据与原先的系统汇总数据进行对比,确保数据误差在可控范围内。
1. 执行部门的售后服务流程和工作规范; 2. 负责数据库设计文档包含数据表的定义、ER图的绘制与数据关系图以及数据库代码的编写; 3. 负责公司产品及系统的实施工作; 4. 参与其他相关业务的技术讨论与方案制定; 5. 负责系统实施、维护过程中产生的技术资料收集和整理; 6. 项目实施报告。
一、 基于aos平台ERP A6 6.0 Aisino ERP A6是以“财务互联,实时管理”为核心理念,针对中小型商贸企业、生产型企业的企业级管理应用,全面集成财务、税务、供应链、生产制造、办公协同、商业智能与一体,强化财务、税务、业务一体化、ERP与OA一体化应用 在航天信息产品开发部工作期间本人主要负责: Aisino ERP A6 库存模块功能测试、技术支持、运维工作 二、客户关系管理系统(CRM) 客户关系管理系统是航天信息目前用于全国税控客户管理、单品售后服务(售出、安装、更换、维修、回访、收费、开票)的服务管理系统。模块有客户关系管理、信息发布、报表采集、设备管理 在航天信息信息中心工作期间本人主要负责: 1. CRM系统电话行销、呼叫中心、服务管理模块功能开发、实施、维护、运维工作 2. 全国各省分子公司CRM数据库日常操作和监控,及时发现处理碎片,对数据库进行备份、迁移和恢复,根据业务需要统计相关数据形成自定义列表、报表,搜集AWR、ASH、ADDM对有瓶颈语句和性能问题进行优化,确保数据库和应用高效稳定运行。 三、综合业务管理系统(ZHYW) 综合业务管理系统采用开放性的分层设计思想进行设计开发,使用基于J2EE技术的中间件服务器为基本的开发应用平台,WEB程序开发采用J2EE标准组件技术,系统架构采用国际上比较先进和成熟的B/S/S三层体系结构。具有安全可靠、性能稳定、易于维护、扩展性强,不依赖于操作系统平台等特点。客户端仅需通过浏览器(IE6以上)即可完成日常客户信息维护、设备管理、服务管理、数据接口等相关业务操作 在航天信息信息中心工作期间本人主要负责: 1. 综合业务管理应用系统开发、实施、维护,运维工作 2. 综管数据库日常操作和监控,及时发现处理碎片,根据业务需要统计相关数据形成报表,对数据库进行备份、迁移和恢复,搜集AWR、ASH、ADDM对有瓶颈语句和性能问题进行优化,确保综管数据库和应用高效稳定运行。
1. 配合项目经理完成给定项目,主要负责数据权限配置以及数据库的编写修改; 2. 能够熟练应用SSH架构以及B/S架构处理后台的业务逻辑; 3. 使用Mysql和oracle数据库实现与系统的数据交互; 4. 在项目实施中,承担数据库的实施工作; 5. 针对数据库应用系统运行中出现的问题,提出解决方案; 6. 对空间数据库进行分析、设计并合理开发,实现有效管理; 根据业务需求,设计并编写相应的结构化查询语句及需要调用的存储过程。
1. 主要负责ORACLE、MYSQL数据库设计开发工作,具体包括数据表结构的规划设计和功能程序开发(利用触发器、存储过程处理业务逻辑),高低频数据处理,数据清洗、转换、迁移工作,利用火车浏览器、C#程序从网站抓取采集和处理股票、期货、基金、债券等金融数据,以及数据录入系统平台的程序开发(包括对R程序的调试)等; 2. 利用POWER CENTER工具实现将源数据ETL到目标数据; 3. 另外还包括数据库的优化、监测等内容。
1. 主要负责ORACLE、MYSQL数据库设计开发工作,具体包括数据表结构的规划设计和功能程序开发(利用触发器、存储过程处理业务逻辑),高低频数据处理,数据清洗、转换、迁移工作,利用火车浏览器、C#程序从网站抓取采集和处理股票、期货、基金、债券等金融数据,以及数据录入系统平台的程序开发(包括对R程序的调试)等; 2. 利用POWER CENTER工具实现将源数据ETL到目标数据; 3. 另外还包括数据库的优化、监测等内容。
1. 主要负责ORACLE、MYSQL数据库设计开发工作,具体包括数据表结构的规划设计和功能程序开发(利用触发器、存储过程处理业务逻辑),高低频数据处理,数据清洗、转换、迁移工作,利用火车浏览器、C#程序从网站抓取采集和处理股票、期货、基金、债券等金融数据,以及数据录入系统平台的程序开发(包括对R程序的调试)等; 2. 利用POWER CENTER工具实现将源数据ETL到目标数据; 3. 另外还包括数据库的优化、监测等内容。
1. 主要负责ORACLE、MYSQL数据库设计开发工作,具体包括数据表结构的规划设计和功能程序开发(利用触发器、存储过程处理业务逻辑),高低频数据处理,数据清洗、转换、迁移工作,利用火车浏览器、C#程序从网站抓取采集和处理股票、期货、基金、债券等金融数据,以及数据录入系统平台的程序开发(包括对R程序的调试)等; 2. 利用POWER CENTER工具实现将源数据ETL到目标数据; 3. 另外还包括数据库的优化、监测等内容。
开发 1.带3人小组到现场逐一排查,综合各种信息,发现根源为oracle 单表数据过两百万,查询返回超18秒。 2.制定实施治标方案,短期内通过表数据拆分,sql转存储过程,清理垃圾数据来提高性能。暂时满足了台方日常使用。 3.与研发一同设计了基于nosql数据库的存储方案,客户关系大大缓和,为二期项目中标打下了良好的基础。
技术类 1.完成管理者对酒店的房间使用情况、营业情况的查询,给出统计结果,实现对员工信息的管理。完成前台用户办理入住、结账、会员办理等功能; 2.操作语言:java、数据库:Mysql、开发平台:eclipse、运行环境:javase、操作系统:windows 。
开发 1.带3人小组到现场逐一排查,综合各种信息,发现根源为oracle 单表数据过两百万,查询返回超18秒。 2.制定实施治标方案,短期内通过表数据拆分,sql转存储过程,清理垃圾数据来提高性能。暂时满足了台方日常使用。 3.与研发一同设计了基于nosql数据库的存储方案,客户关系大大缓和,为二期项目中标打下了良好的基础。
开发 1.带3人小组到现场逐一排查,综合各种信息,发现根源为oracle 单表数据过两百万,查询返回超18秒。 2.制定实施治标方案,短期内通过表数据拆分,sql转存储过程,清理垃圾数据来提高性能。暂时满足了台方日常使用。 3.与研发一同设计了基于nosql数据库的存储方案,客户关系大大缓和,为二期项目中标打下了良好的基础。
开发 1.带3人小组到现场逐一排查,综合各种信息,发现根源为oracle 单表数据过两百万,查询返回超18秒。 2.制定实施治标方案,短期内通过表数据拆分,sql转存储过程,清理垃圾数据来提高性能。暂时满足了台方日常使用。 3.与研发一同设计了基于nosql数据库的存储方案,客户关系大大缓和,为二期项目中标打下了良好的基础。
开发 1.带3人小组到现场逐一排查,综合各种信息,发现根源为oracle 单表数据过两百万,查询返回超18秒。 2.制定实施治标方案,短期内通过表数据拆分,sql转存储过程,清理垃圾数据来提高性能。暂时满足了台方日常使用。 3.与研发一同设计了基于nosql数据库的存储方案,客户关系大大缓和,为二期项目中标打下了良好的基础。