GitHub 发布上月 21 日故障报告;单条最大 512 GB,Intel 部署非易失性内存

GitHub因维护引发24小时服务降级,Intel部署傲腾内存条,PyPI发现恶意库,谷歌CEO回应员工抗议。

(给技术最前线加星标,每天看技术热点)

转自:开源中国、solidot、cnBeta、腾讯科技、快科技等

【技术资讯】

0、GitHub 发布 10 月 21 日系统故障分析报告

刚刚 GitHub 通过官方博客发布了 21 日“挂掉”的事件分析。

640?wx_fmt=png

GitHub 指出此次事件发生的原因是在 10 月 21 日 22:52 UTC 进行日常维护——更换发生故障的 100G 光纤设备时导致美国东海岸网络中心与美国东海岸数据中心之间的连接断开。

640?wx_fmt=png

更具体地,GitHub 分析,虽然两地的连接在 43 秒内恢复,但这次短暂的中断引发了一系列事件,这才导致了长达 24 小时 11 分钟的服务降级。

为了大规模提高性能,GitHub 的应用程序将直接写入每个群集的相关主数据库,但在绝大多数情况下将读取请求委派给副本服务器的子集。GitHub 使用 Orchestrator 来管理 MySQL 集群拓扑并处理自动故障转移,Orchestrator 在此过程中考虑了许多变量,并在 Raft 共识机制之上达成共识。Orchestrator 可以实现应用程序无法支持的拓扑,因此必须注意将 Orchestrator 的配置与应用程序级别的期望保持一致。

640?wx_fmt=png

然而 21 日,在网络分区过程中,Orchestrator 在主数据中心根据 Raft 的共识机制,执行了取消领导的选举(leadership deselection)。美国西海岸数据中心和美国东海岸公有云 Orchestrator 节点获得合规票数,并开始对群集进行故障转移,将写入指向美国西海岸数据中心。Orchestrator 继续组织美国西海岸数据库集群拓扑,当连接恢复时,应用层立即开始将写入流量引导到西海岸站点的新当选主节点上。

美国东海岸数据中心的数据库服务器包含一小段时间的写入数据,它们尚未复制到美国西海岸的设施。由于两个数据中心中的数据库集群都包含了其它数据中心中不存在的写入数据,因此无法安全地将主数据库故障转移到美国东海岸数据中心。

640?wx_fmt=png

GitHub 工程师发现问题后进行了一系列抢救措施,“最终没有用户数据丢失,但是,几秒钟的数据库写入的手动协调仍在进行中。”

而之所以服务降级时间长达 24 小时 11 分,是因为在此次事件中,GitHub 的策略是优先考虑用户数据完整性,而不是站点可用性和恢复时间。

GitHub 对所有受影响的用户表示歉意,并表示“我们已经吸取了教训,并且采取了一系列措施,我们希望更好地确保不再发生类似情况。”

同时 GitHub 也表示接下来将进一步解决由此导致的数据不一致问题。

1、单条最大 512 GB,Intel 开始部署傲腾非易失性内存条

10月31日消息,Intel宣布,已经为广泛部署傲腾数据中心用、非易失性内存条(Optane DC persistent memory)做好了准备。目前,Beta项目已经启动,参与的OEM(原始设备制造商,如华为、联想等)和CSP伙伴(云服务伙伴,如谷歌、阿里巴巴、亚马逊、微软等)可以更早地向客户接入由傲腾非易失性内存条驱动的系统,从而为2019年上半年批量上线奠定基础。

傲腾非易失性内存基于3D Xpoint技术,和目前的傲腾SSD共享存储芯片,从而弥补了传统DDR4内存不具备的数据永固和大容量特性,单条最大512GB,可配合Xeon Scalable处理器使用。

特别的,Intel此次为傲腾DC非易市内存提供应用模式和内存模式,前者可理解为传统的加速性SSD,后者则是分离一部分做易失性DRAM,剩下的模块做存放软件和应用的SSD。

据悉,此次的OEM和CSP合伙伙伴有:阿里巴巴、思科、戴尔EMC、富士通、谷歌、惠普企业、华为、联想、甲骨文、腾讯。软件伙伴有VMware、红帽、SAS、SAP、微软、IBM等等。

640?wx_fmt=jpeg

2、PyPI 发现 12 个恶意库,可开启后门、盗取比特币

据 freebuf 报导,近日有软件安全研究人员发现了 PyPI 上存在 12 个恶意库,其中包含的恶意代码可以导致安全隐患,比如开启后门、盗取比特币等。

640?wx_fmt=png

据介绍,安全研究人员 Bertus 在对 PyPI 做安全扫描时发现了这些问题,他先后两次共发现了 12 个有问题的软件包,目前官方已经将它们都删除。

12 个软件包都是先是复制流行软件包的代码创建新库,并取相似的名称。例如其中的 diango、djago、dajngo 与 djanga 包都模仿了 Django。之后主要在安装文件 setup.py 中加入恶意代码。setup.py 文件包含一组指令,Python 库安装程序(如”pip”)在 Python 项目中下载和设置新包时会自动执行这些指令。

这些问题类库增加了额外指令执行各种恶意操作,并且每个库的内容有所不同。它们将尝试收集受感染机器的环境数据,并添加到自动启动,同时开启一个反向 shell 后门,一旦启动,恶意攻击者就能远程登陆该机器,并获得全部权限。

【业界资讯】

0、谷歌 CEO 发内部备忘录,理解员工周四举行步行抗议

CNBC今日援引知情人士的消息称,针对谷歌员工准备在本周四举行步行抗议的计划,谷歌CEO桑达尔·皮查伊(Sundar Pichai)在一份内部邮件中表示理解和支持。近日,《纽约时报》发表文章称,“安卓之父”安迪·鲁宾(Andy Rubin)与多位员工存在复杂男女关系,还被调查出实施性骚扰,但谷歌还是给了鲁宾9000万美元的离职费。

为此,谷歌200多名员工计划在本周四举行一次步行抗议活动,名为“女性步行”。目前,这一活动已在谷歌内部论坛上展开讨论。

640?wx_fmt=jpeg

对此,知情人士称,谷歌CEO皮查伊在一份内部邮件中表示,对于员工们的该计划表示理解和支持。皮查伊称,管理人员应该了解这次活动,员工们将得到他们需要的支持。

事实上,在此之前皮查伊已经对《纽约时报》的这篇报道发表过声明。他说,过去两年有48人因性骚扰被开除,包括13位高级经理以上员工,没有人获得离职补偿。

但皮查伊没有否认鲁宾因性骚扰调查离职,并且只说“两年内性骚扰离职者没有离职补偿”,从而绕开了2014年10月就已离职的鲁宾。

皮查伊在邮件中还称,在改善相关程序和政策方面,许多员工都提出了“有建设性的意见和建议”,谷歌将实施其中的部分建议。皮查伊还表示,仅仅道歉还不够,他对公司过去存在的一些不当行为给某些人带来的痛苦表示深深的歉意。

1、FF三位创始人仅剩贾跃亭,据称财务人事实际均已破产

据美国科技媒体the Verge消息,FF在与主要投资者恒大健康发生争执后资金几乎枯竭,该公司管理层决定本周关闭公司加州加迪纳总部和加州汉福德工厂的部分业务。FF三位联合创始人之一的尼克•桑普森也在周二辞职。至此,FF的三位联合创始人仅剩贾跃亭一人。桑普森表示,“FF公司的财务和人事资产实际上都已资不抵债,在可预见的未来,充其量只能苟延残喘。”(新浪财经)

2、港交所考虑使用区块链技术开发下一代交易结算系统

近日,港交所就计划开发新的交易结算系统,探索区块链技术在该系统中的应用。据悉,香港交易所 将与 Blythe Master 的 Digital Asset Holdings LLC 公司合作,建立区块链结算系统,用于进行内地股票的交易。香港交易所行政总裁李小加周二表示,交易平台将简化股票互联互通机制下的北向(与深市、沪市进行的股票交易)交易流程。(Odaily星球日报)

觉得这些资讯有帮助?请转发给更多人

关注 技术最前线 加星标看 IT 要闻

640?wx_fmt=png

内容概要:本文围绕列车-轨道-桥梁交互仿真研究,基于Matlab平台构建数值模型,系统分析列车运行过程中轨道与桥梁结构间的动态相互作用机制。研究涵盖多体动力学建模、耦合系统运动方程求解、边界条件设定及仿真结果可视化等关键环节,重点揭示高速行车条件下基础设施的振动传递规律与力学响应特征。该仿真方法可有效评估结构安全性、舒适性指标及疲劳寿命,为轨道交通工程的设计优化与运维管理提供理论支撑和技术路径。文中配套提供了完整的Matlab代码实现方案及操作说明,便于用户复现、验证和拓展相关研究。; 适合人群:具备Matlab编程基础和结构动力学、车辆动力学等相关专业知识的研究生、科研人员及从事铁路工程、桥梁工程与交通系统安全评估的工程技术人才,尤其适合开展轨道交通耦合振动课题的研究者。; 使用场景及目标:①用于高校与科研机构进行列车-轨道-桥梁耦合系统动力学特性的教学演示与科学研究;②支撑高速铁路桥梁的设计优化、运营安全性评估与减振降噪方案验证;③为复杂交通基础设施的多物理场耦合仿真提供建模思路与代码参考。; 阅读建议:建议读者结合所提供的Matlab代码逐模块深入研读,重点关注系统建模假设、质量-刚度-阻尼矩阵构建方法及数值积分算法的实现细节,同时可通过调整参数进行敏感性分析,进一步掌握仿真模型的适用范围与优化方向。
内容概要:本文系统研究了非线性薛定谔方程的物理信息神经网络(PINN)求解方法,提出一种将物理规律嵌入深度学习模型的科学计算新范式。通过构建全连接神经网络架构,将非线性薛定谔方程及其初始/边界条件作为损失函数的核心组成部分,实现了在无须大量标注数据的前提下对复值偏微分方程的高精度数值求解。该方法充分利用自动微分技术精确计算方程残差,有效融合了数据驱动与模型驱动的优势,在光学孤子传播、量子系统演化等典型场景中展现出优异的逼近能力与泛化性能。文中配套提供了完整的Python实现代码,涵盖网络搭建、损失定义、训练优化与结果可视化全流程。; 适合人群:具备Python编程能力与深度学习基础知识,熟悉偏微分方程理论及科学计算的理工科研究生、科研人员,以及从事光学、量子物理、流体力学等领域建模与仿真的工程技术人员。; 使用场景及目标:① 掌握PINN方法的基本原理与实现技巧;② 学习如何将复杂物理方程转化为可训练的神经网络损失项;③ 应用于非线性光学、玻色-爱因斯坦凝聚、水波动力学等问题的仿真与预测;④ 为相关科研课题提供可复现的算法原型与代码参考。; 阅读建议:建议读者结合所提供的Python代码进行动手实践,重点理解神经网络对微分算子的近似机制、损失函数的多任务加权策略以及训练过程中的超参数调优方法,进而可迁移至其他非线性偏微分方程的求解任务,拓展其在交叉学科中的应用边界。
源码下载地址: https://pan.quark.cn/s/a4b39357ea24 微软推出的【AZ-900微软认证】是一项针对初学者的基础级云服务资格认证,其目的在于帮助学习者掌握云概念、微软Azure服务的运作机制以及云解决方案的核心知识。获得这一认证后,考生将能够清晰地理解云计算领域的基础术语、服务模式(包括IaaS、PaaS、SaaS等)以及这些服务在Azure平台上的实际应用方式。 在【必过考题】部分,我们可以观察到两个重点议题,它们分别聚焦于PaaS(平台即服务)的概念阐释和云成本的计算方式。 在第一个议题中,考生被要求辨别关于PaaS的正确性描述。PaaS平台提供了一个开发环境,但并不允许用户直接访问操作系统(Box 1: No)。比如,Azure Web Apps服务可以用来部署web应用,但用户无法直接管理虚拟机或IIS系统。另一方面,PaaS确实具备自动扩展的功能(Box 2: Yes),这表示可以根据实际需求自动增加负载均衡的虚拟机以支持web应用的运行。PaaS框架还为开发人员提供了构建和调整云端应用的工具,预置的应用组件能够有效缩短新应用的编程周期(Box 3: Yes)。 第二个议题同样关注云计算理念的理解,尤其强调IT支出从资本性支出(CapEx)向运营性支出(OpEx)的转型思想。传统的IT投资通常被视为CapEx,而云计算的按需付费机制使企业能够将这部分开支转化为OpEx,从而在财务规划上获得更大的自由度。 在为AZ-900考试做准备时,考生需要特别关注以下几个核心知识点: 1. **云服务模式**:深入理解IaaS(基础设施即服务)、PaaS和SaaS(软件即服务)之间的差异及其各自的应用情境。 2. **Azure服务*...
源码下载地址: https://pan.quark.cn/s/239a0d536a1e 依据所提供的文件资料,可以归纳出以下核心内容:由清华大学计算机系邓俊辉教授精心编纂的算法训练营题目合集,对于CSP(中国软件专业人才设计与创业大赛)及PAT(程序设计能力测试)这类编程竞赛具有极高的参考价值,堪称一份极具价值的参考资料。此类竞赛普遍对参赛者的算法功底和编程技巧提出严苛要求。该合集中的题目与算法领域紧密相连,其中包含了“最大红矩形”这一典型题目。所谓最大红矩形题目,其核心任务是针对一个由红色与绿色方格构成的棋盘,寻觅出最大的纯红矩形区域。要攻克这一问题,必须运用数据结构与算法的相关知识,特别是栈这一数据结构的应用。 “最大红矩形”问题能够被抽象转化为“直方图最大面积”问题。具体转化方法是将棋盘的每一列视为一个独立的直方图单元,其中红色方格的贡献体现为当前位置与前一个绿色方格所在行数的差值,从而保证每个直方图的基宽恒定为1。随后,借助扫描直方图的技术手段来探寻最大矩形面积。这一过程需要对每个直方图进行系统性遍历,并利用栈来记录各直方图的下标信息。一旦检测到当前直方图的高度小于栈顶元素所记录的高度,则意味着遭遇了一个“高点”,此时需计算以该“高点”为右边界条件的最大矩形面积。 在编程实践环节,必须高度关注栈的操作细节,以及如何精确地初始化和操纵栈来应对直方图问题。代码实现中,通常配置两个栈,一个用于储存直方图的高度值,另一个用于标记直方图的下标位置。当面对新高度时,需审慎判断当前高度与栈顶高度的相对关系,并据此抉择是执行入栈操作还是计算面积。针对“低点”(即当前高度小于栈顶),应直接将当前高度纳入栈中;而对于“高点”,则需执行弹出栈顶元素的操作,并基于该栈顶元素的高...
源码链接: https://pan.quark.cn/s/3af847fbbec7 在计算机科学与编程领域中,十六进制(Hexadecimal)以及二进制(Binary)是两种关键性的数值表示方法。十六进制属于一种基于16的计数系统,它运用0至9的数字以及字母A至F(分别象征10至15的数值)来呈现数值,与此同时,二进制则是一种基于2的计数系统,仅采用0和1两个符号。掌握这两种进制之间的相互转换对于深入理解计算机内部运作机制具有决定性意义,因为计算机在底层数据的存储与处理环节通常都是以二进制的形式来进行的。将十六进制转换成二进制的过程可以通过以下几个环节得以完成: 1. **单个十六进制符号的转换**:每一个十六进制符号对应着4位二进制序列。具体而言: - 十六进制中的`0`在二进制表达为`0000` - 十六进制中的`1`在二进制表达为`0001` - 十六进制中的`2`在二进制表达为`0010` - 依此类推 - 十六进制中的`9`在二进制表达为`1001` - 十六进制中的`A`或`a`在二进制表达为`1010` - 十六进制中的`B`或`b`在二进制表达为`1011` - 十六进制中的`C`或`c`在二进制表达为`1100` - 十六进制中的`D`或`d`在二进制表达为`1101` - 十六进制中的`E`或`e`在二进制表达为`1110` - 十六进制中的`F`或`f`在二进制表达为`1111` 2. **多位十六进制符号的转换**:针对一个由多个十六进制符号组成的数值,我们可以逐个符号进行转换,并将得到的二进制序列依次拼接。例如,十六进制数`3F`转换成二进制形式为`00111111`。 3. **编程实现方法**:在编程实践过程中,众多编程语言提...
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值